Flytutu的博客

能拥有一双翅膀,去摘颗星星给你


  • 首页

  • 归档

  • 开发

  • 运维

  • 兴趣

  • 闲谈

  • 爬虫

爬虫日记——APP爬虫入门(4)

发表于 2019-06-22

前三篇文章主要讲述了APP的接口分析、APP反编译、Genymotion模拟器的配置,本文主要来进行Xposed注入的讲解,前面主要是进行了分析,一些简单的爬虫能够通过上述的方法找到方法爬取,但是一些比较麻烦的爬虫通过上述方法还是难以爬取,例如拼多多会在接口中添加anticontent参数,这个参数通过接口分析以及代码的阅读都不能知道是如何生成的,这个时间我们需要对APP进行Xposed注入获取该参数。

Xposed,大名鼎鼎的 Xposed,是 Android 平台上最负盛名的一个框架。在这个框架下,我们可以加载很多插件 App,这些插件 App 可以直接或间接操纵系统层面的东西,比如操纵一些本来只对系统厂商才 open 的功能(实际上是因为 Android 系统很多 API 是不公开的,而第三方 APP 又没有权限)。有了Xposed后,理论上我们的插件 APP 可以 hook 到系统任意一个 Java 进程(zygote,systemserver,systemui)。

阅读全文 »

爬虫日记——APP爬虫入门(3)

发表于 2019-06-21

上一篇文章中介绍了为抓取https网络包,我们尽量选择安卓6.0及以下版本的系统,同时Xposed框架需要root权限,虽然有太极同类的框架不需要root权限,但是这类框架还是不够成熟,所以我们选择Genymotion模拟器来做实验(本人也没有实体机,哈哈)。

阅读全文 »

爬虫日记——APP爬虫入门(2)

发表于 2019-05-12

在上一篇描述了如何进行APP网络包的分析,本文将阐述如何反编译APP。

我们为什么要反编译APP喃?因为反编译后我们能够查看APP的运行逻辑,APP使用的相关技术,找到其中对我们有用的信息,后期还可以使用Xposed对APP进行注入,找到注入点。

阅读全文 »

爬虫日记——APP爬虫入门(1)

发表于 2019-04-20

APP相对于一般的网页来说,APP是一个更加封闭的环境,爬虫想要去爬取数据会更加困难。单由于一个APP后面对应的是一个真正的用户,并且用户对手机更加依赖,更多互联网产品会对APP开放更大的权限,能够看到更加详细的信息,这也让得APP爬虫更加重要。

本系列文章主要描述一下如何对APP进行简单的分析,包括接口分析、APP反编译、Xposed注入。

阅读全文 »

基于docker搭建nexus

发表于 2018-12-23

Nexus是Maven仓库管理器,也可以叫Maven的私服。Nexus是一个强大的Maven仓库管理器,它极大地简化了自己内部仓库的维护和外部仓库的访问。利用Nexus你可以只在一个地方就能够完全控制访问和部署在你所维护仓库中的每个Artifact。Nexus是一套“开箱即用”的系统不需要数据库,它使用文件系统加Lucene来组织数据。

阅读全文 »

配置DHCP服务器

发表于 2018-10-10

安装dhcp

测试环境为Ubuntu15.04系统

安装如下:

1
sudo apt-install dhcp3-server
阅读全文 »

基于Fatfree和Knockout的前后端分离的开发模式(2)

发表于 2017-10-09

上一篇文章整理了这个开发模式的后端与数据库迁移方面的东西,这篇文章接着上一篇文章对前端的JS框架进行详细的介绍,由于我更加偏重于后端,因此对于前端的了解不够深入,文章仅做参考,具体的使用请自行查询文档,若文章存在问题,忘指正,以便进行修改。

阅读全文 »

基于Fatfree和Knockout的前后端分离的开发模式(1)

发表于 2017-09-18

近几年,与前端相关的技术变革的很快,从Ajax技术的兴起,到现在比较流行的三大前端框架(Angular.js、react.js、vue.js),从MVC到MVVM到设计模式,前端的技术与思想有了革命性的发展。

近期在整理技术栈时,觉得这个方法是一套成熟的开发模式,虽然可能有点过时,但是还是整理出来分享给大家,相互间学习。

阅读全文 »

go语言中使用反射函数代替switch语法

发表于 2017-07-30

近期在公司实习,参与了公司的一个分布式的应用服务系统。系统采用Golang语言作为系统的开发语言,在开发过程中采用了Go语言的反射函数的特性来取代了以前常使用的switch语法。

switch-case是一种多种选择的语法,其本质与if-else方法差不多,都是通过判断条件来执行不同的方法。而Go提供了一种机制在运行时更新变量和检查它们的值,调用它们的方法,和它们支持的内在操作,但是在编译时并不知道这些变量的类型。这种机制被称为反射,反射也可以让我们将类型本身作为第一类的值类型处理。

Web应用路由问题

在我们编写Web应用过程中,常常会遇到一个路由需要对应一个方法,我们会选择使用switch的方法来进行路由的匹配,若是路由匹配成功,我们会调用一个方法,这种方法能够很简便的完成我们的工作,也便于程序员在编写代码过程中厘清思路。

问题:

在一个URL的路由中,我们在request中通过cmd的参数来对应一个方法,这样我们要如何根据一个cmd对应一个方法?

阅读全文 »

openfalon监控配置

发表于 2017-05-16

最进在看《docker 容器与容器云 第2版》,但是对于运维的一些知识还是不够了解,在同学的推荐下,尝试配置openfalon监控,监控自己写的软件,为以后需要开发的项目积累一点经验。

Open-falcon是小米运维团队从互联网公司的需求出发,根据多年的运维经验,结合SRE、SA、DEVS的使用经验和反馈,开发的一套面向互联网的企业级开源监控产品。

阅读全文 »
12
flytutu

flytutu

13 日志
5 标签
© 2019 flytutu
由 Hexo 强力驱动
主题 - NexT.Mist