有读者问我怎么爬App,我手把手教了他(多图警告)

前言

大家好,我是Kuls。

最近看见很多读者在说怎么抓取APP上的内容

为此,我打算写一些关于爬取APP方面的文章,当然APP的爬取自然是要比网页要麻烦。

但是只要我们把前期的工作做好,后面也会更加的顺利。

今天这篇文章就是来教大家如何抓取到APP数据,用什么软件,怎么配置?

Charles

首先,我们来看看百度百科是怎么介绍这款软件的

是一个HTTP代理服务器,HTTP监视器,反转代理服务器,当浏览器连接Charles的代理访问互联网时,Charles可以监控浏览器发送和接收的所有数据。它允许一个开发者查看所有连接互联网的HTTP通信,这些包括request, response和HTTP headers (包含cookies与caching信息)。

其实简单理解就是一个抓包软件,这个大家可能少见,但是fiddler和wireshack大家应该是有所耳闻。其实功能差不多类似。

为什么推荐这款呢?

其实不管是app抓包还是pc端的抓包也有其他的一些软件,但是charles它既有win版、macos版也有linux版

所以它兼容的平台是很多的。

废话不多说了,我们直接开整(此处使用macos系统演示,其他系统类似)。

准备工作:一台电脑、一部手机、一个wifi

第一步当然是把软件下载好,这里不多说,尽量去搜pj版,因为charles是需要付费,但是也会有30天的试用期。

下面我们打开软件charles,找到菜单栏Proxy->Proxy Settings

这里我们设置成8888端口,默认就是8888的不需要再次设置了。

之后,我们再进入Proxy->SSL Proxying Settings

添加一个地址为 * ,端口为443

安装证书

安装完成之后,我们可以看到如下证书

这说明我们的证书安装完成。

接下来,我们还要继续安装一个证书。

点击之后,它会弹出如下弹窗

大体的意思就是让我们去把手机的wifi中代理改了。

这里其实很简单,我们进入手机的设置,然后点击wifi后面的感叹号就能进行设置(手机有差异,自行琢磨)

进入手动配置代理,这里的服务器填写你电脑的ip(macos使用ifconfig,windows使用ipconfig可以查看),在前面的提示窗口中,我们也能够看到ip地址。

端口号填写我们之前设置的8888

点击存储,然后我们使用浏览器去访问chls.pro/ssl

如果此时访问没反应,可以看下电脑,会有一个弹窗,点击Allow即可。

这里我们点击允许

然后回到设置,我们就可以看到安装描述文件的提示了

我们这里点击安装就可以了。

最后,我们来简单测试一下,我们打开小红书app,然后可以观察到charles已经开始抓取了。

这就说明了,我们成功进行配置了。

总结

这是我们想要进行app或者小程序抓取的第一步,如果这一步没做好,后面的工作根本无法进行。

这里要说明下,每一台手机都有可能不一样,但是总体来说不会有太大差别。

-------------------********************************** End **********-------------**-----********-**********************************

往期精彩文章推荐:

欢迎各位大佬点击链接加入群聊【helloworld开发者社区】:https://jq.qq.com/?_wv=1027&k=mBlk6nzX进群交流IT技术热点。

本文转自 https://mp.weixin.qq.com/s/YS53HPJZ44ndT642auGh0Q,如有侵权,请联系删除。

点赞
收藏

评论区

加载中...

相关推荐

小红书很难爬?最新爬取方法教给你啦~

Python进击者第184篇原创文章前言大家好,我是Kuls。之前写的那篇App抓包软件charles的配置说过,超过30在看,马上更下一篇。所以加班加点给大家写了今天这篇文章。本文将会带着大家完完整整的爬取小红书的全过程小红书需要做的前提工作就是装配好mitmproxy具体的配置过程,我建议大家参照崔大写的来进行安装https://zhuanlan.z

MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1

文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s

Oracle 分组与拼接字符串同时使用

SELECTT.,ROWNUMIDFROM(SELECTT.EMPLID,T.NAME,T.BU,T.REALDEPART,T.FORMATDATE,SUM(T.S0)S0,MAX(UPDATETIME)CREATETIME,LISTAGG(TOCHAR(

MySQL部分从库上面因为大量的临时表tmp_table造成慢查询

背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_

皕杰报表之UUID

​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为

手写Java HashMap源码

HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22