微标题信公众号文章,阅读数,点赞数历史文章抓取

微标题信公众号文章,阅读数,点赞数历史文章抓取

需求

最近在做舆情与微信文章相关的数据抓取,发现微信公众号有些难点很难克服。市面上流行的数据抓取思路要么被腾讯封杀,要么操作难度大。

解决方案

搜狗微信

无法采集历史,而且搜索也不按时间排序。获取的数据的价值不高,仅仅可以通过他获取公众号的biz。

微信公众平台

微信公众平台虽然可采集历史,但限制很大,没抓多少就被封接口了。只适用于少量的数据采集。

安卓端微信

网上很多基于xposed hook微信公众号实时推送文章的一些采集方案,大部分公司采集可能是这类的方案。网上公开的文章大都是基于旧版本的,然而大部分微信账号很难登录旧版本的微信,会提示当前版本低的问题。且新版本微信对xposed有强检测机制。但是需要较强的hook能力,且面临的法律风险已经是超出爬虫面临的风险了。

抓取新榜、清博等平台

这些平台一个共同点就是要验证登录且反爬措施更强。

网页版本微信

大部分新号都无法登录。

Windows微信

和安卓微信一样,hookwindows微信的难度等同于hook安卓端

一些其他方法

模拟点击和浏览器js注入,这类方法共同特点是数据维度较少,且效率低下,难以满足大量的抓取能力。

正确的姿势

破解方案暂时保密,这边有一个测试和接口调用的Demo,希望能帮到有需要的你 微信公众号链接

点赞
收藏

评论区

加载中...

相关推荐

用PHP获取微信公众号文章,轻松实现!

微信公众号已经成为了很多人获取信息的重要途径,而在开发中,有时候需要通过代码来获取公众号文章。PHP作为一种广泛应用的Web编程语言,也可以实现这一功能。本文将详细介绍PHP如何获取微信公众号文章。一、准备工作在开始之前,我们需要先准备好以下两个东西:一个

TARS基金会的故事(续)赋能微信生态,用创新改变世界

!(https://oscimg.oschina.net/oscnet/79d74dc43dd256c53223f80e34ef8c4353e.gif)本文来源:Linux基金会公众号微信,改变了14亿中国人的生活,也正在迅速改变着这个世界。九年间,微信从仅有社交功能发展到支付、搜索、公众号阅读、服务号等方方面面,再到小游戏、小程序的不断

PHP 微信公众号消息加解密

公众号配置根据提示设置即可:【图中信息均为无意义数据,仅供参考。注意服务器地址需可接收GET/POST两种请求】AESKey直接点一下随机生成即可,Token可以生成一个UUID再把UUID进行MD5一次即可。接收关注事件消息示例请求参数校验这一步根据项目情况,可供参考:(Lumen框架)php$valida

Compose Weekly #4:Weather App

本文同步发表于我的微信公众号,在微信搜索OpenCVorAndroid即可关注。前言It'sraining...Compose!Pulloutallthestopsforthisfinalchallenge.BuildabeautifulweatherappforachancetowinaPixel

PHP微信小程序支付——签名错误

!(https://static.oschina.net/uploads/space/2018/0509/141657_Tqix_3477605.png)先分清几个概念:微信公众平台、微信开放平台、微信商户平台1.微信公众平台、微信开放平台、微信商户平台是三个不同的平台2.微信公众平台:用于公众号、小程序等等的设置平台,包括APPID、APP

h5 接入微信支付

我们公司,现在用ping做h5接入,用的是h5"壹收款"准备:如果公司,现在还没有公众号的话,支付宝。可以把这些工作,给ping来做这些事情 1.注册微信公众号,开通支付功能。2.注册ping (如果是自己开开通的微信支付,要填写相关信息)3.微信设置网页授权获取用户基本信