提供一个网站的相关截图,麻烦提供一个思路如何爬取网站相关数据

大家好,我是皮皮。

一、前言

前几天在Python钻石交流群【空】问了一个Python网络爬虫的问题,一起来看看吧。

给大家提供一个网站的相关截图,麻烦你们提供一个思路如何爬取网站相关数据,下图这里是数据区。

image.png

页面数据存储在这里的json里。

image.png

二、实现过程

常规来说,这个都返回json了,解析json就可以取数据了。但是json数据所对应的网址不能访问(内网,外边也无法访问),没有权限,估计是没有权限解析json数据。

image.png

其它的数据里没有相关信息,都找了,页面全部都是用ajax加载数据。但是从页面数据找不到图的真实url,后来分析图的真实url,是页面的json数据通过拼接得到。这里的页面是不是需要登录才能获取相关权限,才能访问数据?这里【甯同学】给了一个可行的思路,如下所示:

image.png

顺利地解决了粉丝的问题。

三、总结

大家好,我是皮皮。这篇文章主要盘点了一个Python网络爬虫处理的问题,文中针对该问题,给出了具体的解析和代码实现,帮助粉丝顺利解决了问题。

最后感谢粉丝【空】提问,感谢【甯同学】给出的思路和代码解析,感谢【莫生气】等人参与学习交流。

【提问补充】温馨提示,大家在群里提问的时候。可以注意下面几点:如果涉及到大文件数据,可以数据脱敏后,发点demo数据来(小文件的意思),然后贴点代码(可以复制的那种),记得发报错截图(截全)。代码不多的话,直接发代码文字即可,代码超过50行这样的话,发个.py文件就行。

image.png

点赞
收藏

评论区

加载中...

相关推荐

我在比较时序数据时,程序报错说数据标签有问题

大家好,我是皮皮。一、前言前几天在Python白银群【黑白人生】问了一个Pandas数据处理的问题,这里拿出来给大家分享下。截图如下图所示:数据截图如下所示:二、实现过程这里【论草莓如何成为冻干莓】给了一个思路,如下所示:看上去还是有点深奥的。后来【瑜亮老

为啥chrome查看到网页,只有5000多行,应该有1万多行才对

大家好,我是皮皮。一、前言前几天在Python白银交流群【磐奚鸟】问了一个Python网络爬虫处理的问题,这里拿出来给大家分享下。二、实现过程这里【惜君】给了一个指导,可能网站有限制数据量。这里【瑜亮老师】发现了问题所在,如下图所示:数据方面确实存在,顺利

pandas如何将下图这个数据格式,改为%Y-%m-%d这种格式的?

大家好,我是皮皮。一、前言前几天在Python白银交流群【小王子】问了一个Python日期处理的问题,一起来看看吧。原始数据库中的数据如下所示:二、实现过程这里【袁学东】给了一个方法,代码如下所示:pythondf这里【论草莓如何成为冻干莓】给了一个思路,

页面的json数据浏览器无法访问,还有什么别的办法获取数据?

大家好,我是皮皮。一、前言前几天在Python钻石流群【空】问了一个Python网络爬虫的问题,一起来看看吧。问题描述:请教一个问题,页面的json数据浏览器无法访问,还有什么别的办法获取数据图片如下:这个问题看上去有点怪怪的。二、实现过程看上去代码倒是很

一个excel文件,我用pandas如何取行,只能用pandas?

大家好,我是皮皮。一、前言前几天在Python白银交流群粉丝问了一个Pandas数据筛选的问题。问题如下:我突然想到,如果一个excel文件,我用pandas如何取行,只能用pandas。二、实现过程后来【月神】给了一个思路和代码如下:其实粉丝之前也问了一

Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除

大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这