今天就来带大家写一个简单而又完整的爬虫，我们来抓取整站的图片的，并且保存到电脑上！

准备工作

工具：Python3.6、pycharm

库：requests、re、time、random、os

目标网站：妹子图（具体url大家自己去代码里看。。。）

在写代码之前

在我们开始写代码之前，要先对网站进行分析，重点有这个几个地方：

1、先判断网页是否静态网页，这个关系我们采用的爬虫手段！

简单的说，网页中的内容，在网页源代码中都可以找到，那么就可以断定，这个网站是静态的了；如果没有找到，就需要去开发者工具中查找，看看是抓包呢还是分析js结构或者其他的方式。

2、看看网页的结构，大致清楚抓取目标数据，需要几层循环，每次循环的方式，以及是否保证没有遗漏！

3、根据网页源代码来决定采用的匹配方式

一般来说，正则表达式是处理字符串最快的方式，但是在爬虫中它的效率并不是很高，因为它需要遍历整个html来匹配相关内容，如果网页源代码比较规整的话，建议采用bs4或者xpath等等解析网页结构的方式比较好！

当然，今天我们是基础向的爬虫，就用正则表达式了，毕竟正则是必须掌握的内容！

那么，具体怎么写爬虫代码呢~？简单的举例给大家说下：

如果是手工操作的话，大概是这个流程

打开主页==>选择一个分类==>选择一个图集==>依次选择图片==>右键保存==>重复以上保存其他图片

那么这个过程放到代码中呢，它的结构大概是这样：

访问主页url==>找到并循环所有分类==>创建分类文件夹==>访问分类url==>找到页码构建循环分类所有页==>循环页面所有图集==>创建图集文件夹==>找到图集内所有图片url==>保存到对应文件夹

好了，思路也有了，那就废话不多说了，我们来写代码吧~！

完整代码和运行效果

在请求中加入了时间模块的暂停功能，不加入的话可能会被网页拒绝访问！

在最后请求图片地址的时候，需要加入UA来告诉服务器你是浏览器而不是脚本，这个是最常用的反爬手段了

#author:云飞

下载一段时间后的效果

-------------------********************************** End **********-------------**-----********-**********************************

扫下方二维码加老师微信或是搜索老师微信号:XTUOL1988**【备注学习Python】**领取Python web开发，Python爬虫，Python数据分析，人工智能等学习教程。带你从零基础系统性的学好Python！也可以加老师建的Python技术学习教程qq裙：245345507，二者加一个就可以！

欢迎大家**点赞，****留言，****转发，**转载，****感谢大家的相伴与支持

万水千山总是情，点个【在看】行不行

*声明：本文于网络整理，版权归原作者所有，如来源信息有误或侵犯权益，请联系我们删除或授权事宜。

/今日留言主题/

随便说一两句吧~~

本文分享自微信公众号 - python教程（pythonjc）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。