Python_爬虫_笔记

1.前言

1.1爬虫用途：

网站采集、接口采集(地图(jis 热力学 屋里端口/协议)、微信、知乎、)

1.2基本流程：网页下载(requests)+网页解析+爬虫调度

1网页解析：在当前网站找信息、下一个入口等信息
2调度：调度器/队列(先进先出、谁快谁先...)

1.3Python爬虫库 urllib、bs4/beautiful_soup、lxml/XPath、scripy

1学习顺序：urllib→bs4/beautiful_soup→lxml/XPath→scripy
2注：lxml/XPath 是指lxml下的Xpth库；具体用法会在下面部分详述

1.4反爬虫 和 反反爬虫 原理

1反爬虫原理：检查request的(user-agent[识别爬虫]、Host、refer[来源，防盗链])、js异步加载、其他机制
2反反爬虫：控制爬取节奏(time.sleep())、伪装头信息(user-agent、Host、refer)、伪装IP(代理池)、伪装cookie

1.5用到的知识点：

• web前端(css选择器、JS渲染规则)选择器；ajax异步加载、HTTP协议、Python进程线程等

-JSON的序列化dumps()和反序列化loads()

对付(HTTPs的)ssl安全套接层协议

1HTTPs 有验证，处理办法：
21.引入ssl躲避    2.设置取消验证

2.IP代理、代理池维护【待完善】

url自带

11.调用urllib.request.ProxyHandler(proxies=None)   代理矩柄
22.创建Opener(类似urlopen)
33.安装Opener

代理IP

1透明Ip 附加真实IP(用途少)，有的直接就是不生效
2高密IP 隐藏自身IP

• cookie-urllib的cookie很复杂，到scrapy上再看

3.网页请求 与 网页解析

3.1 request请求

1注：Python最最常用的请求库 - request，其他的可以忽略
2#request请求案例(简版)：
3import request
4req = request.urlopen("url地址").read().decode('编码格式')
5#request请求案例(标准版)-注：标准请求要加入表头信息
6qingqiutou = request.Request(url=url,headers=headers,method="GET")
7    res=request.urlopen(qingqiutou).read().decode('utf-8')

3.2页面解析库【重要！！！】

3.2.1 re模块,Python自带的正则解析库；最基础最不好用的解析库

注：最原始的办法是re模块正则解析，目前只用正则来处理不遵守结构化DOM(Document Object Model)树规范的页面

用法案例：略

3.2.2 Urllib模块

1常见问题：
2urllib.request  请求模块，打开和读取URLs
3urllib.error    异常处理模块   分为：HTTPerror、urlerror
4注：HTTPError在URLError之前，因为HTTPError是URLError的子类，若URLError在前报错会覆盖HTTPError
5urllib.parse    url解析模块
6urllib.robotparser robots.txt   解析模块【少，基本不用】
7
8print(response.getcode())   #打印出状态码
9f.getcode() 等同于 f.status 获取状态码
10f.getheaders() 等同于 f.info()  获取表头
11
12用法案例：略

3.2.3 bs4解析库【form bs4 import beautiful soup】

1主要用于网页数据解析,根据标签机结构化解析
2find_all  find
3节点选取： 子节点、父节点、兄弟节点
4
5bs4库能格式化html数据
6包含4大(bs4)对象 
71.Tag 标签    例如：supe.title 能表示标题，默认第一个【包含NavigableString、Comment】
82.NavigableString     例如：print(soup.p.string)  输出p标签里的内容【包含Comment】
93.BeautifulSoup       是一个特殊的tag对象  能提取name、attr等属性
104.Comment     能提取注释内容

bs4库的4个解析器

• 1、 Python标准库【主要,系统自带;】

  使用方法： BeautifulSoup(markup,"html.parser")【注：markup是html文档】 Python的内置标准库

  案例 from bs4 import BeautifulSoup soup = BeautifulSoup.(html,'html.parser') print(soup.title.string)

• 2、 lxmlHTML解析器

  BeautifulSoup(markup,"lxml") 速度快、需要安装C语言库

• 3、 lxml XML解析器

  使用方法：BeautifulSoup(markup,"xml") 速度快，唯一支持XML的解析器、需要安装C语言库

• 4、 html5lib

  BeautifulSoup(markup,"html5lib") 容错性好，以浏览器的形式解析文档，生成html5格式的文档，但是速度慢

3.2.4 lxml.XPath解析库 可以代替re的lxml解析库

1XML Path Language是一个小型的查询语言，根据DOM树路径一层层查找
2from lxml import etree
3select = etree.HTML(html代码)   #格式化
4selector.xpath(表达式)  #返回为一列表
5
6XPath四种标签：【注：唯一一个编号是从0开始的】
71. //   根路径，会全局扫描，取得内容后以列表的形式返回
82. /    路径    找当前或下一级内容
93. text()   获取当前路径下的文本内容；例：text(2) 取第二个
104. /@xxx 属性标签   获得当前路径下的属性值(取href值)  案例：/div[@classs="shuxing1"]/...
115. |    分割符 同时取多个路径
126. .    点 取当前节点
137. ..   两个点 取当前节点的父节点

Tips： 集合 content = set(content1) #集合可以去重，当做键