python访问百度关键词和链接

前几天在Python交流群有个同学分享了一份Python网络爬虫代码，用来获取某度关键词和链接的。其实这个需求之前我也写过代码，不过网页结构变化之后，之前的提取器已经失效了，所以代码就作废了。今天这里给再给大家分享一个使用python获取某度关键词的实践。由于某度也是设置反爬安全策略的，所有同一IP下程序运行次数多了也是会被封IP的，所有在访问过程中我们需要加上代理IP，这里推荐使用亿牛云代理。具体的实现方式如下：#! -- encoding:utf-8 --

1import requests
2import random
3
4# 要访问的目标页面
5targetUrl = "http://httpbin.org/ip"
6
7# 要访问的目标HTTPS页面
8# targetUrl = "https://httpbin.org/ip"
9
10# 代理服务器(产品官网 www.16yun.cn)
11proxyHost = "t.16yun.cn"
12proxyPort = "31111"
13
14# 代理验证信息
15proxyUser = "username"
16proxyPass = "password"
17
18proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
19    "host" : proxyHost,
20    "port" : proxyPort,
21    "user" : proxyUser,
22    "pass" : proxyPass,
23}
24
25# 设置 http和https访问都是用HTTP代理
26proxies = {
27    "http"  : proxyMeta,
28    "https" : proxyMeta,
29}
30
31
32#  设置IP切换头
33tunnel = random.randint(1,10000)
34headers = {"Proxy-Tunnel": str(tunnel)}
35
36
37
38resp = requests.get(targetUrl, proxies=proxies, headers=headers)
39
40print resp.status_code
41print resp.text今天就只简单的分享下使用python访问百度关键词的示例，之后会给给大家分享使用bs4等方式来来提取百度关键词和链接，也欢迎大家积极尝试，一起学习。​若有收获，就点个赞吧