做为爬虫工作者在日常工作中使用爬虫多次爬取同一网站时，经常会被网站的IP反爬虫机制给禁掉，为了解决封禁 IP 的问题通常会使用代理IP。但也有一部分人在HTTP代理IP的使用上存在着误解，他们认为使用了代理IP就能解决一切问题，然而实际上代理IP不是万能的，它只是一个工具，如果使用不当，一样会被封IP。 如果是使用的透明代理IP自然会受到限制，但是使用的是高匿名代理则不会，所以在选择代理IP的时候，要注意这一点。还有就是在使用一个代理IP爬取目标网站，被封IP的因素也有很多，比如cookie，比如User Agent等等，或者IP的单次使用频率太高，IP就会被封；当访问目标网站的频率过快时，IP也会被封，因为人类正常访问远远达不到那个频率，自然会被目标网站的反爬虫策略识别。 这样的情况下我们只有尽量地模拟真实用户正常访问，才能最大程度地避免被封IP。而高匿代理IP也不难找，比如亿牛云（www.16yun.cn）提供电信家庭私密高匿代理ip就能满足大家的需求。并且针对代理的使用还提供了专业的文档，如果你的爬虫程序是使用的python，如果购买的是爬虫代理，那么正确的使用代理IP的过程如下： Plain Text 复制代码
#! -- encoding:utf-8 --
1import requests 2import random 3 4# 要访问的目标页面 5targetUrl = "http://httpbin.org/ip" 6 7# 要访问的目标HTTPS页面 8# targetUrl = "https://httpbin.org/ip" 9 10# 代理服务器(产品官网 www.16yun.cn) 11proxyHost = "t.16yun.cn" 12proxyPort = "31111" 13 14# 代理验证信息 15proxyUser = "username" 16proxyPass = "password" 17 18proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % { 19 "host" : proxyHost, 20 "port" : proxyPort, 21 "user" : proxyUser, 22 "pass" : proxyPass, 23} 24 25# 设置 http和https访问都是用HTTP代理 26proxies = { 27 "http" : proxyMeta, 28 "https" : proxyMeta, 29} 30 31 32# 设置IP切换头 33tunnel = random.randint(1,10000) 34headers = {"Proxy-Tunnel": str(tunnel)} 35 36 37 38resp = requests.get(targetUrl, proxies=proxies, headers=headers) 39 40print resp.status_code 41print resp.text
还有其他的语言示例可以选择，有需要的可以在官网去了解 https://www.16yun.cn/help/ss_demo/#