爬虫中无头浏览器如何选择

我们日常使用浏览器的步骤为：启动浏览器、打开一个网页、进行交互。而无头浏览器指的是我们使用脚本来执行以上过程的浏览器，能模拟真实的浏览器使用场景。主要是用作爬虫，用以捕捉Web上的各类数据；这里的无头主要是指没有界面，完全是后台操作。它就是一个真实的浏览器。只是这个浏览器是无界面的。 在爬虫中使用无头浏览器有很多的注意事项，比如我们的业务场景是否适合使用无头浏览器、我们可以通过这些方面进行判别，如果目标网站反爬不是很难，可以直接通过简单的http请求进行采集，不适合使用无头浏览器方案。反之如果网站有多种验证机制，例如需要验证登录、js反爬策略，如果研发不能进行网站行为分析的情况下，建议使用无头浏览器伪装正常用户，并且需要搭配代理一起使用，代理建议使用像亿牛云提供的爬虫代理去访问网站效果会更好，这里简单的示例下使用代理的方式：

1    import string
2    import zipfile
3
4    # 代理服务器(产品官网 www.16yun.cn)
5    proxyHost = "t.16yun.cn"
6    proxyPort = "3111"
7
8    # 代理验证信息
9    proxyUser = "username"
10    proxyPass = "password"
11
12
13    def create_proxy_auth_extension(proxy_host, proxy_port,
14                                    proxy_username, proxy_password,
15                                    scheme='http', plugin_path=None):
16        if plugin_path is None:
17            plugin_path = r'/tmp/{}_{}@t.16yun.zip'.format(proxy_username, proxy_password)
18
19        manifest_json = """
20        {
21            "version": "1.0.0",
22            "manifest_version": 2,
23            "name": "16YUN Proxy",
24            "permissions": [
25                "proxy",
26                "tabs",
27                "unlimitedStorage",
28                "storage",
29                "<all_urls>",
30                "webRequest",
31                "webRequestBlocking"
32            ],
33            "background": {
34                "scripts": ["background.js"]
35            },
36            "minimum_chrome_version":"22.0.0"
37        }
38        """
39
40        background_js = string.Template(
41            """
42            var config = {
43                mode: "fixed_servers",
44                rules: {
45                    singleProxy: {
46                        scheme: "${scheme}",
47                        host: "${host}",
48                        port: parseInt(${port})
49                    },
50                    bypassList: ["localhost"]
51                }
52              };
53
54            chrome.proxy.settings.set({value: config, scope: "regular"}, function() {});
55
56            function callbackFn(details) {
57                return {
58                    authCredentials: {
59                        username: "${username}",
60                        password: "${password}"
61                    }
62                };
63            }
64
65            chrome.webRequest.onAuthRequired.addListener(
66                callbackFn,
67                {urls: ["<all_urls>"]},
68                ['blocking']
69            );
70            """
71        ).substitute(
72            host=proxy_host,
73            port=proxy_port,
74            username=proxy_username,
75            password=proxy_password,
76            scheme=scheme,
77        )
78        print(background_js)
79
80        with zipfile.ZipFile(plugin_path, 'w') as zp:
81            zp.writestr("manifest.json", manifest_json)
82            zp.writestr("background.js", background_js)
83
84        return plugin_path
85
86
87    proxy_auth_plugin_path = create_proxy_auth_extension(
88        proxy_host=proxyHost,
89        proxy_port=proxyPort,
90        proxy_username=proxyUser,
91        proxy_password=proxyPass)
92
93    option = webdriver.ChromeOptions()
94
95    option.add_argument("--start-maximized")
96
97    # 如报错 chrome-extensions
98    # option.add_argument("--disable-extensions")
99
100    option.add_extension(proxy_auth_plugin_path)
101
102    # 关闭webdriver的一些标志
103    # option.add_experimental_option('excludeSwitches', ['enable-automation'])
104
105    driver = webdriver.Chrome(
106        chrome_options=option,
107        executable_path="./chromdriver"
108    )
109
110    # 修改webdriver get属性
111    # script = '''
112    # Object.defineProperty(navigator, 'webdriver', {
113    # get: () => undefined
114    # })
115    # '''
116    # driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {"source": script})
117
118
119    driver.get("https://httpbin.org/ip")
120这里需要注意的是，我们在使用浏览器时要注意版本是否一致，可以查看具体的帮助说明，如果不一致，即使程序能够运行，也会出现爬虫代理认证信息失败，需要弹窗要求手动输入认证信息的问题。