使用 User-Agent 模拟浏览器行为的技巧

在现代网络爬虫和自动化测试中，模拟浏览器行为是一个至关重要的技术。通过模拟浏览器行为，爬虫可以伪装成真实用户，从而绕过网站的反爬虫机制，获取所需的数据。而 User-Agent 是实现这一目标的关键技术之一。一、User-Agent 的作用 User-Agent 是 HTTP 请求头中的一个重要字段，用于标识发起请求的客户端信息，包括浏览器类型、版本、操作系统等。服务器通过 User-Agent 可以判断请求是否来自真实用户，从而提供针对性的内容和服务。在爬虫中，通过设置合适的 User-Agent，可以模拟不同浏览器的行为，避免被网站识别为爬虫。二、如何设置 User-Agent

Python 中的 User-Agent 设置在 Python 中，常用的 requests 库可以轻松设置 User-Agent。以下是一个示例代码：在这个示例中，我们通过设置请求头中的 User-Agent 字段，伪装成谷歌浏览器发送请求。

1from requests.auth import HTTPProxyAuth
2
3# 目标 URL
4url = 'https://www.example.com'
5
6# 设置 User-Agent
7headers = {
8    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
9}
10
11# 设置代理服务器
12proxyHost = "www.16yun.cn"
13proxyPort = "5445"
14proxyUser = "16QMSOML"
15proxyPass = "280651"
16
17proxies = {
18    "http": f"http://{proxyUser}:{proxyPass}@{proxyHost}:{proxyPort}",
19    "https": f"http://{proxyUser}:{proxyPass}@{proxyHost}:{proxyPort}"
20}
21
22# 发送请求
23response = requests.get(url, headers=headers, proxies=proxies, auth=HTTPProxyAuth(proxyUser, proxyPass))
24
25# 打印响应内容
26print(response.text)

Java 中的 User-Agent 设置在 Java 中，可以使用 Jsoup 库来设置 User-Agent：通过 Jsoup.connect(url).userAgent(userAgent).get() 方法，可以设置 User-Agent 并获取网页内容。

1import org.jsoup.nodes.Document;
2import java.net.Authenticator;
3import java.net.PasswordAuthentication;
4import java.net.Proxy;
5
6public class Main {
7    public static void main(String[] args) {
8        String url = "https://www.example.com";
9
10        // 设置 User-Agent
11        String userAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3";
12
13        // 设置代理服务器
14        String proxyHost = "www.16yun.cn";
15        int proxyPort = 5445;
16        String proxyUser = "16QMSOML";
17        String proxyPass = "280651";
18
19        // 配置代理认证
20        Authenticator.setDefault(new Authenticator() {
21            @Override
22            protected PasswordAuthentication getPasswordAuthentication() {
23                return new PasswordAuthentication(proxyUser, proxyPass.toCharArray());
24            }
25        });
26
27        // 创建代理服务器
28        Proxy proxy = new Proxy(Proxy.Type.HTTP, new java.net.InetSocketAddress(proxyHost, proxyPort));
29
30        try {
31            // 发送请求
32            Document doc = Jsoup.connect(url)
33                    .proxy(proxyHost, proxyPort)
34                    .userAgent(userAgent)
35                    .get();
36
37            // 打印响应内容
38            System.out.println(doc.title());
39        } catch (Exception e) {
40            e.printStackTrace();
41        }
42    }
43}

Scala 中的 User-Agent 设置在 Scala 中，可以使用 Dispatch 库来设置 User-Agent：通过 addHeader 方法，可以设置 User-Agent 并发送请求。

1import scala.concurrent.ExecutionContext.Implicits.global
2import scala.concurrent.Future
3
4object UserAgentExample extends App {
5    val url = "https://www.example.com"
6
7    // 设置 User-Agent
8    val userAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"
9
10    // 设置代理服务器
11    val proxyHost = "www.16yun.cn"
12    val proxyPort = 5445
13    val proxyUser = "16QMSOML"
14    val proxyPass = "280651"
15
16    // 创建代理服务器
17    val proxy = new java.net.InetSocketAddress(proxyHost, proxyPort)
18    val httpProxy = new java.net.Proxy(java.net.Proxy.Type.HTTP, proxy)
19
20    // 配置代理认证
21    java.net.Authenticator.setDefault(new java.net.Authenticator() {
22        override def getPasswordAuthentication(): java.net.PasswordAuthentication = {
23            new java.net.PasswordAuthentication(proxyUser, proxyPass.toCharArray)
24        }
25    })
26
27    // 发送请求
28    val req = url(url).addHeader("User-Agent", userAgent)
29    val response: Future[String] = Http.default(req OK as.String)
30
31    response.onSuccess {
32        case str => println(str)
33    }
34
35    Thread.sleep(5000) // 等待异步请求完成
36}

三、高级技巧：模拟真实用户行为

随机化请求间隔真实用户在浏览网页时，操作之间会有随机的间隔。通过在操作之间添加随机延迟，可以模拟这种自然行为：

1import random
2
3def random_sleep(min_seconds=1, max_seconds=3):
4    time.sleep(random.uniform(min_seconds, max_seconds))
5
6# 示例：在两个操作之间添加随机延迟
7random_sleep()
8driver.get('https://www.example.com')
9random_sleep()
10driver.find_element_by_id('some-button').click()

使用随机的 User-Agent 通过设置随机的 User-Agent，可以使请求看起来来自不同的浏览器：

1import random
2
3user_agents = [
4    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3",
5    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.0.3 Safari/605.1.15",
6    # 更多 User-Agent 字符串...
7]
8
9random_user_agent = random.choice(user_agents)
10options = webdriver.ChromeOptions()
11options.add_argument(f'user-agent={random_user_agent}')
12driver = webdriver.Chrome(options=options)

模拟鼠标移动和点击使用 Selenium 的 ActionChains 类，可以模拟鼠标的移动和点击：

1
2element = driver.find_element_by_id('some-button')
3action = ActionChains(driver)
4action.move_to_element(element).click().perform()

输入文本时的延迟模拟真实用户输入文本时的速度和节奏，可以通过逐个字符输入并添加延迟：

1    for char in text:
2        input_element.send_keys(char)
3        time.sleep(random.uniform(0.1, 0.5))  # 随机延迟模拟打字速度
4
5input_field = driver.find_element_by_id('input-field-id')
6type_randomly(input_field, 'Hello, World!')

四、注意事项选择合适的 User-Agent：User-Agent 字符串应该模仿一个真实用户的浏览器。可以从浏览器开发者工具中复制 User-Agent 字符串。更新 User-Agent：随着浏览器版本的更新，User-Agent 字符串也会变化。定期更新你的 User-Agent 字符串，以保持其真实性。避免滥用：虽然设置 User-Agent 可以减少被识别为爬虫的风险，但过度请求仍然可能触发网站的反爬机制。合理设置请求频率和遵守网站的 robots.txt 规定是非常重要的。尊重网站政策：在使用爬虫时，始终遵守目标网站的使用条款和隐私政策，不要进行任何可能侵犯版权或隐私的行为。

使用 User-Agent 模拟浏览器行为的技巧

评论区

相关推荐