盘点一个使用playwright实现网络爬虫的实战案例

大家好，我是皮皮。

一、前言

前几天在Python白银交流群【空翼】问了一个Pyhton网络爬虫的问题，这里拿出来给大家分享下。

二、实现过程

【喜靓仔】提出用playwright实现，后来他自己给出了代码，如下图所示：

代码如下：

1from playwright.sync_api import sync_playwright
2def on_response(response):
3    if '/app/baseinfo' in response.url and response.status == 200:
4        print(response.json()) 
5with sync_playwright() as p:
6    browser = p.chromium.launch(headless=False)
7    page = browser.new_page()
8    page.on('response', on_response)
9    page.goto('https://www.qimai.cn/app/baseinfo/appid/361285480/country/cn')
10    page.wait_for_load_state('networkidle')
11    browser.close()

代码运行之后，有个问题，会报错。后来发现是地址片段写的有问题。

顺利地解决了问题。

playwright功能还是很强大的，可以自己生成代码。

三、总结

大家好，我是皮皮。这篇文章主要盘点了一个Pyhton网络爬虫的问题，文中针对该问题，给出了具体的解析和代码实现，帮助粉丝顺利解决了问题。

最后感谢粉丝【空翼】提问，感谢【喜靓仔】给出的思路和代码解析，感谢【Python狗】等人参与学习交流。