2015年共享经济像雨后春笋般崛起，风口之下，市场上涌现出共享单车、共享充电宝、共享雨伞、共享健身房、共享玩具、共享服装等一系列共享经济产物。但是经过此后几年行业洗牌重塑，共享单车保留了下来。 当然，共享单车的玩家发生了彻底洗牌。2016年有20余家企业混战，到如今市场呈现美团单车、哈啰单车、滴滴青桔“三巨头”竞争状态，三家企业占据了95%的市场。不过按照互联网的生存法则，随着行业进入成熟稳定期，企业便不再烧钱补贴用户，而是开始向用户侧“收割”。 近一两年，“共享单车又双叒叕涨价了”的话题不时在网上引发讨论。根据一些新闻提供的数据，目前部分城市的共享单车价格已经涨至1小时6.5元。面对越来越贵的共享服务，消费者还会买单吗？面对共享单车各种悄然涨价，大家都持什么样的态度呢？ 接下来我们通过专业的爬虫技术来讲解下“怎么用Python爬取微博上关于共享单车涨价的评论数据”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习。 在爬取之前我们需要先解析网站,像微博这样的网站反爬虫技术肯定做的很严，这里我们最重要的就是做好网站封IP。需要通过添加优质代理IP来应对。简单的爬取实现过程如下：
1import requests 2import json 3 4# 定义一个爬虫加强版代理IP 5proxyUser = "16yun" 6proxyPass = "16ip" 7 8proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % { 9 "host" : proxyHost, 10 "port" : proxyPort, 11 "user" : proxyUser, 12 "pass" : proxyPass, 13} 14 15# 设置 http和https访问都是用HTTP代理 16proxies = { 17 "http" : proxyMeta, 18 "https" : proxyMeta, 19} 20 21# 定义一个微博评论的URL，可以从微博APP或网页版获取 22video_url = "https://weibo.com/newlogin?tabtype=search&gid=&openLoginLaye" 23 24# 定义一个请求头，模拟浏览器访问 25headers = { 26 "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36" 27} 28 29# 定义一个函数，用于随机选择一个代理IP并发送请求 30def get_response(url, proxies, headers): 31 # 随机选择一个代理IP 32 proxy = random.choice(proxies) 33 # 使用requests库发送GET请求，并设置超时时间为10秒 34 response = requests.get(url, proxies, headers=headers, timeout=10) 35 # 返回响应对象 36 return response 37 38# 定义一个函数，用于解析响应内容并提取评论数据 39def get_comments(response): 40 # 判断响应状态码是否为200，即成功访问 41 if response.status_code == 200: 42 # 使用json库解析响应内容为字典格式 43 data = json.loads(response.text) 44 # 获取评论列表，每个评论是一个字典，包含评论者昵称、头像、内容等信息 45 comments = data["data"]["comments"] 46 # 返回评论列表 47 return comments 48 else: 49 # 如果响应状态码不为200，打印错误信息并返回空列表 50 print(f"Error: {response.status_code}") 51 return [] 52 53# 调用get_response函数，发送请求并获取响应对象 54response = get_response(video_url, proxies, headers) 55 56# 调用get_comments函数，解析响应内容并获取评论列表 57comments = get_comments(response) 58 59# 打印评论列表的长度和前十条评论的内容（如果有的话） 60print(f"Number of comments: {len(comments)}") 61print("Top 10 comments:") 62for comment in comments[:10]: 63 print(comment["content"])