大家好，我是不温卜火，是一名计算机学院大数据专业大三的学生，昵称来源于成语—
不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只在csdn这一个平台进行更新，博客主页：https://buwenbuhuo.blog.csdn.net/。
PS：由于现在越来越多的人未经本人同意直接爬取博主本人文章，博主在此特别声明：未经本人允许，禁止转载！！！
目录
推荐
♥各位如果想要交流的话，可以加下QQ交流群：974178910，里面有各种你想要的学习资料。♥
♥欢迎大家关注公众号【不温卜火】，关注公众号即可以提前阅读又可以获取各种干货哦，同时公众号每满1024及1024倍数则会抽奖赠送机械键盘一份+IT书籍1份哟~♥
一、小小课堂
在古代，每当你闲暇之时，会同老友几人一起吃酒喝茶，觥筹交错，畅所欲言！而在如今，我们在无聊之时，又正值好友几人闲暇之时，可能会同去看当下最新的电影。但是如果只有我们自己一人，这时的你会怎如何做呢？
如果是我的话，我就会先自行查看豆瓣电影的评分，从中选择自己感兴趣的影片进行观看。这样不仅节省了我们的时间，更能陶冶我们的情操。同时我们还能在观影之后，查看别人给出的影评，从中给出中肯的评价，好为别人提供价值标杆。
好吧，说了那么多其实就是为了引出我们今天这篇博文所要爬取的网站——《豆瓣电影》。-。-
由于咱是技术博主，所以这些文邹邹的话咱就不写了哈。
以往的博文，大都是讲解的怎样爬取静态网页。这不，本篇博文博主专门选择了动态网页豆瓣电影进行数据采集。
所谓动态网页加载是通过js的ajax加载的数据或js算法（加密）得到的数据，并不是直接可以得到的数据结果。
豆瓣电影这个网站是通过ajax加载的数据。为什么会这样说呢？一会儿在分析网页结构的时候，博主会进行解释！
二、大体过程分析
在此，先给出豆瓣电影的URL：https://movie.douban.com/chart
-
- 分析获取的URL
- 分析获取的URL
-
- 单击分类信息，跳转到分类电影列表
这个页面是有多页数据加载的，当用户向下滚动右侧的滚动，加载数据，这个经过分析是ajax加载的数据，需要找到ajax请求的网址。
先找到分类，提取分类的名字和类型编号，然后再爬分类下的电影数据。
- 单击分类信息，跳转到分类电影列表
-
2.提取数据的方法
ajax返回的数据是json，response.json()得到的是字典，用字典操作就可以了，当然用正则是肯定可以的。其实专门操作json的有一个模块叫jsonpath。
三、具体细节分析
3.1 先获取整个网页的源码
1import requests 2from lxml import etree 3 4type_url = "https://movie.douban.com/chart" 5 6headers = { 7 "user-agent": "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36", 8} 9 10def parse_url(url): 11 """解析url，得到html""" 12 response = requests.get(url=url, headers=headers) 13 return response.content.decode("utf-8") 14 15def parse_html(html): 16 """解析url，得到字典""" 17 etree_obj = etree.HTML(html) 18 return etree_obj 19 20content = parse_url(type_url) 21print(content)
3.2 获取分类
我们首先先看下网页内存在iframe没有
由于有iframe 所以不能使用xpath
下面我们先来看下我们所要爬取分类的格式
我们可以看到其格式为<a href="/typerank?type_name=剧情&type=11&interval_id=100:90&action=">剧情</a>
既然xpath不能使用，那么我们就使用正则进行解析
1<a href="/typerank?type_name=剧情&type=11&interval_id=100:90&action=">剧情</a> 2 3r'<a href="/typerank\?type_name=(.*?)&type=(\d+)&interval_id=100:90&action=">.*?</a>'
🆗，我们已经成功拿到电影的分类，下面开始尝试拿到其中一个分类中的所有数据
3.3 获取一页的所有数据
1movie_url = "https://movie.douban.com/j/chart/top_list?type=11&interval_id=100%3A90&action=&start=0&limit=20" 2response = requests.get(url=movie_url,headers=headers) 3content = response.json() 4print(content)
3.4 循环获取所有URL及内容
我们先看下地址栏的URL
URL对比
1https://movie.douban.com/typerank?type_name=%E5%89%A7%E6%83%85%E7%89%87&type=11&interval_id=100:90&action= 2https://movie.douban.com/typerank?type_name=%E5%89%A7%E6%83%85%E7%89%87&type=11&interval_id=90:80&action=
我们可以看到其中的interval_id是以10为单位移动的。那么我们是不是能够有一个大胆的想法能否拼接这个网址，然后循环爬取内容么呢？
答案是可以的，在此博主就不多讲解了，直接给出代码
1 movie_url = "https://movie.douban.com/j/chart/top_list" 2 3def get_movie(movie_type, low_score, high_score): 4 """获取电影""" 5 movie_type_name = movie_type[0] 6 movie_type_num = movie_type[1] 7 print(movie_type_num) 8 9 i = 0 10 while True: 11 # 参数 12 params = { 13 "type": movie_type_num, 14 "interval_id": "{}:{}".format(high_score, low_score), 15 "action": "", 16 "start": i, 17 "limit": 20 18 } 19 # 发请求获取数据 20 content = parse_json(movie_url, params) 21 print(content) 22 exit() 23 24def start(): 25 """爬虫开始""" 26 low_score = int(input("输入要爬取的最低分（以5为单位），最高分默认是加10>")) 27 high_score = low_score + 10 28 29 movie_type_list = get_movie_type() 30 for movie_type in movie_type_list: 31 get_movie(movie_type, low_score, high_score) 32 33if __name__ == '__main__': 34 start()
3.5 得到数据
至于此部分只是单纯的提取JSON中的数据，在此就不多解释了
1def get_movie(movie_type, low_score, high_score): 2 """获取电影""" 3 movie = { 4 "title": "", # 电影名称 5 "actors": "", # 主演 6 "release_date": "", # 上映日期 7 "regions": "", # 上映地 8 "types": "", # 类型 9 "score": "", # 评分 10 "vote_count": "", # 评论数 11 "url": "", # url 12 } 13 14 movie_type_name = movie_type[0] 15 movie_type_num = movie_type[1] 16 17 i = 0 18 while True: 19 # 参数 20 params = { 21 "type": movie_type_num, 22 "interval_id": "{}:{}".format(high_score, low_score), 23 "action": "", 24 "start": i, 25 "limit": 20 26 } 27 # 发请求获取数据 28 data_list = parse_json(movie_url, params) 29 # 判断循环退出 30 if not data_list: 31 break 32 # 循环 33 for data in data_list: 34 movie["title"] = data["title"] 35 movie["actors"] = data["actors"] 36 movie["release_date"] = data["release_date"] 37 movie["regions"] = data["regions"] 38 movie["types"] = data["types"] 39 movie["score"] = data["score"] 40 movie["vote_count"] = data["vote_count"] 41 movie["url"] = data["url"] 42 save(movie) 43 44 i += 20
四、完整源码
1# encoding: utf-8 2''' 3 @author 李华鑫 4 @create 2020-10-09 8:27 5 Mycsdn：https://buwenbuhuo.blog.csdn.net/ 6 @contact: 459804692@qq.com 7 @software: Pycharm 8 @file: 豆瓣电影.py 9 @Version：1.0 10 11''' 12import requests 13import time 14import re 15import random 16import csv 17from lxml import etree 18 19type_url = "https://movie.douban.com/chart" 20movie_url = "https://movie.douban.com/j/chart/top_list" 21 22headers = { 23 "user-agent": "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36", 24} 25 26def parse_html(url, params={}): 27 """解析url，得到html""" 28 response = requests.get(url=url, headers=headers, params=params) 29 return response.content.decode("utf-8") 30 31def parse_json(url, params={}): 32 """解析url，得到字典""" 33 response = requests.get(url=url, headers=headers, params=params) 34 return response.json() 35 36def get_movie_type(): 37 """获取电影分类""" 38 content = parse_html(type_url) 39 return re.findall(r'<a href="/typerank\?type_name=(.*?)&type=(\d+)&interval_id=100:90&action=">.*?</a>', content) 40 41def get_movie(movie_type, low_score, high_score): 42 """获取电影""" 43 movie = { 44 "title": "", # 电影名称 45 "actors": "", # 主演 46 "release_date": "", # 上映日期 47 "regions": "", # 上映地 48 "types": "", # 类型 49 "score": "", # 评分 50 "vote_count": "", # 评论数 51 "url": "", # url 52 } 53 54 movie_type_name = movie_type[0] 55 movie_type_num = movie_type[1] 56 57 i = 0 58 while True: 59 # 参数 60 params = { 61 "type": movie_type_num, 62 "interval_id": "{}:{}".format(high_score, low_score), 63 "action": "", 64 "start": i, 65 "limit": 20 66 } 67 # 发请求获取数据 68 data_list = parse_json(movie_url, params) 69 # 判断循环退出 70 if not data_list: 71 break 72 # 循环 73 for data in data_list: 74 movie["title"] = data["title"] 75 movie["actors"] = data["actors"] 76 movie["release_date"] = data["release_date"] 77 movie["regions"] = data["regions"] # 国家 78 movie["types"] = data["types"] # 类型 79 movie["score"] = data["score"] # 评分 80 movie["vote_count"] = data["vote_count"] # 评论条数 81 movie["url"] = data["url"] # url 82 save(movie) 83 84 i += 20 85 86def save(item): 87 """将数据保存到csv中""" 88 with open("./豆瓣电影.csv", "a", encoding="utf-8") as file: 89 writer = csv.writer(file) 90 writer.writerow(item.values()) 91 92def start(): 93 """爬虫开始""" 94 low_score = int(input("输入要爬取的最低分（以5为单位），最高分默认是加10>")) 95 high_score = low_score + 10 96 97 movie_type_list = get_movie_type() 98 for movie_type in movie_type_list: 99 print("{}爬取中...".format(movie_type[0])) 100 get_movie(movie_type, low_score, high_score) 101 102if __name__ == '__main__': 103 start() 104 105# 测试代码： 106# content = parse_url(type_url) 107# # 由于有iframe 所以不能使用xpath 108# print(re.findall(r'<a href="/typerank\?type_name=(.*?)&type=(\d+)&interval_id=100:90&action=">.*?</a>',content)) 109# 110# 111# """ 112# <a href="/typerank?type_name=剧情&type=11&interval_id=100:90&action=">剧情</a> 113# 114# r'<a href="/typerank\?type_name=(.*?)&type=(\d+)&interval_id=100:90&action=">.*?</a>' 115# """ 116# 117# response = requests.get(url=movie_url,headers=headers) 118# content = response.json() 119# print(content)
五、保存完成结果
美好的日子总是短暂的，虽然还想继续与大家畅谈，但是本篇博文到此已经结束了，如果还嫌不够过瘾，不用担心，我们下篇见！
好书不厌读百回，熟读课思子自知。而我想要成为全场最靓的仔，就必须坚持通过学习来获取更多知识，用知识改变命运，用博客见证成长，用行动证明我在努力。
如果我的博客对你有帮助、如果你喜欢我的博客内容，请“点赞” “评论”“收藏”一键三连哦！听说点赞的人运气不会太差，每一天都会元气满满呦！如果实在要白嫖的话，那祝你开心每一天，欢迎常来我博客看看。
码字不易，大家的支持就是我坚持下去的动力。点赞后不要忘了关注我哦！
本文转自 https://buwenbuhuo.blog.csdn.net/article/details/109329736，如有侵权，请联系删除。