大家好，我是不温卜火，是一名计算机学院大数据专业大三的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只在csdn这一个平台进行更新，博客主页：https://buwenbuhuo.blog.csdn.net/。

PS：由于现在越来越多的人未经本人同意直接爬取博主本人文章，博主在此特别声明：未经本人允许，禁止转载！！！

一、URL分析

在此，博主爬取的是网易云网页版，因为一般网页版都是最好爬取的，不要问我为什么，问就是不会！

网易云网页版链接：https://music.163.com/
歌手信息链接：https://music.163.com//discover/artist

但是由上图我们可以看出，虽然直接给出了网页链接，但是我们通过查看网页源代码，发现我们想要爬取的信息并没有在这个网页中。

这个时候，我们就需要通过Sreach查找歌手信息，从而得到我们所需要的各种信息。

我们首先就以薛之谦为例

通过上图，我们可以知道我们所需要的爬取内容的网址：

我们可以多尝试几次，然后就会发现每个分类代表其中一个id

规律来了，那么我们是不是就可以使用xpath进行解析提取了呢？我们可以先试验一下：

我们发现这个页面是不能直接使用xpath进行解析得，xpath只能解析html标签。因为该网页携带有iframe标签，内容有不规则内容。

既然出现问题了，那么我们首先要想的就是要解决xpath不能进行解析这一问题。

通过验证我们发现，虽然在页面插件中不能访问，但是我们发现向另一个url发送请求依然可以获取数据，且里面没有iframe，可以直接使用xpath。

测试代码如下：

1import requests
2from lxml import etree
3
4headers={
5    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36',
6}
7base_url = "https://music.163.com/discover/artist/cat?id=1001"
8
9response = requests.get(url=base_url, headers=headers)
10html = response.content.decode("utf-8")
11print(html)

我们通过查找iframe，发现里面没有包含iframe，这里就可以直接使用xpath进行解析了

查找华语男歌手

先把华语男歌手这一部分复制出来

1<li><a href="/discover/artist/cat?id=1001"
2class="cat-flag z-slt"
3data-cat="1001">华语男歌手</a>
4</li>

我们先来尝试使用xpath进行解析

1# 只有华语男歌手
2ret = etree_obj.xpath('//a[@class="cat-flag z-slt"]/text()')
3print(ret)

🆗，我们发现，可以获取到华语男歌手，那么我们尝试获取所有歌手的分类

1# 所有歌手
2ret = etree_obj.xpath('//a[@class="cat-flag"]/text()')
3print(ret)

获取了分类之后，我们就可以获取到每个类所对应的链接

1# 链接
2ret = etree_obj.xpath('//a[@class="cat-flag"]/@href')
3print(ret)

下面就开始看看拼接的URL能否正常打开

1"""
2华语男歌手： https://music.163.com/discover/artist/cat?id=1001
3华语女歌手： https://music.163.com/discover/artist/cat?id=1002
4"""

🆗，我们发现正是我们想要爬取内容的URL，至于前两个推荐歌手以及入住歌手为什么不爬取，是因为推荐的这些歌手都在我们要爬取的分类之中，如果全部爬取，会出现重复现象。

二、局部代码实现

2.1 获取所有的歌手类型

1def get_type_url():
2    """获取所有的歌手类型"""
3    types = []
4
5    html = parse_url(start_url)
6    etree_obj =parse_html(html)
7    type_name_list = etree_obj.xpath('//a[@class="cat-flag"]/text()')
8    # print(type_name_list)
9    type_url_list = etree_obj.xpath('//a[@class="cat-flag"]/@href')
10    data_zip = zip(type_name_list[1:],type_url_list[1:])
11
12    for data in data_zip:
13        type = {}
14        type["name"] = data[0]
15        type["url"] = data[1]
16        types.append(type)
17
18    return types

2.2 爬歌手数据

1. 分析

把此部分的源码拿出来

1<a href=" /artist?id=5781" class="nm nm-icn f-thide s-fc0" title="薛之谦的音乐">薛之谦</a>
2<a class="f-tdn" href="/user/home?id=97137413" title="薛之谦的个人主页"><i class="u-icn u-icn-5"></i></a>

2. 代码

1def get_data(url, type_name):
2    """爬歌手数据"""
3    item = {
4        "type": type_name,
5        "name": "",
6        "url": ""
7    }
8
9    html = parse_url(url)
10    etree_obj = parse_html(html)
11    artist_name_list = etree_obj.xpath('//a[@class="nm nm-icn f-thide s-fc0"]/text()')
12    artist_url_list = etree_obj.xpath('//a[@class="nm nm-icn f-thide s-fc0"]/@href')
13
14    data_zip = zip(artist_name_list, artist_url_list)
15    for data in data_zip:
16        item["name"] = data[0]
17        item["url"] = base_url + data[1][1:]
18        items.append(item)

我们通过观察，发现歌手正好是100个，说明我们已经成功拿到数据了。

2.3 发现问题

1.分析

经过上述过程，我们已经把数据拿全了。但是我们经过查看，发现我们拿的数据并不准确，我们发现我们拿的数据应该是从A到Z才对。

并且通过点击，我们也是发现有规律的，规律如下

1https://music.163.com/#/discover/artist/cat?id=1001&initial=65
2https://music.163.com/#/discover/artist/cat?id=1001&initial=66
3https://music.163.com/#/discover/artist/cat?id=1001&initial=90

通过上述的规律，我们发现还要在我们已经获取的URL的基础上再加上&initial=(65,90)才行

2. 实现

1def start():
2    """开始爬虫"""
3    types = get_type_url()
4    # print(types)
5    for type in types:
6        # url = base_url+type["url"]
7        # url还不够完整
8        # print(url)
9        for i in range(65,91):
10            url = "{}{}&initial={}".format(base_url,type["url"],i)
11            print(url)
12            get_data(url, type["name"])

三、完整代码

1# encoding: utf-8
2'''
3  @author 李华鑫
4  @create 2020-10-08 8:27
5  Mycsdn：https://buwenbuhuo.blog.csdn.net/
6  @contact: 459804692@qq.com
7  @software: Pycharm
8  @file: 作业：网易云音乐.py
9  @Version：1.0
10  
11'''
12"""
13华语男歌手： https://music.163.com/discover/artist/cat?id=1001
14华语女歌手： https://music.163.com/discover/artist/cat?id=1002
15"""
16import requests
17import random
18import csv
19import time
20from lxml import etree
21
22# num = [1001,1002,1003,2001,2002,2003,6001,6002,6003,7001,7002,7003,4001,4002,4003]
23base_url = "https://music.163.com/"
24# start_url = "https://music.163.com/discover/artist/cat?id=1001"
25start_url = "https://music.163.com/discover/artist/"
26headers={
27    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36',
28}
29
30items = []
31
32def parse_url(url):
33    """解析url，得到响应内容"""
34    time.sleep(random.random())
35    response = requests.get(url=url,headers=headers)
36    return response.content.decode("utf-8")
37
38def parse_html(html):
39    """使用xpath解析html,返回xpath对象"""
40    etree_obj = etree.HTML(html)
41    return etree_obj
42
43def get_type_url():
44    """获取所有的歌手类型"""
45    types = []
46
47    html = parse_url(start_url)
48    etree_obj =parse_html(html)
49    type_name_list = etree_obj.xpath('//a[@class="cat-flag"]/text()')
50    # print(type_name_list)
51    type_url_list = etree_obj.xpath('//a[@class="cat-flag"]/@href')
52    data_zip = zip(type_name_list[1:],type_url_list[1:])
53
54    for data in data_zip:
55        type = {}
56        type["name"] = data[0]
57        type["url"] = data[1]
58        types.append(type)
59
60    return types
61
62def get_data(url, type_name):
63    """爬歌手数据"""
64    item = {
65        "type": type_name,
66        "name": "",
67        "url": ""
68    }
69
70    html = parse_url(url)
71    etree_obj = parse_html(html)
72    artist_name_list = etree_obj.xpath('//a[@class="nm nm-icn f-thide s-fc0"]/text()')
73    artist_url_list = etree_obj.xpath('//a[@class="nm nm-icn f-thide s-fc0"]/@href')
74
75    data_zip = zip(artist_name_list, artist_url_list)
76    for data in data_zip:
77        item["name"] = data[0]
78        item["url"] = base_url + data[1][1:]
79        items.append(item)
80
81def save():
82    """将数据保存到csv中"""
83    with open("./wangyinyun.csv", "a", encoding="utf-8") as file:
84        writer = csv.writer(file)
85        for item in items:
86            writer.writerow(item.values())
87
88def start():
89    """开始爬虫"""
90    types = get_type_url()
91    # print(types)
92    for type in types:
93        # url = base_url+type["url"]
94        # url还不够完整
95        # print(url)
96        for i in range(65,91):
97            url = "{}{}&initial={}".format(base_url,type["url"],i)
98            print(url)
99            get_data(url, type["name"])
100    save()
101            # exit()
102
103if __name__ == '__main__':
104    start()
105
106"""测试代码"""
107# start_url = "https://music.163.com/discover/artist/cat?id=1001&initial=65"   a _ z
108# response = requests.get(url=base_url,headers=headers)
109# # print(response.content.decode("utf-8"))
110# html = response.content.decode("utf-8")
111# print(html)
112# etree_obj = etree.HTML(html)
113# # 只有华语男歌手
114# # ret = etree_obj.xpath('//a[@class="cat-flag z-slt"]/text()')
115# # 所有歌手
116# ret = etree_obj.xpath('//a[@class="cat-flag"]/text()')
117# print(ret)
118# print(len(ret))
119#
120# # 链接
121# ret = etree_obj.xpath('//a[@class="cat-flag"]/@href')
122# print(ret)
123
124"""
125<li><a href="/discover/artist/cat?id=1001"
126class="cat-flag z-slt"
127data-cat="1001">华语男歌手</a>
128</li>
129
130https://music.163.com/discover/artist/cat?id=1001&initial=65
131"""

四、运行结果

美好的日子总是短暂的，虽然还想继续与大家畅谈，但是本篇博文到此已经结束了，如果还嫌不够过瘾，不用担心，我们下篇见！

好书不厌读百回，熟读课思子自知。而我想要成为全场最靓的仔，就必须坚持通过学习来获取更多知识，用知识改变命运，用博客见证成长，用行动证明我在努力。
如果我的博客对你有帮助、如果你喜欢我的博客内容，请“点赞” “评论”“收藏”一键三连哦！听说点赞的人运气不会太差，每一天都会元气满满呦！如果实在要白嫖的话，那祝你开心每一天，欢迎常来我博客看看。
码字不易，大家的支持就是我坚持下去的动力。点赞后不要忘了关注我哦！

本文转自 https://buwenbuhuo.blog.csdn.net/article/details/109283572，如有侵权，请联系删除。

爬虫入门经典(十) | 一文带你快速爬取网易云音乐

目录

推荐