昨天在凹凸数读写了一篇新文章，有关网易云音乐热评的分析，链接如下：
之前由于懒，总是评论区放个代码就草草了事，技术号们也不太好转载，以后争取《凹凸数读》的每篇文章都在这个《凹凸玩数据》里写下流程。
有个段子讲“十年文案老司机，不如网易评论区，网易文豪遍地走，评论全部单身狗”，网易云音乐的评论区也一直都是各类文案大神的聚集地。
那么我们普通用户到底如何成为网易云音乐评论里的热评段子手？
让我来分析一下。
获取数据
其实逻辑并不复杂：
-
爬取歌单列表里的所有歌单url。
-
进入每篇歌单爬取所有歌曲url，去重。
-
进入每首歌曲首页爬取热评，汇总。
歌单列表是这样的：
翻页并观察它的url变化，注意下方动图，每次翻页末尾变化35。
采用requests+pyquery来爬取。
1def get_list(): 2 list1 = [] 3 for i in range(0,1295,35): 4 url = 'https://music.163.com/discover/playlist/?order=hot&cat=%E5%8D%8E%E8%AF%AD&limit=35&offset='+str(i) 5 print('已成功采集%i页歌单\n' %(i/35+1)) 6 data = [] 7 html = restaurant(url) 8 doc = pq(html) 9 for i in range(1,36): # 一页35个歌单 10 a = doc('#m-pl-container > li:nth-child(' + str(i) +') > div > a').attr('href') 11 a1 = 'https://music.163.com/api' + a.replace('?','/detail?') 12 data.append(a1) 13 list1.extend(data) 14 time.sleep(5+random.random()) 15 return list1 16
这样我们就可以获得38页每页35篇歌单，共1300+篇歌单。
下面我们需要进入每篇歌单爬取所有歌曲url，并且要注意最后“去重”，不同歌单可能包含同一首歌曲。
点开一篇歌单，注意红色圈出的id。
观察一下，我们要在每篇歌单下方获取的信息也就是红框圈出的这些，利用刚刚爬取到的歌单id和网易云音乐的api（下一篇文章细讲）可以构造出：
不方便看的话我们解析一下json。
1def get_playlist(url): 2 data = [] 3 doc = get_json(url) 4 obj=json.loads(doc) 5 jobs=obj['result']['tracks'] 6 for job in jobs: 7 dic = {} 8 dic['name']=jsonpath.jsonpath(job,'$..name')[0] #歌曲名称 9 dic['id']=jsonpath.jsonpath(job,'$..id')[0] #歌曲ID 10 data.append(dic) 11 return data
这样我们就获取了所有歌单下的歌曲，记得去重。
1#去重 2data = data.drop_duplicates(subset=None, keep='first', inplace=True)
剩下就是获取每首歌曲的热评了，与前面获取歌曲类似，也是根据api构造，很容易就找到了。
1def get_comments(url,k): 2 data = [] 3 doc = get_json(url) 4 obj=json.loads(doc) 5 jobs=obj['hotComments'] 6 for job in jobs: 7 dic = {} 8 dic['content']=jsonpath.jsonpath(job,'$..content')[0] 9 dic['time']= stampToTime(jsonpath.jsonpath(job,'$..time')[0]) 10 dic['userId']=jsonpath.jsonpath(job['user'],'$..userId')[0] #用户ID 11 dic['nickname']=jsonpath.jsonpath(job['user'],'$..nickname')[0]#用户名 12 dic['likedCount']=jsonpath.jsonpath(job,'$..likedCount')[0] 13 dic['name']= k 14 data.append(dic) 15 return data
汇总后就获得了44万条音乐热评数据。
数据分析
清洗填充一下。
1def data_cleaning(data): 2 cols = data.columns 3 for col in cols: 4 if data[col].dtype == 'object': 5 data[col].fillna('缺失数据', inplace = True) 6 else: 7 data[col].fillna(0, inplace = True) 8 return(data)
按照点赞数排个序。
1#排序 2df1['likedCount'] = df1['likedCount'].astype('int') 3df_2 = df1.sort_values(by="likedCount",ascending=False) 4df_2.head() 5
再看看哪些热评是被复制粘贴搬来搬去的。
1#排序 2df_line = df.groupby(['content']).count().reset_index().sort_values(by="name",ascending=False) 3df_line.head() 4
第一个和第三个只是末尾有没有句号的区别，可以归为一类。这样的话，重复次数最多个这句话竟然重复了412次，额~~
看看上热评次数次数最多的是哪位大神？从他的身上我们能学到什么经验？
1df_user = df.groupby(['userId']).count().reset_index().sort_values(by="name",ascending=False) 2df_user.head() 3
按照 user_id 汇总一下，排序。
成功“捕获”一枚“段子手”，上热评次数高达347，我们再看看这位大神究竟都评论些什么？
1df_user_max = df.loc[(df['userId'] == 101***770)] 2df_user_max.head() 3
这位“失眠的陈先生”看来各种情话娴熟于手啊，下面就以他举例来看看如何成为网易云音乐评论里的热评段子手吧。
数据可视化
先看看这347条评论的赞数分布。
1#赞数分布图 2import matplotlib.pyplot as plt 3data = df_user_max['likedCount'] 4#data.to_csv("df_user_max.csv", index_label="index_label",encoding='utf-8-sig') 5plt.hist(data,100,normed=True,facecolor='g',alpha=0.9) 6plt.show()
很明显，赞数并不多，大部分都在500赞之内，几百赞却能跻身热评，这也侧面说明了这些歌曲是比较小众的，看来是经常在新歌区广撒网。
我们使用len() 求出每条评论的字符串长度，再画个分布图
评论的字数集中在18—30字之间，这说明在留言时要注意字数，保险的做法是不要太长让人读不下去，也不要太短以免不够经典。
做个词云。
可以看出他的评论风格是以一首歌使他“想起”“感觉”为开头，宾语通常是“喜欢的女孩子”，也经常用"她”来指代。寄托的情感是“后悔”“悲伤”，感慨的终点是“放下”。
44万条数据能分析的当然不止这些，详情请移步。
也许我们可以通过分析规律收获点赞，成为热评网红段子手。但最终能打动人心的，依然是基于歌曲本身的真诚分享，和点出歌中蕴含的真正共鸣。
本文相关代码：
1#下载链接 2https://t.zsxq.com/F6UfUbA
本文转转自微信公众号凹凸数据原创https://mp.weixin.qq.com/s/QYlHyfIQI2_FqxTztYy9Ag，可扫描二维码进行关注：
如有侵权，请联系删除。