一、项目概述

1.项目背景

有一天，我突然想找点事做，想起一直想学但是没有学的C语言，就决定来学一下。 可是怎么学呢？看书的话太无聊，报班学呢又快吃土了没钱，不如去B站看看？ 果然，关键字C语言搜索，出现了很多C语言的讲课视频： B站https://www.bilibili.com/是一个很神奇的地方，简直就是一个无所不有的宝库，几乎可以满足你一切的需求和视觉欲。不管你是想看动画、番剧 ，还是游戏、鬼畜 ，亦或科技和各类教学视频 ，只要你能想到的，基本上都可以在B站找到。对于程序猿或即将成为程序猿的人来说，B站上的编程学习资源是学不完的，可是B站没有提供下载的功能，如果想保存下载在需要的时候看，那就是一个麻烦了。我也遇到了这个问题，于是研究怎么可以实现一键下载视频，最终用Python这门神奇的语言实现了。

2.环境配置

这次项目不需要太多的环境配置，最主要的是有ffmpeg（一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序）并设置环境变量就可以了。ffmpeg主要是用于将下载下来的视频和音频进行合并形成完整的视频。

下载ffmpeg

可点击https://download.csdn.net/download/CUFEECR/12234789或进入官网http://ffmpeg.org/download.html进行下载，并解压到你想保存的目录。

设置环境变量

• 复制ffmpeg的bin路径，如xxx\ffmpeg-20190921-ba24b24-win64-shared\bin
• 此电脑右键点击属性，进入控制面板\系统和安全\系统
• 点击高级系统设置→进入系统属性弹窗→点击环境变量→进入环境变量弹窗→选择系统变量下的Path→点击编辑点击→进入编辑环境变量弹窗
• 点击新建→粘贴之前复制的bin路径
• 点击确定，逐步保存退出 动态操作示例如下：

除了ffmpeg，还需要安装pyinstaller库用于程序打包。 可用以下命令进行安装：

1pip install pyinstaller

如果遇到安装失败或下载速度较慢，可换源：

1pip install pyinstaller -i https://pypi.doubanio.com/simple/

二、项目实施

1.导入需要的库

1import json
2import os
3import re
4import shutil
5import ssl
6import time
7import requests
8from concurrent.futures import ThreadPoolExecutor
9from lxml import etree

导入的库包括用于爬取和解析网页的库，还包括创建线程池的库和进行其他处理的库，大多数都是Python自带的，如有未安装的库，可使用pip install xxx命令进行安装。

2.设置请求参数

1# 设置请求头等参数，防止被反爬
2headers = {
3    'Accept': '*/*',
4    'Accept-Language': 'en-US,en;q=0.5',
5    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.116 Safari/537.36'
6}
7params = {
8    'from': 'search',
9    'seid': '9698329271136034665'
10}

设置请求头等参数，减少被反爬的可能。

3.基本处理

1def re_video_info(text, pattern):
2    '''利用正则表达式匹配出视频信息并转化成json'''
3    match = re.search(pattern, text)
4    return json.loads(match.group(1))
5
6
7def create_folder(aid):
8    '''创建文件夹'''
9    if not os.path.exists(aid):
10        os.mkdir(aid)
11
12
13def remove_move_file(aid):
14    '''删除和移动文件'''
15    file_list = os.listdir('./')
16    for file in file_list:
17        # 移除临时文件
18        if file.endswith('_video.mp4'):
19            os.remove(file)
20            pass
21        elif file.endswith('_audio.mp4'):
22            os.remove(file)
23            pass
24        # 保存最终的视频文件
25        elif file.endswith('.mp4'):
26            if os.path.exists(aid + '/' + file):
27                os.remove(aid + '/' + file)
28            shutil.move(file, aid)

主要包括两方面的基本处理，为正式爬取下载做准备：

• 利用正则表达式提取信息 通过requests库请求得到请求后的网页，属于文本，通过正则表达式提取得到关于将要下载的视频的有用信息，便于后一步处理。
• 文件处理 将下载视频完成后的相关文件进行处理，包括删除生成的临时的音视频分离的文件和移动最终视频文件到指定文件夹。

4.下载视频

1def download_video_batch(referer_url, video_url, audio_url, video_name, index):
2    '''批量下载系列视频'''
3    # 更新请求头
4    headers.update({"Referer": referer_url})
5    # 获取文件名
6    short_name = video_name.split('/')[2]
7    print("%d.\t视频下载开始：%s" % (index, short_name))
8    # 下载并保存视频
9    video_content = requests.get(video_url, headers=headers)
10    print('%d.\t%s\t视频大小：' % (index, short_name),
11          round(int(video_content.headers.get('content-length', 0)) / 1024 / 1024, 2), '\tMB')
12    received_video = 0
13    with open('%s_video.mp4' % video_name, 'ab') as output:
14        headers['Range'] = 'bytes=' + str(received_video) + '-'
15        response = requests.get(video_url, headers=headers)
16        output.write(response.content)
17    # 下载并保存音频
18    audio_content = requests.get(audio_url, headers=headers)
19    print('%d.\t%s\t音频大小：' % (index, short_name),
20          round(int(audio_content.headers.get('content-length', 0)) / 1024 / 1024, 2), '\tMB')
21    received_audio = 0
22    with open('%s_audio.mp4' % video_name, 'ab') as output:
23        headers['Range'] = 'bytes=' + str(received_audio) + '-'
24        response = requests.get(audio_url, headers=headers)
25        output.write(response.content)
26        received_audio += len(response.content)
27    return video_name, index
28
29
30def download_video_single(referer_url, video_url, audio_url, video_name):
31    '''单个视频下载'''
32    # 更新请求头
33    headers.update({"Referer": referer_url})
34    print("视频下载开始：%s" % video_name)
35    # 下载并保存视频
36    video_content = requests.get(video_url, headers=headers)
37    print('%s\t视频大小：' % video_name, round(int(video_content.headers.get('content-length', 0)) / 1024 / 1024, 2), '\tMB')
38    received_video = 0
39    with open('%s_video.mp4' % video_name, 'ab') as output:
40        headers['Range'] = 'bytes=' + str(received_video) + '-'
41        response = requests.get(video_url, headers=headers)
42        output.write(response.content)
43    # 下载并保存音频
44    audio_content = requests.get(audio_url, headers=headers)
45    print('%s\t音频大小：' % video_name, round(int(audio_content.headers.get('content-length', 0)) / 1024 / 1024, 2), '\tMB')
46    received_audio = 0
47    with open('%s_audio.mp4' % video_name, 'ab') as output:
48        headers['Range'] = 'bytes=' + str(received_audio) + '-'
49        response = requests.get(audio_url, headers=headers)
50        output.write(response.content)
51        received_audio += len(response.content)
52    print("视频下载结束：%s" % video_name)
53    video_audio_merge_single(video_name)

这部分包括系列视频的批量下载和单个视频的下载，两者的大体实现原理近似，但是由于两个函数的参数有差别，因此分别实现。 在具体的实现中，首先更新请求头，请求视频链接并保存视频（无声音），再请求音频链接并保存音频，在这个过程中得到相应的视频和音频文件的大小。

5.视频和音频合并成完整的视频

1def video_audio_merge_batch(result):
2    '''使用ffmpeg批量视频音频合并'''
3    video_name = result.result()[0]
4    index = result.result()[1]
5    import subprocess
6    video_final = video_name.replace('video', 'video_final')
7    command = 'ffmpeg -i "%s_video.mp4" -i "%s_audio.mp4" -c copy "%s.mp4" -y -loglevel quiet' % (
8        video_name, video_name, video_final)
9    subprocess.Popen(command, shell=True)
10    print("%d.\t视频下载结束：%s" % (index, video_name.split('/')[2]))
11
12
13def video_audio_merge_single(video_name):
14    '''使用ffmpeg单个视频音频合并'''
15    print("视频合成开始：%s" % video_name)
16    import subprocess
17    command = 'ffmpeg -i "%s_video.mp4" -i "%s_audio.mp4" -c copy "%s.mp4" -y -loglevel quiet' % (
18        video_name, video_name, video_name)
19    subprocess.Popen(command, shell=True)
20    print("视频合成结束：%s" % video_name)

这个过程也是批量和单个分开，大致原理差不多，都是调用subprogress模块生成子进程，Popen类来执行shell命令，由于已经将ffmpeg加入环境变量，所以shell命令可以直接调用ffmpeg来合并音视频。

6.3种下载方式的分别实现

1def batch_download():
2    '''使用多线程批量下载视频'''
3    # 提示输入需要下载的系列视频对应的id
4    aid = input('请输入要下载的视频id（举例：链接https://www.bilibili.com/video/av91748877?p=1中id为91748877），默认为91748877\t')
5    if aid:
6        pass
7    else:
8        aid = '91748877'
9    # 提示选择清晰度
10    quality = input('请选择清晰度（1代表高清，2代表清晰，3代表流畅），默认高清\t')
11    if quality == '2':
12        pass
13    elif quality == '3':
14        pass
15    else:
16        quality = '1'
17    acc_quality = int(quality) - 1
18    # ssl模块，处理https请求失败问题，生成证书上下文
19    ssl._create_default_https_context = ssl._create_unverified_context
20    # 获取视频主题
21    url = 'https://www.bilibili.com/video/av{}?p=1'.format(aid)
22    html = etree.HTML(requests.get(url, params=params, headers=headers).text)
23    title = html.xpath('//*[@id="viewbox_report"]/h1/span/text()')[0]
24    print('您即将下载的视频系列是：', title)
25    # 创建临时文件夹
26    create_folder('video')
27    create_folder('video_final')
28    # 定义一个线程池，大小为3
29    pool = ThreadPoolExecutor(3)
30    # 通过api获取视频信息
31    res_json = requests.get('https://api.bilibili.com/x/player/pagelist?aid={}'.format(aid)).json()
32    video_name_list = res_json['data']
33    print('共下载视频{}个'.format(len(video_name_list)))
34    for i, video_content in enumerate(video_name_list):
35        video_name = ('./video/' + video_content['part']).replace(" ", "-")
36        origin_video_url = 'https://www.bilibili.com/video/av{}'.format(aid) + '?p=%d' % (i + 1)
37        # 请求视频，获取信息
38        res = requests.get(origin_video_url, headers=headers)
39        # 解析出视频详情的json
40        video_info_temp = re_video_info(res.text, '__playinfo__=(.*?)</script><script>')
41        video_info = {}
42        # 获取视频品质
43        quality = video_info_temp['data']['accept_description'][acc_quality]
44        # 获取视频时长
45        video_info['duration'] = video_info_temp['data']['dash']['duration']
46        # 获取视频链接
47        video_url = video_info_temp['data']['dash']['video'][acc_quality]['baseUrl']
48        # 获取音频链接
49        audio_url = video_info_temp['data']['dash']['audio'][acc_quality]['baseUrl']
50        # 计算视频时长
51        video_time = int(video_info.get('duration', 0))
52        video_minute = video_time // 60
53        video_second = video_time % 60
54        print('{}.\t当前视频清晰度为{}，时长{}分{}秒'.format(i + 1, quality, video_minute, video_second))
55        # 将任务加入线程池，并在任务完成后回调完成视频音频合并
56        pool.submit(download_video_batch, origin_video_url, video_url, audio_url, video_name, i + 1).add_done_callback(
57            video_audio_merge_batch)
58    pool.shutdown(wait=True)
59    time.sleep(5)
60    # 整理视频信息
61    if os.path.exists(title):
62        shutil.rmtree(title)
63    os.rename('video_final', title)
64    try:
65        shutil.rmtree('video')
66    except:
67        shutil.rmtree('video')
68
69
70def multiple_download():
71    '''批量下载多个独立视频'''
72    # 提示输入所有aid
73    aid_str = input(
74        '请输入要下载的所有视频id，id之间用空格分开\n举例：有5个链接https://www.bilibili.com/video/av89592082、https://www.bilibili.com/video/av68716174、https://www.bilibili.com/video/av87216317、\nhttps://www.bilibili.com/video/av83200644和https://www.bilibili.com/video/av88252843，则输入89592082 68716174 87216317 83200644 88252843\n默认为89592082 68716174 87216317 83200644 88252843\t')
75    if aid_str:
76        pass
77    else:
78        aid_str = '89592082 68716174 87216317 83200644 88252843'
79    if os.path.exists(aid_str):
80        shutil.rmtree(aid_str)
81    aids = aid_str.split(' ')
82    # 提示选择视频质量
83    quality = input('请选择清晰度（1代表高清，2代表清晰，3代表流畅），默认高清\t')
84    if quality == '2':
85        pass
86    elif quality == '3':
87        pass
88    else:
89        quality = '1'
90    acc_quality = int(quality) - 1
91    # 创建文件夹
92    create_folder(aid_str)
93    # 创建线程池，执行多任务
94    pool = ThreadPoolExecutor(3)
95    for aid in aids:
96        # 将任务加入线程池
97        pool.submit(single_download, aid, acc_quality)
98    pool.shutdown(wait=True)
99    time.sleep(5)
100    # 删除临时文件，移动文件
101    remove_move_file(aid_str)
102
103
104def single_download(aid, acc_quality):
105    '''单个视频实现下载'''
106    # 请求视频链接，获取信息
107    origin_video_url = 'https://www.bilibili.com/video/av' + aid
108    res = requests.get(origin_video_url, headers=headers)
109    html = etree.HTML(res.text)
110    title = html.xpath('//*[@id="viewbox_report"]/h1/span/text()')[0]
111    print('您当前正在下载：', title)
112    video_info_temp = re_video_info(res.text, '__playinfo__=(.*?)</script><script>')
113    video_info = {}
114    # 获取视频质量
115    quality = video_info_temp['data']['accept_description'][acc_quality]
116    # 获取视频时长
117    video_info['duration'] = video_info_temp['data']['dash']['duration']
118    # 获取视频链接
119    video_url = video_info_temp['data']['dash']['video'][acc_quality]['baseUrl']
120    # 获取音频链接
121    audio_url = video_info_temp['data']['dash']['audio'][acc_quality]['baseUrl']
122    # 计算视频时长
123    video_time = int(video_info.get('duration', 0))
124    video_minute = video_time // 60
125    video_second = video_time % 60
126    print('当前视频清晰度为{}，时长{}分{}秒'.format(quality, video_minute, video_second))
127    # 调用函数下载保存视频
128    download_video_single(origin_video_url, video_url, audio_url, title)
129
130
131def single_input():
132    '''单个文件下载，获取参数'''
133    # 获取视频aid
134    aid = input('请输入要下载的视频id（举例：链接https://www.bilibili.com/video/av89592082中id为89592082），默认为89592082\t')
135    if aid:
136        pass
137    else:
138        aid = '89592082'
139        # 提示选择视频质量
140    quality = input('请选择清晰度（1代表高清，2代表清晰，3代表流畅），默认高清\t')
141    if quality == '2':
142        pass
143    elif quality == '3':
144        pass
145    else:
146        quality = '1'
147    acc_quality = int(quality) - 1
148    # 调用函数进行下载
149    single_download(aid, acc_quality)

在一般情形下，下载的需求包含3种情况：

• 单个视频的下载 只有一个视频，没有和它属于同一个系列的其他视频，如下图 此时，除了右下方的相关推荐中的视频，没有其他视频，右上方只有弹幕列表、没有视频列表。为了代码的复用，将单个视频下载时提示用户输入需求的代码单独提取出来作为single_input()，下载的函数另外作为single_download(aid, acc_quality)函数实现，在该函数中： 通过视频链接如https://www.bilibili.com/video/av89592082解析网页，得到相应的字符串并转化成json，如下： 字符串json格式化可使用https://www.sojson.com/editor.html进行在线转化。 获取到视频的标题、根据输入确定的视频质量、持续时长、视频链接和音频链接，并调用download_video_single()函数下载该视频。
• 多个视频的下载 这里，多个视频之间是没有关系的，多个视频的下载实际上是先获取到所有的aid，并进行循环，对每个视频链接传入参数调用单个视频下载的函数即可。同时设立线程池，大小为3，既不会对资源有太大的要求，也能实现多任务、提高下载效率。
• 系列视频的下载 此时，多个视频属于同一系列，如https://www.bilibili.com/video/av91748877是一个课程系列，如下 显然，此时右上方有视频列表，标明了有65个子视频，每个视频用p标识，如第2个视频就是https://www.bilibili.com/video/av91748877?p=2。对于所有视频，先获取到视频的相关信息，再加入进程池进行下载，并在任务结束之后回调函数video_audio_merge_batch()合并音视频，并进行文件整理。

7.主函数

1def main():
2    '''主函数，提示用户进行三种下载模式的选择'''
3    download_choice = input('请输入您需要下载的类型：\n1代表下载单个视频，2代表批量下载系列视频，3代表批量下载多个不同视频，默认下载单个视频\t')
4    # 批量下载系列视频
5    if download_choice == '2':
6        batch_download()
7    # 批量下载多个单个视频
8    elif download_choice == '3':
9        multiple_download()
10    # 下载单个视频
11    else:
12        single_input()
13
14
15if __name__ == '__main__':
16    '''调用主函数'''
17    main()

主函数中实现3种下载方式对应的函数的分别调用。

三、项目分析和说明

1.结果测试

对3种方式进行测试的效果如下：

3种下载情景的测试效果均较好，下载速度也能与一般的下载速度相媲美。 代码可点击https://download.csdn.net/download/CUFEECR/12243122或https://github.com/corleytd/Python_Crawling/blob/master/bilibili_downloader_1.py进行下载。

改进说明

B站网站也一直在变化，所以对于下载可能也会有一些变化，所以将改进的地方在下面列举出来：

• 网址参数变化 举例说明： 这段时间发现B站一个视频系列的链接变成https://www.bilibili.com/video/BV1x7411M74h?p=65，即是无规律的字符串（可能是经过某种算法编码或加密得到的），现在从链接中不能得到视频（系列）的aid，这时候可以借助浏览器工具抓包查看数据来找到该视频的aid，如下： 在左侧寻找stat开头的请求，后边的参数即为aid，该请求api的完整链接为https://api.bilibili.com/x/web-interface/archive/stat?aid=91748877，所以可以直接在该链接中获取aid，也可以查看该请求的具体内容，可以看到第一个数据就是aid，我们也可以看到随机字符串就是bvid，可能是建立了aid和bvid的一一映射，找到aid就可以正常下载了。

2.软件打包

在命令行中，使路径位于代码所在路径运行

1pyinstaller bilibili_downloader_1.py

打印

1136 INFO: PyInstaller: 3.6
2137 INFO: Python: 3.7.4
3138 INFO: Platform: Windows-10-10.0.18362-SP0
4140 INFO: wrote xxxx\Bili_Video_Batch_Download\bilibili_downloader_1.spec
5205 INFO: UPX is not available.
6209 INFO: Extending PYTHONPATH with paths
7['xxxx\\Bili_Video_Batch_Download',
8 'xxxx\\Bili_Video_Batch_Download']
9210 INFO: checking Analysis
10211 INFO: Building Analysis because Analysis-00.toc is non existent
11211 INFO: Initializing module dependency graph...
12218 INFO: Caching module graph hooks...
13247 INFO: Analyzing base_library.zip ...
145499 INFO: Caching module dependency graph...
155673 INFO: running Analysis Analysis-00.toc
165702 INFO: Adding Microsoft.Windows.Common-Controls to dependent assemblies of final executable
17  required by xxx\python\python37\python.exe
186231 INFO: Analyzing xxxx\Bili_Video_Batch_Download\bilibili_downloader_1.py
197237 INFO: Processing pre-safe import module hook   urllib3.packages.six.moves
2010126 INFO: Processing pre-safe import module hook   six.moves
2114287 INFO: Processing module hooks...
2214288 INFO: Loading module hook "hook-certifi.py"...
2314296 INFO: Loading module hook "hook-cryptography.py"...
2414936 INFO: Loading module hook "hook-encodings.py"...
2515093 INFO: Loading module hook "hook-lxml.etree.py"...
2615097 INFO: Loading module hook "hook-pydoc.py"...
2715099 INFO: Loading module hook "hook-xml.py"...
2815330 INFO: Looking for ctypes DLLs
2915334 INFO: Analyzing run-time hooks ...
3015339 INFO: Including run-time hook 'pyi_rth_multiprocessing.py'
3115344 INFO: Including run-time hook 'pyi_rth_certifi.py'
3215355 INFO: Looking for dynamic libraries
3315736 INFO: Looking for eggs
3415737 INFO: Using Python library xxx\python\python37\python37.dll
3515757 INFO: Found binding redirects:
36[]
3715776 INFO: Warnings written to xxxx\Bili_Video_Batch_Download\build\bilibili_downloader_1\war
38n-bilibili_downloader_1.txt
3915942 INFO: Graph cross-reference written to xxxx\Bili_Video_Batch_Download\build\bilibili_dow
40nloader_1\xref-bilibili_downloader_1.html
4115967 INFO: checking PYZ
4215968 INFO: Building PYZ because PYZ-00.toc is non existent
4315968 INFO: Building PYZ (ZlibArchive) xxxx\Bili_Video_Batch_Download\build\bilibili_downloade
44r_1\PYZ-00.pyz
4516944 INFO: Building PYZ (ZlibArchive) xxxx\Bili_Video_Batch_Download\build\bilibili_downloade
46r_1\PYZ-00.pyz completed successfully.
4716980 INFO: checking PKG
4816981 INFO: Building PKG because PKG-00.toc is non existent
4916981 INFO: Building PKG (CArchive) PKG-00.pkg
5017030 INFO: Building PKG (CArchive) PKG-00.pkg completed successfully.
5117034 INFO: Bootloader xxx\python\python37\lib\site-packages\PyInstaller\bootloader\Windows-64bit\run.exe
5217034 INFO: checking EXE
5317035 INFO: Building EXE because EXE-00.toc is non existent
5417035 INFO: Building EXE from EXE-00.toc
5517037 INFO: Appending archive to EXE xxxx\Bili_Video_Batch_Download\build\bilibili_downloader_
561\bilibili_downloader_1.exe
5717046 INFO: Building EXE from EXE-00.toc completed successfully.
5817053 INFO: checking COLLECT
5917053 INFO: Building COLLECT because COLLECT-00.toc is non existent
6017055 INFO: Building COLLECT COLLECT-00.toc

出现INFO: Building EXE from EXE-00.toc completed successfully. 即打包成功。 在当前路径下找到dist或build目录下的bilibili_downloader_1目录下的bilibili_downloader_1.exe，即是打包后的软件。 点击打开即可进行选择和输入，开始下载相应视频。 测试示例如下： 在bilibili_downloader_1.exe的同级目录下可以看到下载保存的视频。

3.改进分析

该项目是小编进行B站视频下载的首次尝试，难免有很多不足，在实现的过程中和后期的总结中，可以看出还存在一些问题：

• 还不能下载B站上的所有视频，目前局限于各种普通视频教程，不能下载直播视频、大会员番剧等，可以在后期进一步优化；
• 代码过于繁琐，有不少功能类似的重复代码，可以进一步简化、提高代码的复用性；
• 没有采取适当的措施应对B站的反爬，可能会因为请求过多而无法正常下载。 可以在后期进行优化，使整个程序更加健壮。

4.合法性说明

• 本项目的出发点是方便地下载B站上的学习视频，可以更好地学习各类教程，这对程序猿来说也是一种福利，但是绝不用与其他商业目的，所有读者可以参考执行思路和程序代码，但不能用于恶意和非法目的（恶意频繁下载视频、非法盈利等），如有违者请自行负责。
• 本项目在实施的过程中可能参考了其他大佬的实现思路，如有侵犯他人利益，请联系更改或删除。
• 本项目是B站视频批量下载系列的第一篇，有很多尚待改进的地方，后期会继续更新，欢迎各位读者交流指正，以期不断改进。

本文原文首发来自博客专栏Python爬虫，由本人转发至https://www.helloworld.net/p/rK4H81CQKCDV，其他平台均属侵权，可点击https://blog.csdn.net/CUFEECR/article/details/104736564查看原文，也可点击https://blog.csdn.net/CUFEECR浏览更多优质原创内容。