本文 GitHub https://github.com/Jack-Cherish/PythonPark 已收录，技术干货文章、学习资料、一线大厂面试经验等应有尽有，欢迎 Star 和 完善。
一、前言
让一张图片，动起来，应该怎么做？
DeepFake 一阶运动模型，让万物皆可动。
利用这项技术，用特朗普和蒙娜丽莎的图片，合唱一首《Unravel》，是什么效果？
今天，它来了！
让图片动起来，特朗普和蒙娜丽莎深情合唱《Unravel》
今天，继续手把手教学。
算法原理、环境搭建、效果实现，一条龙服务，尽在下文！
二、算法原理
First Order Motion，也就是一阶运动模型，来自 NeurIPS 2019 论文。
「First Order Motion Model for Image Animation」
论文最初的目的是让「静态图片」动起来。如下图所示：“你动，它也动”。
这个模型可以轻易地让「权利的游戏」中的人物模仿特朗普进行讲话，还可以让静态的马跑起来等。
一阶运动模型的思想是用一组自学习的关键点和局部仿射变换来建立复杂运动模型。
模型由运动估计模块和图像生成模块两个主要部分组成。
首先进行关键点检测，然后根据关键点，进行运动估计，最后使用图像生成模块，生成最终效果。
在运动估计模块中，该模型通过自监督学习将目标物体的外观和运动信息进行分离，并进行特征表示。
而在图像生成模块中，模型会对目标运动期间出现的遮挡进行建模，然后从给定的图片中提取外观信息，结合先前获得的特征表示，生成图片。
作者使用该算法在四个数据集上进行了训练和测试。
VoxCeleb 数据集、UvA-Nemo 数据集、The BAIR robot pushing dataset、作者自己收集的数据集。
其中，VoxCeleb 是一个大型人声识别数据集。
它包含来自 YouTube 视频的 1251 位名人的约 10 万段语音，同时数据基本上是性别平衡的（男性占 55％），这些名人有不同的口音、职业和年龄。
First Order Motion 利用了这个数据集的视频图像，进行了模型训练。
我们就可以利用这个训练好的，人脸的运动估计模型，完成我们今天的任务。
「特朗普和蒙娜丽莎的深情合唱」。
除了需要用到这个一阶运动模型，还需要使用 OpenCV 和 ffmpeg 做视频、音频和图像的处理。
具体的实现，在下文的「效果实现」中说明。
三、环境搭建
效果实现上，我们可以直接用已有的库去实现我们想要的功能。
「Real Time Image Animation」
项目地址：https://github.com/anandpawara/Real_Time_Image_Animation
Python 为什么这么受欢迎，就是因为这一点。
有很多开源项目，方便我们快速实现自己想要的功能，极大降低了开发成本。
真是，谁用谁知道啊。
环境搭建，还是建议使用 Anaconda，安装一些必要的第三方库，可以参考这篇开发环境搭建的内容：
《Pytorch深度学习实战教程（一）：语义分割基础与环境搭建》
这个项目需要用到的第三方库，也都写的很全：
https://github.com/anandpawara/Real_Time_Image_Animation/blob/master/requirements.txt
直接使用 pip 安装即可：
Python
1
python -m pip install -r requirements.txt
此外，为了处理音频和视频，还需要配置 ffmpeg。
安装好 ffmpeg 并配置好环境变量即可。
ffmpeg 下载地址：https://ffmpeg.zeranoe.com/builds/
四、效果实现
实现也非常简单。
首先，整理一下思路：
「Real Time Image Animation」使用一阶运动模型，根据已有视频，让静态图动起来。
左图为原始图片，中间为生成结果，右侧为原始视频。
但是，这个项目只能处理图像，不能保留音频。
所以，我们需要先将音频保存，再将处理好的视频和音频进行合成。
这个功能，就用我们下载好的 ffmpeg 实现。
编写如下代码：
1import subprocess 2import os 3from PIL import Image 4 5def video2mp3(file_name): 6 """ 7 将视频转为音频 8 :param file_name: 传入视频文件的路径 9 :return: 10 """ 11 outfile_name = file_name.split('.')[0] + '.mp3' 12 cmd = 'ffmpeg -i ' + file_name + ' -f mp3 ' + outfile_name 13 subprocess.call(cmd, shell=True) 14 15def video_add_mp3(file_name, mp3_file): 16 """ 17 视频添加音频 18 :param file_name: 传入视频文件的路径 19 :param mp3_file: 传入音频文件的路径 20 :return: 21 """ 22 outfile_name = file_name.split('.')[0] + '-f.mp4' 23 subprocess.call('ffmpeg -i ' + file_name 24 + ' -i ' + mp3_file + ' -strict -2 -f mp4 ' 25 + outfile_name, shell=True)
搞定，视频转音频，以及音频合成都搞定了。
我们需要对「Real Time Image Animation」这个项目进行修改，修改 image_animation.py 文件。
1import imageio 2import torch 3from tqdm import tqdm 4from animate import normalize_kp 5from demo import load_checkpoints 6import numpy as np 7import matplotlib.pyplot as plt 8import matplotlib.animation as animation 9from skimage import img_as_ubyte 10from skimage.transform import resize 11import cv2 12import os 13import argparse 14 15import subprocess 16import os 17from PIL import Image 18 19def video2mp3(file_name): 20 """ 21 将视频转为音频 22 :param file_name: 传入视频文件的路径 23 :return: 24 """ 25 outfile_name = file_name.split('.')[0] + '.mp3' 26 cmd = 'ffmpeg -i ' + file_name + ' -f mp3 ' + outfile_name 27 print(cmd) 28 subprocess.call(cmd, shell=True) 29 30 31def video_add_mp3(file_name, mp3_file): 32 """ 33 视频添加音频 34 :param file_name: 传入视频文件的路径 35 :param mp3_file: 传入音频文件的路径 36 :return: 37 """ 38 outfile_name = file_name.split('.')[0] + '-f.mp4' 39 subprocess.call('ffmpeg -i ' + file_name 40 + ' -i ' + mp3_file + ' -strict -2 -f mp4 ' 41 + outfile_name, shell=True) 42 43ap = argparse.ArgumentParser() 44ap.add_argument("-i", "--input_image", required=True,help="Path to image to animate") 45ap.add_argument("-c", "--checkpoint", required=True,help="Path to checkpoint") 46ap.add_argument("-v","--input_video", required=False, help="Path to video input") 47 48args = vars(ap.parse_args()) 49 50print("[INFO] loading source image and checkpoint...") 51source_path = args['input_image'] 52checkpoint_path = args['checkpoint'] 53if args['input_video']: 54 video_path = args['input_video'] 55else: 56 video_path = None 57source_image = imageio.imread(source_path) 58source_image = resize(source_image,(256,256))[..., :3] 59 60generator, kp_detector = load_checkpoints(config_path='config/vox-256.yaml', checkpoint_path=checkpoint_path) 61 62if not os.path.exists('output'): 63 os.mkdir('output') 64 65 66relative=True 67adapt_movement_scale=True 68cpu=False 69 70if video_path: 71 cap = cv2.VideoCapture(video_path) 72 print("[INFO] Loading video from the given path") 73else: 74 cap = cv2.VideoCapture(0) 75 print("[INFO] Initializing front camera...") 76 77fps = cap.get(cv2.CAP_PROP_FPS) 78size = (int(cap.get(cv2.CAP_PROP_FRAME_WIDTH)), int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))) 79 80 81video2mp3(file_name = video_path) 82 83 84 85fourcc = cv2.VideoWriter_fourcc('M','P','E','G') 86#out1 = cv2.VideoWriter('output/test.avi', fourcc, fps, (256*3 , 256), True) 87out1 = cv2.VideoWriter('output/test.mp4', fourcc, fps, size, True) 88 89cv2_source = cv2.cvtColor(source_image.astype('float32'),cv2.COLOR_BGR2RGB) 90with torch.no_grad() : 91 predictions = [] 92 source = torch.tensor(source_image[np.newaxis].astype(np.float32)).permute(0, 3, 1, 2) 93 if not cpu: 94 source = source.cuda() 95 kp_source = kp_detector(source) 96 count = 0 97 while(True): 98 ret, frame = cap.read() 99 frame = cv2.flip(frame,1) 100 if ret == True: 101 102 if not video_path: 103 x = 143 104 y = 87 105 w = 322 106 h = 322 107 frame = frame[y:y+h,x:x+w] 108 frame1 = resize(frame,(256,256))[..., :3] 109 110 if count == 0: 111 source_image1 = frame1 112 source1 = torch.tensor(source_image1[np.newaxis].astype(np.float32)).permute(0, 3, 1, 2) 113 kp_driving_initial = kp_detector(source1) 114 115 frame_test = torch.tensor(frame1[np.newaxis].astype(np.float32)).permute(0, 3, 1, 2) 116 117 driving_frame = frame_test 118 if not cpu: 119 driving_frame = driving_frame.cuda() 120 kp_driving = kp_detector(driving_frame) 121 kp_norm = normalize_kp(kp_source=kp_source, 122 kp_driving=kp_driving, 123 kp_driving_initial=kp_driving_initial, 124 use_relative_movement=relative, 125 use_relative_jacobian=relative, 126 adapt_movement_scale=adapt_movement_scale) 127 out = generator(source, kp_source=kp_source, kp_driving=kp_norm) 128 predictions.append(np.transpose(out['prediction'].data.cpu().numpy(), [0, 2, 3, 1])[0]) 129 im = np.transpose(out['prediction'].data.cpu().numpy(), [0, 2, 3, 1])[0] 130 im = cv2.cvtColor(im,cv2.COLOR_RGB2BGR) 131 #joinedFrame = np.concatenate((cv2_source,im,frame1),axis=1) 132 #joinedFrame = np.concatenate((cv2_source,im,frame1),axis=1) 133 134 #cv2.imshow('Test',joinedFrame) 135 #out1.write(img_as_ubyte(joinedFrame)) 136 out1.write(img_as_ubyte(im)) 137 count += 1 138# if cv2.waitKey(20) & 0xFF == ord('q'): 139# break 140 else: 141 break 142 143 cap.release() 144 out1.release() 145 cv2.destroyAllWindows() 146 147video_add_mp3(file_name='output/test.mp4', mp3_file=video_path.split('.')[0] + '.mp3')
然后下载算法需要的权重文件和视频图片素材。
修改好的代码、权重文件、视频图片素材，我都已经打包好了，拿来直接用也可以。
下载链接（密码:amz5）：https://pan.baidu.com/s/1TEd7SOaO5mzPaxpOh2pALQ
运行命令：
python image_animation.py -i path_to_input_file -c path_to_checkpoint -v path_to_video_file
path_to_input_file 是输入的模板图片
path_to_checkpoint 是权重文件路径
path_to_video_file 是输入的视频文件
如果使用我打包好的程序，可以使用如下指令直接运行，获得文章开头的视频：
python image_animation.py -i Inputs/trump2.png -c checkpoints/vox-cpk.pth.tar -v 1.mp4
最后生成的视频存放在 output 文件夹下。
大功告成！
五、最后
算法处理视频的速度很快，用 GPU 几秒钟就能搞定。
本文 GitHub https://github.com/Jack-Cherish/PythonPark 已收录，技术干货文章、学习资料、一线大厂面试经验等应有尽有，欢迎 Star 和 完善。