【澳门京葡网站】CMU不仅给人类变脸,剪切视频片段(本例用爱剪辑)

澳门京葡网站 17

原标题:视频换脸新境界:CMU不仅给人类变脸,还能给花草、天气变脸 | ECCV
2018

(一)获取数据(人脸)

圆栗子 发自 凹非寺

需要准备图片数据:两个不同的人脸,各种表情,数量越多越好,约1万张以上会有比较好的替换效果。

澳门京葡网站 1

一般采用的方法是从视频中截取,操作如下:

把一段视频里的面部动作,移植到另一段视频的主角脸上。

首先下载视频(本例用风行播放器下载)。

大家可能已经习惯这样的操作了。

澳门京葡网站 2

澳门京葡网站 3

剪切视频片段(本例用爱剪辑)。

就算目标主角并不是人类,大概也算不上精彩。眼睛鼻子嘴,至少零件齐全

因为目的是为了截取人脸部,所以剪切的视频片段很讲究。

那么,怎样的迁移才可走出这个框框,让这个星球上的万物,都有机会领取视频改造的恩泽?

视频分辨率要高清(否则截取的人脸像素太低);片段中目的人脸比较大、突出、最好就是只有他自己一个人镜头特写的视频片段。

澳门京葡网站 4

澳门京葡网站 5

按着你想要的节奏开花:中老年表情包利器

从视频中截取图片(本例用Ffmpeg软件)。

来自卡耐基梅隆大学的团队,开发了自动变身技巧,不论是花花草草,还是万千气象,都能自如转换。

此时得到有目的人脸的一张张图片。

澳门京葡网站 6

然后,需要删除不需要的图片(如有非目的人脸的,这就是数据清洗)。

云,也变得急切了

澳门京葡网站 7

或许是怀着超越大前辈Cycle-GAN(来自朱俊彦团队)
的意味,团队给自家的GAN起了个非常环保的名字,叫Recycle-GAN

然后写几行代码检测图片中的人脸并截取(利用OpenCV)。

这位选手,入选了ECCV 2018

澳门京葡网站 8

Recycle之道,时间知道

检测并截取的人脸(用于输入到神经网络中训练提取特征)。

Recycle-GAN,是一只无监督学习的AI。

人脸替换的效果非常依赖于这些截取到的人脸图片的质量:

不成对的二维图像数据,来训练视频重定向(Video Retargeting)
并不容易:

如果截取的人脸包含了过多的干扰部分,那么替换效果就很差。

一是,如果没有成对数据,那在视频变身的优化上,给的限制就不够,容易产生不良局部极小值
(Bad Local Minima) 而影响生成效果。

一直重复前面的步骤,直到获取足够多的人脸(两个需要互换的人脸)。

二是,只依靠二维图像的空间信息,要学习视频的风格就很困难。

澳门京葡网站 9

澳门京葡网站 10

然后再写几行代码修改人脸图片的宽高为统一大小,如256×256;

你开花,我就开花

因为输入到神经网络中训练的图片宽高需要一致。

针对这两个问题,CMU团队提出的方法,是利用时间信息(Temporal
Information) 来施加更多的限制,不良局部极小值的现象会减少。

澳门京葡网站 11

另外,时间、空间信息的搭配食用,也能让AI更好地学到视频的风格特征

(二)进行模型训练

澳门京葡网站 12

接下来,开始进行漫长的训练:

时间信息:进度条撑不住了 (误)

一般需要,一万张图片,训练100万次,才有比较好的替换效果;

重要的是,视频里的时间信息唾手可得,无需寻觅。

我计算了一下时间,普通i7-PC,训练一次约44s,100万次需要运行约1.2万小时,约500天;玩不起(本例训练了1000次)。

然后,看一下Recycle-GAN,是怎样在两段视频的图像之间,建立映射的。

深度学习漫长的训练过程;

澳门京葡网站 13

本例代码是利用深度学习框架keras(backend is TensorFlow)构建CNN;

三位选手对比一下

训练完成之后,得到换脸模型;

Pix2Pix是有成对数据的;CycleGAN靠的是循环一致性 (Cycle Consistency)
;RecycleGAN用的是视频流的时间信息

澳门京葡网站 14

翻来覆去的,比CycleGAN的历程还要艰辛。好像终于感受到,Recycle-GAN这个名字是有道理的。

(三)进行视频人脸替换

对抗损失(Adversarial Loss) ,朱俊彦团队的循环损失(Cycle Loss)
反复损失(Recurrent Loss)
,以及CMU团队自己造的“再”循环损失(Recycle Loss)
都用上,才是强大的损失函数

•接下来进行视频人脸替换;

效果怎么样?

•通俗点说就是通过提取面部的特定结构,如眼睛、鼻子、嘴巴的位置,颧骨、下巴、脸颊的形状;

似乎只有和CycleGAN比一场,才知道时间信息好不好用。

•然后按照这些特征点做替换;

第一局,先来看看换脸的效果:

•前面训练的模型,已经有了两个不同的人脸的特征;

澳门京葡网站 15

•就目前了解的信息来说,通过深度学习替换人脸这一技术相对于工业使用的人脸表情提取技术,优势是大大降低了使用门槛,但是远远还做不到以假乱真的完美效果;

RecycleGAN用奥巴马生成的川川,除了嘴皮子,脸的角度也在跟着变化。而中间的CycleGAN,只有嘴的动作比较明显。

接下来,仍然使用爱剪辑工具,从一段视频,如电影中截取用于替换人脸的一个视频片段;

第二局,你见过蒲公英开花的样子么:

截取的视频片段也是需要精心挑选的:需要有利于检测到被替换的人脸。

澳门京葡网站 16

例如,截取的视频中同时出现在镜头中人脸太多、人脸太小等都不利于检测。

当RecycleGAN的蒲公英,学着菊花的动作,变成茂密的团子,CycleGAN还在慢慢地绽放。

澳门京葡网站 17

注意,团队是预先把两种花,从初开到完全凋谢的时间调成一致。

再利用ffmpeg工具,把需要被替换人脸的视频按原帧速截取成每一张图片;