韶关配资开户

股票配资 门户 在线配资 详情
  • 评论
  • 收藏

南皮百科网 2020-07-08 450 10

演技差靠换脸?迪士尼开发百万像素换脸新技能,或将用于大荧幕

作者:J. Naruniec 等

呆板之心编译

韶关配资开户参与:小舟、杜伟、魔王

迪士尼新研究实现百万像素图像和视频换脸,说不定未来大荧幕影戏也会使用换脸技能了。

deepfakes 技能可以用于图像和视频换脸,但它能否用于大制作影戏和电视节目中呢?迪士尼最新放出的一则视频 demo 展示了这种可能性。

韶关配资开户近日迪士尼在欧洲图形学会透视研讨会(EGSR)上发表研究,展示了首个百万像素传神换脸技能。

效果是不是还不错。如许的效果虽然并不足以用于漫威影戏,但它是换脸技能迈出的新一步。

韶关配资开户来自迪士尼的研究者表示,这项技能的创新点在于可以或许到达百万像素质量。百万像素大概不再是高质量图像的代名词,究竟手机自带摄像头就能到达万万像素。但是截至目前,换脸技能一直注意平滑的面部转换,不注意提高像素。

韶关配资开户你可能在手机上看到过效果好到爆炸的换脸视频,但是如果把它们放在更大的屏幕上出现,就会出现许多瑕疵。研究者表示,他们用开源 deepfake 模子 DeepFakeLab 创建的视频辨别率最高也只有 256*256 像素。相比之下,迪士尼新模子可以或许让视频的辨别率提升到 1024*1024 像素。

那么,百万像素换脸是如何实现的呢?

首个百万像素换脸要领

究发表在欧洲图形学会透视研讨会(EGSR)上,提出了一种在图像和视频中实现全自动换脸的算法。据研究者称,这是首个渲染百万像素传神结果的要领,且输出结果具备时序一致性。

详细来说,该研究提出了一个渐进式训练的多路 comb 网络,以及一种保持亮度和对比度的混淆要领。

详细而言,虽然渐进式训练可以或许天生高辨别率图像,但将架构和训练数据扩展至两人以上可以使天生的心情具备更高的保真度。

别的,在将天生的心情合成到目标人脸时,研究者调解混淆计谋,以保持对比度和低频光照。

末了,研究者在人脸要害点稳定算法中融入了一种细化计谋,以实现时序稳定性,这对于处置惩罚高辨别率视频来说至关紧张。

韶关配资开户在实验部门,研究者通过控制变量研究来验证该要领对换脸质量的影响,并与流行的 SOTA 要领举行了比力。

下图展示了迪士尼换脸要领的天生结果:

高清换脸 Pipeline

韶关配资开户下图 2 展示了百万像素辨别率下执行传神换脸的整体流程:

该流程包括如下四个步骤:

对于图像 x_t,检测人脸并定位人脸要害点;

韶关配资开户将人脸辨别率归一化为 1024×1024,生存归一化参数;

将归一化人脸馈入网络,并生存第 s 个解码器的输出 x˜_s;

使用步骤 2 生存的归一化参数,在图像 x˜_s 上反转图像归一化结果。末了,借助该研究提出的合成要领,将天生的图像与图像 x_t 混淆。

而该流程中,最焦点的组件无疑是模子自己了。该研究使用的单编码器 - 多解码器网络架构如下图 3 所示:

别的,研究者还先容了实现人脸要害点对齐和稳定的要领,以确保换脸图像的时序一致性,以及保持光照和对比度的图像合成流程。此处不再赘述,详情参见原论文。

与当前 SOTA 要领的对比

下图 4 为该要领与 DeepFakes、DeepFaceLab 和 Nirkin 等人提出要领的换脸效果对比。从左到右依次为:目标图像、源图像、该要领在 1024×1024 和 256×256 辨别率下的成像效果,以及其他三种要领的成像效果。

控制变量研究

韶关配资开户研究者执行以下四种实验,来检察该研究提出的单编码器 - 多解码器网络架构和算法对换脸质量的影响:

渐进式训练 VS 一次性训练整个网络;

使用多路 comb 模子 VS 单独的双路模子;

韶关配资开户该研究提出的保持对比度的多频段合成要领 VS 泊松融合要领;

韶关配资开户该研究中人脸要害点稳定要领的影响。

下图 5 为渐进式训练与非渐进式训练的成像效果对比,可以看出,渐进式训练的成像效果优于非渐进式训练。

下图 7 为使用多路 comb 模子与双路模子的成像效果对比:

下图 8 为该要领与泊松融合要领的成像效果对比。从图中可以看出,该要领可以更好地保留目标人脸的全局光照特性,而泊松融合要领导致人脸出现了某种「漂白」效果。

下图 10 为人脸要害点稳定结果:

缺陷

只管可以或许以高辨别率举行传神的人脸转换,但是迪士尼提出的这一要领仍然存在缺陷。比方,无法基于数据恰当捕捉的心情和姿势,可能会导致不完善的天生结果,好比模糊和其它伪影。

该研究要领的失败天生结果如下图所示:

论文链接:http://s3.amazonaws.com/disney-research-data/wp-content/uploads/2020/06/18013325/High-Resolution-Neural-Face-Swapping-for-Visual-Effects.pdf

参考链接:http://www.theverge.com/2020/6/29/21306889/disney-deepfake-face-swapping-research-megapixel-resolution-film-tv

呆板之心 CVPR 2020 线上论文系列分享已经举行了九期。在最新一期的分享中,我们约请到了 CVPR 2020 最佳论文的一作吴尚哲来为我们分享这篇论文的解决方案及亮点。



鲜花

握手

雷人

路过

鸡蛋

分享

邀请

下一篇:暂无上一篇:暂无

最新评论(0)

Archiver|手机版|小黑屋|南皮百科网  

© 2015-2020 Powered by 南皮百科网 X1.0

微信扫描