“造”个自己去开会:最牛 3D 人脸建模系统,输入一张照片就行

广 告 位 演 示

“造”个自己去开会:最牛 3D 人脸建模系统,输入一张照片就行,图片,第1张

1 月 26 日消息,伦敦帝国理工学院和初创公司 FaceSoft.io 的研究人员设计出一个人脸建模系统 AvatarMe。AvatarMe 可以依据任意一张人脸照片和一些面部细节,生成 4K x 6K 分辨率的 3D 人脸模型

AvatarMe 是首个能根据单一图像生成较高分辨率 3D 人脸模型的系统。在未来,AvatarMe 或可用于视频会议等各个 VR 应用场景。

这项研究发表于 CVPR 2020,论文标题为《AvatarMe:“在野外”的真实的可渲染的 3D 脸部重建(AvatarMe:Realistically Renderable 3D Facial Reconstruction “in-the-wild”)》。

论文链接:

https://arxiv.org/pdf/2003.13845.pdf

CVPR(Conference on Computer Vision and Pattern Recognition)是由 IEEE 举办的计算机视觉和模式识别领域的顶级会议,本届会议在 6 月 13 日到 6 月 19 日之间举办。

“造”个自己去开会:最牛 3D 人脸建模系统,输入一张照片就行,第2张

AvatarMe:依据一张照片生成逼真的 3D 人脸

3D 人脸建模是计算机视觉、图形学、机器学习领域的研究焦点之一。在过去几年,许多研究团队研发了基于生成对抗性网络(GAN)的 3D 人脸建模系统。

GAN 由一个生成网络和一个判别网络组成。GAN 模型的学习过程就是生成网络和判别网络的相互博弈的过程:生成网络随机合成一张图片,让判别网络判断这张图片的真假,继而根据判别网络给出的反馈不断提高 “造假”能力,最终做到以假乱真。

但是,在依据任意人脸照片生成 3D 人脸模型方面,现有的解决方案普遍性能较差,生成的 3D 人脸模型分辨率较低。

伦敦帝国理工学院和初创公司 FaceSoft.io 的研究人员认为,这是因为两个原因:

一方面,研究人员缺乏可用于培训的数据;另一方面,可成功应用于高分辨率数据的稳健方法也比较少。

为了解决这些问题,伦敦帝国理工学院和初创公司 FaceSoft.io 的研发人员捕获了一个关于面部形状和反射率的大型数据集。

同时,研究人员采用基于艺术状态的 3D 纹理和形状重建方法,以渲染所需的每像素分辨率和镜面反射分量。最终,研究人员成功地优化了 3D 人脸建模结果。

“造”个自己去开会:最牛 3D 人脸建模系统,输入一张照片就行,第3张

▲AvatarMe 系统的管道结果

采用两种捕获方法收集超 200 张人脸图像

为了建立可用于训练的人脸数据集,研究人员采用两种方法收集数据。

第一种方法中,研究人员利用一个有 168 个光源的极化 LED 球泡灯和 9 台单反相机,捕获高分辨率的孔隙级人脸反射率图。极化 LED 球泡灯中,一半的光源是垂直极化的,另一半光源是水平极化的。两种极化方式的光源交错排布。

第二种方法中,研究人员利用非极化的 LED 球泡灯进行色彩空间分析,以捕获解缠的纹理。相比于第一种方法,利用非极化的 LED 球泡灯只需捕获不到一半的数据,因此捕获时间较短短。另外,由于不需要偏振片(polarizer),非极化的 LED 球泡灯设置也比较简单。

通过这两种方法,研究人员采集到超过 200 个不同年龄和特点的人的孔隙级人脸反射率图。为便于进一步研究,研究人员将收集到的图像引入一个标准拓扑结构中,建立人脸数据库。

研究人员将这一数据库命名为 RealFaceDB,根据论文,与同类人脸数据库相比,RealFaceDB 规模为最大。

“造”个自己去开会:最牛 3D 人脸建模系统,输入一张照片就行,第4张

▲将人脸图像引入标准拓扑结构

不仅能用低分辨率照片建模 戴墨镜照片也行

基于 RealFaceDB 数据库,研究人员开始训练基于 GAN 的 AvatarMe 系统。

训练过程中,研究人员首先输入一张低分辨率的人脸图片,用 3DMM 算法重建一个带纹理的基本几何体。然后,利用一个超级分辨率网络,研究人员重建纹理映射。接下来,研究人员利用一个去照明网络获得高分辨率的漫反射函数(AD)。最后,研究人员利用漫反射函数 AD 和基本几何体,推断出其他部分的函数(AS、ND、NS),进而建立仿真的 3D 人脸模型。

“造”个自己去开会:最牛 3D 人脸建模系统,输入一张照片就行,第5张

经过训练,AvatarMe 系统可以输出 4K x 6K 分辨率的 3D 人脸模型。

“造”个自己去开会:最牛 3D 人脸建模系统,输入一张照片就行,第6张

为了评估 AvatarMe 的性能,研究人员输入随机图片,观察 AvatarMe 重建的 3D 模型是否逼真。结果显示,AvatarMe 系统重建的 3D 人脸模型没有产生伪影。另外,在照片主人公戴有墨镜的情况下,系统也能较精准地建模。

“造”个自己去开会:最牛 3D 人脸建模系统,输入一张照片就行,第7张

结语:未来计划把 RealFaceDB 数据库开源

本项研究中,伦敦帝国理工学院和初创公司 FaceSoft.io 的研究人员设计出人脸建模系统 AvatarMe。AvatarMe 可以利用任意一张人脸照片,建立出较高分辨率的 3D 人脸模型。

研究人员还建立了同类数据库中规模最大的 RealFaceDB 数据库。研究人员称,未来计划将这一数据库向科学界开源。

同时,论文指出,RealFaceDB 数据库还存在一些局限性。比如,RealFaceDB 数据库中缺乏来自深肤色种族的样本。因此,在依据深肤色种族样本建模时,AvatarMe 系统建立的 3D 人脸模型分辨率有所降低。

广 告 位 演 示
广 告 位 演 示

发表评论 取消回复

很抱歉,您暂时无法发布评论。需要 登录 后才能发布。

公告

欢迎访问演示站,这里是自定义公告内容