“换脸”新技术！可将任意人脸更换为任何目标人脸，同时能保留目标人脸属性

　　近日，上海交通大学联合研发了一款换脸框架 SimSwap，使人脸交换的应用更加灵活广泛且真实度更高。以前的换脸框架要么缺乏概括任意身份的能力，要么无法保留面部表情和注视方向等属性，这一框架能够将任意源人脸的身份转换为任意目标人脸，同时保留目标人脸的属性。

　　
图 | 相关论文（来源：ACM）

　　人脸交换是一项前景良好的智能技术。它在保持目标人脸的特征（如表情、姿态、光照等）不变的情况下，将源人脸的特征转换为目标人脸。在电影行业被广泛应用于制造不存在的双胞胎等画面。让影迷记忆最深的当属 2015 年 4 月 12 日上映的《速度与激情 7》中，原本于 2013 年便意外去世的保罗沃克通过换脸技术实现了 “重生”，圆了影迷的一个梦。

　　利用先进的设备重建演员的人脸模型，重建场景的光照条件，这是大多数人无法企及的。

　　目前，人脸互换的主要困难有以下几个方面：1）具有较强通用能力的人脸交换框架应适用于任意人脸；2）合成后的面部的特征应与源面孔特征相近；3）生成出来的人脸特征（如表情、姿势、灯光等）应与目标人脸的特征一致。

　　上海交通大学的科研团队从两方面入手，首先，在框架中加入一个身份注入模块（IIM）。其次，提出弱特征匹配损失。双管齐下，将上述问题迎刃而解。

　　身份注入模块

　　首先，增加身份注入模块（IIM）以实现算法框架的广泛性应用。任何脸都能使用同一算法进行换脸，这一梦想成为现实。

　　目前，以 DeepFake 为代表的换脸框架使用编码器 - 解码器架构，只能针对两个特定的面孔进行交换，缺乏广泛应用的能力。

　　SimSwap 通过在编码器和解码器之间添加额外的 ID 注入模块来改进该体系结构。在特征层面将源脸的身份信息迁移到目标脸，消除了原图特征信息与解码器的权重之间的相关性。

　　（来源：ACM）

　　通过加入 ID 注入模块，将原本局限于两张特定人脸的互换方法扩展到任意人脸的互换上。且这一算法框架不用挑选特定朝向及表情的面部图片也能实现换脸。每次换脸不再需要更换算法，节省了时间及财力。同一算法结构应用到任意人脸更换，其通用性得以实现。

　　
（来源：ACM）

　　弱特征匹配损失

　　在人脸交换任务中，修改应只在五官特征部分进行，目标人脸的属性（如表情、位置、灯光等）保持不变。但是，由于 SimSwap 是从整体的角度直接进行人脸修改，包括目标人脸的身份信息和属性信息，属性信息很可能受到特征嵌入的影响。

　　为了防止属性失配，研究人员通过使用训练损失来约束它们。然而，显式地约束所有属性，因为太多属性需要考虑，过程过于繁琐。因此，SimSwap 选用一种相对简洁的弱特征匹配损失进行隐式约束。损失函数共有 5 项：身份损失、重建损失、对抗损失、梯度惩罚和弱特征匹配损失。

　　（来源：ACM）

　　通过使用这种损失函数，即使没有进行显式地网络约束，算法框架也可以隐式地学习如何保留输入目标面孔的属性。

　　（来源：ACM）

　　通过与其他换脸算法的对比，可以看出相较于 DeepFakes 和 FaceShifter，SimSwap 生成了可信的人脸交换结果，同时实现了更好的属性保持性能。

　　相信在未来，通用型高保真人脸交换框架 SimSwap 因其高效低价的双重优势，在影视等行业中得以充分应用。

　　-End-

　　参考：

　　https://arxiv.org/abs/2106.06340

　　https://kns.cnki.net/KXReader/DetailTIMESTAMP=637598612055087890&DBCODE=CJFD&TABLEName=CJFDLAST2021&FileName=YWCB202105006&RESULT=1&SIGN=3WehpQ5RvBTu8l0p921ac5ulTW0%3d