“官宣官宣了,我男朋友帅吧”。今天是520网络情人节,数万人在快手官宣脱单,这是怎么做到的?原来是快手上线了一款视频特效,让单身的小伙伴们瞬间甜蜜分身,“顺利脱单”。这是快手为用户准备的一系列520特效中的一款,受到用户欢迎。
“感谢快手送的男朋友,真帅!”,“听说两个人在一起久了会越长越像,我男朋友很像我啊”,“官宣官宣,公布对象”。这款“变情侣”上线后,快手用户玩出了各式花样分身,和对象一起比心,牵手,玩手指舞,还能一起同框喝奶茶。还有宝妈用这款特效给宝宝拍摄视频,瞬间可以喜提龙凤胎。
快手上线的520一系列魔表中还有“变男神”、“变女神”的能够实现变性别效果的特效。“变男神”让女性用户自己变身男神,欣赏变身后的帅气发型。“变女神”的特效让男性用户瞬间变身肤白貌美的女子。
GAN生成对抗网络助力单身狗“顺利脱单”
如此好玩新奇的体验背后用到了什么高科技呢,据快手Y-tech的算法工程师介绍,该效果背后的核心技术是GAN(GenerativeAdversarialNetwork,生成对抗网络)。在用户原有图像的基础上,利用GAN可以生成以假乱真的图像,即使对这些图像仔细分辨也未必能看出其中假的痕迹。
生成式对抗网络
要想实现手机端实时的性别变换效果,必须要解决以下三大核心问题。
第一,GAN生成的脸部特征与用户的性别明显相反,但是同时要能看出来与用户本身很像,具有很近的血缘关系。将女生变换成男生之后,若男性化特征非常明显,那么可能会丢失一些用户本身的ID信息,使得用户看着不像自己,趣味性就必然会下降。因此GAN模型需要在改变性别特征与保留用户ID之间取得一个平衡。
第二,GAN生成与目标性别匹配的头发,且实时拍摄时无论用户是什么样的姿态,生成的头发都需要稳定连续。为了达到控制生成的发型的目的,快手Y-tech算法工程师将GAN与图形学结合在一起,充分利用了图形学中的3D理论与GAN的纹理学习能力。最终的效果给用户带来了新奇惊艳的体验。
在判断一个人性别的时候,头发可以起到非常重要的作用,若生成的头发不真实,那么用户会第一时间认为此效果不好。与人脸不同的是,头发的自由度较高,不同的人甚至是同一个人的头发形状、颜色、走向都有很多种变化。GAN作为一种AI技术,是基于数据来学习某种分布,那么就需要利用数据中多种多样的头发来学习得到一种固定模式的头发,从而为所有用户都生成稳定连续的某种特定发型。
第三,要在不同型号不同运算能力的手机端实时做到性别变换。GAN模型一般运算量都较大,但是快手用户覆盖较广,使用的手机运算能力差别很大。为了能够让所有用户都体验到新技术带来的福利,快手Y-tech采用了一个系统化的解决方案,从底层引擎的加速到模型的压缩,再到后处理的优化,每一部分都暗含了相当大的挑战和能力。
除了性别变化,快手Y-tech在其他生成式技术也做了丰富的积累,比如变年轻、变老。2019年8月份,快手上线了“变娃娃脸”特效,这次不仅是国内首个实现端上实时GAN,也是全球范围内第一次实现iOS安卓多平台、全机型覆盖的视频实时GAN。