早在1982年,机甲动画《超时空要塞》在日本热映,动画制作方龙之子工作室以《超时空要塞》中的角色林明美为基础,包装诞生了世界上第一位虚拟歌姬,其专辑也成功打入当时的知名音乐排行榜,成为第一名从虚幻作品中走进现实的虚拟人,虚拟人的漫长历史也自此开始。
如今,各互联网大厂纷纷推出数字人形象,本文就带大家来盘点那些近年来爆火的虚拟人是如何制作的吧!
技术进步为数字人带来可能
今年年初,虚幻引擎(Unreal Engine)发布了一款如梦似幻的“数字人”制作工具——metaHuman Creator,它的逼真效果让所有人都震惊了。光泽自然的肌肤;精致的毛发;灵动的眼神;清晰的皮肤纹路和微妙的表情......很难让人相信这是电脑制作出的虚拟人而不是现实生活中存在的真人!
虚幻引擎《我是metaHuman》宣传片
现在,你和“数字人类”之间的距离,只是一台高配的个人电脑。metaHuman Creator是一款云端流送应用,设计目的就是在不牺牲质量的前提下,使实时数字人类的创作时间从数周乃至数月缩短到一小时以内。
工作原理是根据一个不断增长的、丰富的人类外表与动作库进行绘制,并且允许用户使用直观的工作流程雕刻和制作想要的结果,从而创作出可信的新角色。在做调节时,metaHuman Creator会以数据约束的合理方式在库中的实际示例之间进行混合。用户可以在五花八门数据库里选择一系列预设人脸作为创作起点,混合出你想要的人脸。
当制作出满意的人物后,用户就可以通过Quixel Bridge下载资源。它们配有完整的LOD和齐全的骨架绑定,可在虚幻引擎中用于动画和动作捕捉。你还可以以Maya文件的格式获取源数据,包括网格体、骨架、面部绑定、动画控制和材质。可以想象,metaHuman Creator必将成为打造逼真虚拟角色的易用工具之一。
发布会更多精彩内容:AI、机器人与“阿凡达”——创建元宇宙的平台型工具来了
由此可见,如今虚拟人技术发展迅速,假设英伟达不自曝,外界永远不知道虚拟人“黄仁勋”的存在。
翎Ling代表民族文化参加选秀节目
网易在2017年成立伏羲工作室,专注游戏与泛娱乐AI研究和应用,研究方向包括虚拟人、强化学习、图像动作、自然语言和云计算平台等,并完成了对次世文化,这家专注于虚拟人生态的文化产品公司的战略投资。
目前,伏羲已在数字人与游戏的结合上做不少尝试。2020年11月下旬,由央视主办的选秀节目《上线吧!华彩少年》的一波波预告中,一个名为翎Ling的练习生引发了一些网友的评论。事实是,这个绑着丸子头,拥有着不真实的丹凤眼的练习生就是AI。
翎Ling由“魔珐科技”联合“次世文化”推出,她和国际知名的博主们类似,会同真人一样在社交平台上分享自己的日常及照片。她拥有较为完整的“人设”——热爱中国传统文化,喜欢京剧,毛笔字和太极。甚至,单字“翎”也是取材于京剧花翎的“翎”,与此同时,她的声音也是源自梅派的第三代传人,似乎,她的出现就是为了弘扬中华民族的传统艺术。
高仿真虚拟人物相较于初代虚拟歌姬而言,从外形到运作模式更近似于真实艺人。他们在社交平台出现的频次更高,且有着更强的社交属性,而同常人一般分享日常或出席品牌活动等生活碎片的举措,也使高仿真虚拟人物们的互动性较前辈而言,有更大的提升。
小诤成为首个数字航天员
腾讯算是国内较早布局数字人的游戏公司之一。早在2018年,其旗下的NExT Studios就公布了一个名为Siren的虚拟数字人。凭借Epic Games提供的实时渲染技术和Cubic Motion提供的动态捕捉技术,动捕装备可以模仿任何人的表情和动作,也就是说,数字人可以模仿一切真人的行为动作。
今年4月,数字航天员小诤正式亮相,带我们漫游空间站。小诤是腾讯游戏旗下NExT Studios和新华社联合打造,专门面向航天主题和场景研发的数字记者,她将承担起载人航天工程、行星探测工程、探月工程等国家重大航天项目的“现场报道”任务。作为数字虚拟人,小诤能高效完成真人不能或很难完成的任务。
此次数字航天员采用的是腾讯游戏旗下NExT Studios全新的制作管线和实时渲染技术。小诤的制作团队由NExT Studios的15名研发人员组成,其中包括Siren(塞壬)制作团队的核心创始成员。
为了制作更加真实细致的人脸,团队为她设置专门造型师给她进行造型设计。也就是说,它有着模特的头发和眼睛等基础的结构。
标准环境下定妆图
航天服单独扫描
Next团队在之前就有非常多的高保真数字人技术经验,这一次他们又加入了一些创新。利用自主研发的xFaceBuilder®高质量人脸制作管线,配合着团队研发的高精度算法能够快速的制作人脸。
制作过程采用8,192 x 8,192的高精度贴图,这能够让小诤的表情和细微的细节都和真人保持相似。比如能够实现非常微小的表情变动和皮肤色彩随着阳光的变动。更令人惊讶的是。Next团队将她的皮肤融入了光表面反射效果。1 : 1还原了模特身上的汗毛,这仿佛让小诤拥有了生命。
制作团队在传统的骨骼绑定基础上,还使用了超过5000个Blendshape来细腻刻画角色表情,让小诤能够活灵活现地表达自己的情绪,使其更加生动形象。
Blendshape表情数据库
小诤在其他方面的表现也堪称完美。比如小诤有10万根头发。为了表现的更加真实,小诤的头发是由建模导入,然后通过实时动态效果显示了发型师专门设计的发型。
头发建模图
NExT 技术团队利用3A级标准的动作捕捉技术,为小诤制作143根骨骼,将生命赋予给数字航天员。
小铮作为国内乃至全球的首位数字航天员,她不仅能够实现多场景互动,还具有专业的知识能力。她能够利用自身优势为航天重大项目的传播贡献一份力量。小铮的出现,让人们明白数字化不仅出现在实验室中,而是能够成为真实落地的跨界应用。
龚俊数字人实现更强语音交互
11月29日,百度App 上线“数字人”,不过百度这次推出的不是单纯的娱乐性质的虚拟偶像,而是将现实“搬进”元宇宙,推出“龚俊数字人”。
百度App“龚俊数字人”可以与用户进行语音交互并提供搜索服务,用户在对数字人说出需求后,数字人即可快速识别并自动语音播报第一条搜索结果。
在用户可以随时与龚俊数字人语音交互、获得搜索服务的背后,百度将4D扫描、语音识别、TTS(Text To Speech)等AI技术进行了多方面的应用。
如今,传统手绘逐渐被CG和动作捕捉等技术取代,但在动作捕捉方面,会消耗大量的人力和时间成本,需要演员一直身穿动捕服装进行表演,对表情、动作数据进行采集。在呈现状态上,早期的数字人主要利用CG技术合成,人物声音采用雅马哈的VOCALOID系列语音合成,这一时期数字人的呈现形式也相对粗糙。
随着AI技术在CG制作上应用的不断深入,数字人在写实方面有了大幅度的提升。例如,百度通过4D扫描、智能绑定等AI技术,捕捉龚俊说话及日常表情面部细微变化、口型面部肌肉动作等,让龚俊数字人的表情神态更加逼真,做到对龚俊真人的超写实还原,让粉丝在虚拟世界看到现实中的偶像龚俊。
如果你仔细看龚俊数字人,不难发现,这次百度智能云的数字人技术团队在眼部真实度上花费了一些心思,不仅眼球和眼睑的过渡平滑,“根根分明”的睫毛与龚俊本人“睫毛精”的形象也非常契合,形成一个极具真实的状态。
现在,市场上很多的数字人是一个全新角色,从无到有,与这些脱离现实的这些数字人相比,龚俊数字人要实现“超写实”,仅有外貌形态的相似是远远不够的,还需要实现龚俊数字人语音定制,百度使用TTS(Text To Speech)技术,让龚俊数字人借由AI合成的声音可以无限接近于原声,让数字人更“有人气”、“有人味”。
AI不仅让龚俊数字人更拟人化,还让他们有了新职责。承载了搜索服务需求的龚俊数字人,仅有好看的“皮囊”远远不够,他还要满足百度App海量用户的语音交互需求,识别来自天南海北的各地方言,应对偶尔出现的生僻字,如果遇到中文不太流利的外国友人,识别中英文混杂的对话也是数字人龚俊必须要面临的挑战。
不过百度App的语音搜索的识别准确率已经达到98%,看来在语音识别技术方面,数字人龚俊在上线前,似乎已经练就了“一身武艺”。目前,百度已经拥有数十项数字人领域核心专利。
谈到现在的CG制作,其中很多流程都会耗费很多的人工成本和时间,比如K动画、绑定、渲染等等,其中的反复迭代时间更是惊人,但如果有效的引入AI技术,则可以大幅提高制作效率,比如基于AI的降噪,至少在保证同作品效果的前提下,能节省更多的成本和时间。
其实从我们上面解析百度龚俊数字人背后的AI技术,不难看出AI在制作数字人、写实数字角色上的巨大优势,要是普通流程制作这样的角色,从模型雕刻,到绑定、动画和渲染,至少需要2-3个月的时间实现,百度智能云的数字人团队,则通过AI的介入则大大缩短了制作周期。
据了解,百度龚俊数字人从扫描演员外形、动作、神态等,一直到打造成真假难分的“数字人”,从无到有花费的时间大幅度缩短。
放在未来看,AI技术的加持对整个CG行业更是带来了无限的可能,通过不断的技术积累,很多CG画面或者是中间流程都可以用AI进行自动生成,这不仅是科技领域,对于整个CG范围内而言都是一个重大的突破和技术行业的全新改革。
这几年,百度一直在推动互联网产品的人文关怀。百度App数字人高度拟人化,也为用户带来的亲切感、关怀感和沉浸感,这是在明星龚俊本身的商业价值以外,延展出来的产品规划、运作方式,可以让数字人的价值得到全面的释放,并通过搜索服务,赋予数字人更多的应用场景和商业潜力。
另外,从百度App这次数字人的落地可以畅想,用户综合化的需求正在进一步的激发,“数字人”在移动互联网产品的应用场景和使用路径也得以拓宽,有望成为未来互联网产业发展的一个重要角色。
网易伏羲AI虚拟人首席专家丁彧曾在《数字人的前生今世与未来》的主题演讲中对数字人的未来做过定义:
当数字人的技术无限的强大,在那个时候,数字人的未来一定是无限地、充分地服务人类。
他还对数字人的未来做了进一步畅想:
当脑电技术进一步发达时,生物人与数字人的交流可能不再是视觉和听觉的方式进行交流,而是通过脑电的信号。
我们的感知、感觉、情感、性格、爱好、习惯、记忆,这些看不见、听不见,但却真实存在的生物信号都可以被传递。在更远的未来,数字人还可能帮助人类穿越生命,让失去物理生命的人继续活在数字世界。
数字人对人类的意义究竟是什么?是人类对虚拟技术的终极追求,亦或只是在追逐一场梦幻泡影,答案或许并不清晰。但如今我们可以肯定的是,随着虚拟技术的不断进步,虚拟人将在外形上无限趋同于真人的同时,极大便利我们的生活。
END