近日，Meta申请的一项新专利展示了一项技术，该技术可以为电子游戏和VR应用带来更逼真的嘴唇同步和面部动画。通过这些更逼真的面部动作创建NPC和玩家虚拟化身，为更逼真、引人入胜和沉浸式的游戏和体验打开了大门。
尽管几十年来图形在电子游戏中取得了进步，近年来允许创建近乎逼真的虚拟角色，但为这些角色描绘逼真的语音和面部表情仍然是开发人员面临的挑战。游戏玩家的大脑习惯于看到和阅读其他人的脸，因此即使是电子游戏角色上最好的面部动画也很容易陷入恐怖谷效应，导致角色看起来“不对劲”，甚至完全令人不安。Meta的专利可以即时生成逼真的嘴唇同步和面部表情，为开发人员节省时间，并提高玩家的沉浸感。
该专利详细介绍了将用户语音转换为逼真的嘴唇同步和面部动画的各种方法，使开发人员能够灵活地选择使用该系统。该专利中概述的一种方法涉及使用多个人的音频和视频记录的数据集，因为他们阅读了50个不同的语音平衡句子，系统在阅读每个句子时会跟踪他们的面部表情。通过跟踪个人在阅读每句话时脸部和嘴部的动作，系统可以从这些动作中提取信息，并将它们混合在一起，以逼真地为角色制作动画，甚至包括眨眼和扬眉等微妙的动作。
图片来源：拍信网正版图库
除了能够基于现有数据集生成面部动画和嘴唇同步外，该专利还描述了该系统如何使用集成到VR头显中的摄像头做同样的事情。此功能可以让VR用户拥有准确模仿自己面部表情的虚拟化身，从而在多人游戏和VR Chat等社交VR体验中提供更加沉浸式的体验。
从Valve的Source引擎使用动画系统来模拟对话的每个音素（构成单词的单个声音）建立面部动作模型，到Bandi团队使用MotionScan技术通过32个高清摄像机系统捕捉《黑色海岸》演员的表演，开发者们始终在努力为游戏创造真实的面孔。Meta的专利可能预示着这一探索中的巨大技术飞跃，并可能有助于在游戏和VR体验中开创一个高质量、逼真的面部动画的新时代。（来源：新浪VR）
转载请标注来源！更多LED资讯敬请关注官网(www.ledinside.cn)或搜索微信公众账号(LEDinside)。
