快手推“虚拟形象3D直播” 试水二次元变现( 二 )

江苏新闻

2007年以来 , 以初音未来为代表的虚拟偶像开始活跃在互联网视频社区 , 甚至登上综艺节目或网络春晚舞台 , 但互动性与商业化一直是难题 。 2016年 , 虚拟偶像开始试水网络直播 , 与人们进行实时的交流互动 。 如今 , 虚拟直播虽然已经拥有了一定热度 , 但想要保证良好的直播效果 , 专业的动态捕捉设备、面部表情操控系统工具等是必备支撑 , 由此需要高额资金、多位工作人员合作进行操控调试 。

而快手针对原创IP的虚拟形象3D直播 , 只需一部手机和一位工作人员 , 即可让卡通形象做出生动的表情和流畅的肢体动作 。 全自动化的流程得益于快手在自研人工智能技术上的积累:通过人脸关键点识别和人脸表情识别 , 虚拟形象能跟随工作人员实时做出微笑、闭眼、张嘴、吐舌头等50余种细微表情;借助多模态融合将人脸识别技术与肢体识别技术进行结合 , 虚拟形象可以同步实现灵活的肢体动作;渲染算法让皮肤、服装等素材更加逼真;基于快手自研的YCNN深度推理学习引擎和整体算法的优化 , 则保证了直播过程无卡顿 。


推荐阅读