三花快讯 · 2024, 8月6日
EmoTalk3D: 3D 虚拟数字人头合成技术
根据语音创建出可以表达不同情感的 3D 数字人头
EmoTalk3D 能够根据语音创建出可以表达不同情感的 3D 数字人头，保持口型同步，并支持从任何角度观看。
它由五个模块组成：
- 情感-内容分离编码器：这个模块负责从输入的语音中解析出内容特征和情感特征。
- 语音到几何网络（S2GNet）：该模块利用提取的特征来预测动态的 3D 点云，模拟面部的形状和运动。
- 高斯优化和完善模块：此模块用于优化和完善 3D 点云，以建立一个规范化的外观。
- 几何到外观网络（G2ANet）：基于动态 3D 点云合成面部的外观，可能包括纹理映射和颜色渲染。
- 渲染模块：最后，该模块将动态的高斯模型渲染成可以自由观看的动画。
从演示的效果来看不是特别自然，目前也只公开了论文，代码正在路上，数据集也没有正式发布。
商业转载请联系三花微信公众号获得授权，非商业转载请注明本文出处及文章链接，您可以自由地在任何媒体以任何形式复制和分发作品，也可以修改和创作，但是分发衍生作品时必须采用相同的许可协议。
本文采用 CC BY-NC-SA 4.0 - 非商业性使用 - 相同方式共享 4.0 国际 进行许可。