【AiBase提要:】我知道我们已经聊过不少次《蛋仔派对》(下称蛋仔),但最近,我发现一件听上去很离谱的事:对不少年轻人来说,这款产品已经成了他们「赖以生存」的「精神乐园」。而令科学家感到惊喜的是,他们发现先前很多认为是噪声的信号,却被机器学习认为是可以做出预测的主要信号。
🔍 使用专有的大型语言模型生成合成数据,取得了优异的性能并创造了新的记录
另外,DreamTalk还具有说话风格预测的功能,能够根据语音预测说话者的风格,并同步表情,使得动画更加贴近原始音频。此外,该框架适用于多种场景,可以用于歌曲、不同类型的肖像,甚至在嘈杂环境中也能表现良好。