这一功能的背后是阿里通义实验室自研的视频生成模型Animate Anyone。在Github上,该项目的Star数短短数日就超过1万,被认为是近期大模型领域最受欢迎的大模型算法之一。
图源备注:图片由AI生成,图片授权服务商Midjourney
为了解决幻觉问题,研究人员采用了检索增强生成(RAG)的方法,并添加了几个重要步骤来进一步减轻幻觉,并改进对话性指标。通过这些优化,WikiChat在事实准确性方面比微调后的SOTA RAG模型Atlas高出8.5%。此外,研究人员还将基于GPT-4的WikiChat提炼成7B参数的LLaMA模型,这个模型在事实准确性方面能达到91.1%的高分,并且运行速度提高了6.5倍,能效更好,可以本地部署。
不同于传统的迭代采样过程,CoMoSVC实现了一步采样,即能够在单次操作中完成声音的转换,大大加快了处理速度。同时,它在保持高音质转换的同时,优化了推理速度,确保转换后的音频既自然又忠实于目标歌手的风格。
5.使用ChatGPT编写代码