【返回首页】
音频驱动人体运动的技术多集中于面部运动，缺乏全身驱动能力，且难以进行精确控制。而OmniAvatar的出现，彻底改变了这一现状。只需要输入一张图片和一段音频，OmniAvatar即可生成相应视频，且显著提升了画面中人物的唇形同步细节和全身动作的流畅性。不仅如此，该模型还可通过提示词进一步精准控制人物姿势、情绪、场景等要素。
此外，长视频连续生成是音频驱动视频生成的难点，也是一项关键挑战。为此，OmniAvatar通过参考图像嵌入策略和帧重叠技术，确保了视频的连贯性和人物身份的一致性。
本次突破不仅体现在产品层面，OmniAvatar的技术革新同样值得关注。团队提出了一种基于像素的音频嵌入策略，使音频特征可以直接在模型的潜在空间中以像素级的方式融入，从而生成更协调、更自然的身体动作来匹配音频。同时，采用多层级音频嵌入策略，将音频信息嵌入到DiT模块的不同阶段中，确保模型在不同层次上保持独立的学习路径。
为了解决完整训练和仅微调特定层所带来的问题，团队还提出了一种基于LoRA的平衡微调策略。该策略使用LoRA策略高效地适应模型，使模型能够在不改变底层模型容量的情况下学习音频特征，从而兼顾了视频质量与细节。