美团技术团队近日在音视频生成领域取得重大突破，正式开源了LongCat-AudioDiT语音模型。该模型在行业内首创了“波形潜空间建模”技术，能够以极少的样本量（仅需3-5秒音频）实现超高保真度的音色克隆，在多个国际公认的语音质量评价指标中刷新了SOTA纪录。
传统的语音克隆往往存在电音感重、情感表达生硬等问题。LongCat-AudioDiT通过扩散变换器（DiT）架构，不仅能捕捉到说话人的音色特征，还能完美还原其语速、语气甚至呼吸感。美团方面表示，该模型的研发初衷是为了提升其即时配送生态中的语音交互体验，例如为骑手提供更自然、更具亲和力的导航与提醒服务。此外，该模型在低算力设备上的推理表现极佳，支持端侧实时生成。随着该模型的开源，开发者可以将其广泛应用于有声书创作、虚拟数字人通话以及无障碍通讯等领域，为语音交互体验带来质的飞跃。
