💡 站外导读：在AIGC浪潮席卷内容创作的今天，视频、游戏、有声内容对高质量、高效率的音效需求激增。然而，传统音效制作依赖人工，成本高、周期长，难以匹配快节奏的创作需求。科大讯飞开源的AudioFly模型，正瞄准这一核心痛点。它基于前沿的潜在扩散模型架构，通过海量数据训练，实现了从文本到高保真音效的端到端生成，将音效创作从“人工采买”推向“AI按需生成”的新阶段。
AudioFly 是科大讯飞开源的文本生成音效的AI模型。模型用潜在扩散模型架构，拥有10亿参数，通过大量开放数据集（如AudioSet、AudioCaps、TUT）及内部专有数据训练而成。AudioFly 能根据文本描述生成高质量音频，采样率高达44.1kHz，生成的音效与文本描述高度匹配。模型在单事件和多事件场景下均表现出色，在AudioCaps数据集上性能卓越，超越以往的音频生成模型。AudioFly 适用短视频配音、有声故事生成等领域，为声音创作带来无限可能。
文本到音效生成：根据用户输入的文本描述生成对应的音效。例如，输入“雷声在远处轰鸣”，模型能生成相应的雷声音效。
高质量音频输出：生成的音频采样率为44.1kHz，音质清晰，适合多种应用场景。
多场景支持：支持单事件（如“狗叫”）和多事件（如“狗叫和风声”）场景的音效生成，能准确反映描述内容。
高效生成：基于先进的扩散模型架构，生成过程高效，能快速响应用户需求。
潜在扩散模型（LDM）架构：AudioFly 用潜在扩散模型架构，一种基于深度学习的生成模型。模型通过逐步去除噪声生成目标音频，类似于图像生成中的扩散过程。
大规模数据训练：模型在大量开放数据集（如 AudioSet、AudioCaps、TUT）及内部专有数据上进行训练，数据涵盖各种音效和场景，使模型能生成多样化的音效。
特征对齐：通过优化模型的训练目标，确保生成的音频在特征上与真实音频高度一致，同时在内容上与文本描述紧密对齐。
短视频配音：为短视频快速生成匹配的音效，提升视频的吸引力和沉浸感。
有声故事创作：根据文字内容生成音效，增强故事的氛围和情感表达。
影视音效制作：辅助影视制作团队快速生成所需的音效，提高制作效率。
游戏音效设计：为游戏场景生成实时音效，增强玩家的沉浸感和体验。
广告与营销：为广告视频或音频内容生成定制音效，提升广告的吸引力和记忆点。
AudioFly的开源，标志着AIGC在音频领域的应用正从“语音合成”向更广泛的“场景化音效生成”深度拓展。其10亿参数规模与44.1kHz的高保真输出，展现了工业级音频生成模型的可行性。这不仅是技术里程碑，更是内容创作工作流的革新信号。未来，音效将不再是稀缺资源，而成为可被AI精准、批量定制的“数字水电煤”。结合大语言模型对文本意图的理解，AudioFly这类模型将与视觉生成AI深度融合，催生出真正“文生视频”时代下，音画同步的智能创作生态。对于开发者和创作者而言，抢占音效生成的工具链与应用入口，将成为下一个价值高地。
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。