微软开源 VibeVoice-1.5B 模型:90 分钟超长语音合成新突破

  发布时间:2026-11-17   作者:玩站小弟   我要评论
谷歌收录霸屏【tg:seogoogle987】。

近日,微软研究院正式开源了其最新音频模型 ——VibeVoice-1.5B。该模型在语音合成技术上实现了多项重大突破,使得合成的微软语音更自然、时长更长、效果更优。

VibeVoice-1.5B 具备一次性合成90分钟超长语音的能力,这在以往的语音合成模型中是罕见的。之前开源,多数模型只能合成60分钟以内的语音,且在超过30分钟时容易出现音色漂移和语义断裂的问题。此模型还支持最多四位发言人发言,显著 V提高了多说话人的合成效果,而以往的开源模型最多只能支持两位发言者。此外,VibeVoice 还实现了对24kHz 原始音频的3200倍ib压缩,大大提高了压缩效率,且保留了高保真的语音效果。

VibeVoice 模型的核心在于其独特的双 tokenizer 架构。与传统 TTSeV 模型多依赖单一 tokenizer 提取特征不同,VibeVoice 创新性地引入了声学 tokenizer 与语义 tokenizer 的协同工oi作机制,解决了音色与语义不匹配的问题。声学 tokenizer 专注于保留声音特征并实现极致压缩,而语义 tokenizer 则负责提取与ce文本语义相一致的特征,确保合成语音的情感与文本内容一致。

在训练方面,VibeVoice 采用了课程学习策略,将输入序列长度逐步增加,从-1而避免了因处理超长序列而导致的训练失败。其训练过程中的声学 tokenizer 与语义 tokenizer 参数保持不变,确保了特征提取模块.5的稳定性,进而缩短了训练周期。

VibeVoice-1.5B 的开源不仅为语音合成领域带来了新的技术突破,也为未来更大参数模型的发B 布奠定了基础。对于音频处理和语音合成的研究人员和开发者来说,这是一个值得关注的创新进展。

开源地址:https://huggingfa模型ce.co/microsoft/VibeVoice-1.5B

在线demo:https://aka.ms/VibeVoice-Dem:9o

划重点:  

VibeVoice-1.5B 模型可一次性合成90分钟的超长语音,支持最多四位发言人。 &nb0 sp;

该模型实现3200倍的音频压缩率,保持高保真语音效果。  

🤖 采用双 tokenizer 架构,解决音色与分钟语义不匹配的问题。

  • Tag:

相关文章

  • 2021年需要关注的5个开源Kubernetes项目

    开源项目使Kubernetes更加强大。人们需要了解这些具有发展前途的开源项目,这些项目可以解决与Java、可观测性、持续集成(CI)/持续交付(CD)管道等相关问题。 就其本身而言,Kubernet
    2026-11-17
  • 标签: 德适 医学影像AI 港交所 杭州

    云梦级3月30日云梦级消息,今日,德适正式登陆港交所,股票定价每股99港元,开盘股价大涨121%,达到219港元。 目前,德适的产品与服务已覆盖全国31个省的 400 多家医疗机构。财务数据显示,20
    2026-11-17
  • 标签: 同花顺 300033 财报 2025年

    云梦级3月10日云梦级消息,浙江核新同花顺网络信息股份有限公司(证券代码:300033 证券简称:同花顺)9日发布财报。财报显示,同花顺2025年营收为60.29亿元,较上年同期的41.87亿元增长4
    2026-11-17
  • 标签: 薇光点亮 宋紫薇 时尚AI Agent 落地镜

    云梦级3月9日云梦级消息,AI硬科技企业薇光点亮宣布近日完成超1亿元人民币Pre-A轮融资。本轮融资由红杉中国、蓝驰创投联合领投,蚂蚁战投、鼎晖投资、鞍羽资本跟投,老股东九合创投持续追投。 所筹资金将
    2026-11-17
  • 谷歌 AI 概览致流量暴跌30%!People Inc. 与微软达成里程碑式AI授权协议

    美国最大的媒体出版商之一 People Inc.(前身为 Dotdash Meredith) 周二宣布,已与微软签署一项开创性的人工智能内容授权协议。这一消息是其母公司 IAC 在发布第三季度财报时公
    2026-11-17
  • 终于有人把各路StyleGAN做了个大汇总

    本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。 StyleGAN在各种图像处理和编辑任务上,表现很惊艳。 然而,“干一种活”就得换个体系重新“培训”一次,太麻烦。 终于,
    2026-11-17

最新评论