世界超大的多语言语音数据集现已开源!超40万小时,共23种语言

  发布时间:2026-11-17   作者:玩站小弟   我要评论
谷歌快排【tg:seogoogle987】。

 本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

最近,Facebook开源了目前世界上最大的多语言语音数据集,VoxPopuli:

这一数据集共涵盖了23种语言,时长世界超过40万小时。

其中,每种语言都有9000到18000小时的无标签语音数据。

此外,还包括了共1800小时,16种语言的转录语音数据,以及17300小时,15种目标语言的口译语音数据。

国外网友很快为这一行为点赞:

显超大然,如果数据集已经存在,那么它应该被利用,并以一种道德的方式来改善人类社会。

这一数据集庞大的无标签数据量和广泛的语言覆盖率,对改进自监督模型有着很大的帮助。

而Facebook也希望能够帮助提高语音数据集的质的多量和鲁棒性,使训练语音转换神经网络更加可靠。

最终加速新的NLP系统的开发,使AI翻译的效果越来越好。

而数据集的名字,VoxPopuli的直译“人民的心声”也表示了其原始数据的来源——

即源语音全都收集自200语言9-2020年欧洲议会的活动录音。

来自10年欧会的语料库

在欧洲议会的各自活动,如全体会议、委员会会议和其他活动上,发言者都会以不同的欧盟语言轮流发表演讲。

Facebook就是从欧会官网上抓取了每个演讲的文字记语音录、演讲者信息、开始/结束时间戳。

然后,将所有的原始演讲数据进行处理,大致分为以下3类:

共40万小时,23种语言的无标签语音数据

每种语言都有8千到2万多的原始语音数据。

因此,Facebook基于能量的语音激数据活检测(VAD)算法,将完整音频分割成15-30秒的短片段。

最终得到没有太多的数据不平衡,也不需要调整数据采样策略的数据集。

因此非常适合多语言模型的训练。

而上表中除了无标签数据,也有转录的语音数据,这也就是第二集现种:

共1800小时,16种语言的转录语音数据

欧会官方的时间戳虽然可以用来在会议中定义演讲者,但常常会被截断,或混合前后演讲的片段,因此并不完全准确。

所以Facebook对全会话音频采用了声纹分割聚类(SD)。

这已开时的语音段落平均时长为197秒,再利用语音识别(ASR)系统,将其细分为20秒左右的短片段。

观察上表,可以看到最终得到的数据中,有包括各语言的持续时间、发言人数量、女性发言人百分比、标记数量等多种属性。

17源!300小时的15种目标语言的口译语音数据:

每个原始语音都有相对应的同声传译,并互相关联。

但要使这个数据集可用,必须经过大量的预处理和过滤。

因此,Facebook使用了语音识别(ASR)系统在句子层面上对齐源超4语音和目标语音。

在域外环境的半监督学习下具有通用性

那么这一数据集用起来到底怎么样?

首先,是使用包含了域外语言(out-of-domain out-of-language)的无监督预训练,进行少样本的语音识别:

可0万以从表中看到,VP-Mono5K在5种VoxPopuli语言上,都优于XLSR-Mono和XLSR-10。

而VP-100K则在10种语言中的8种上的都比XLSR-10的表现更好。

并且,虽然XLSR-53涵盖了Z小时h语言,但与VP-100K(Large)在Zh上的表现相距甚远。

这表明VP-100K所学的语音表征具有高度的通用性。

然后是使用VoxPopuli数据集进行自我训练或弱监督的语言翻译(ST)和语音识别(ASR),共:

从表中可以看到,不管是对于域内语言还是域外语言,对VoxPopuli的自我训练在大多数时候都能够提高性能。

而在翻译上,也不用再增加昂贵的标签数据。

通过自我训练,就能够缩小端到端模型和级联模型之间的差距。

论文地址:
h23ttps://arxiv.org/abs/2101.00390

下载:
https://github.com/facebookresearch/voxpopuli

 

  • Tag:

相关文章

  • 谷歌健康副总裁范伯格离职 加入医疗科技公司Cerner

    新浪科技讯 北京时间8月20日早间消息,美国电子医疗记录公司Cerner周四宣布,谷歌健康(Goolge Health)副总裁大卫·范伯格(David Feinberg)将于10月份出任该公司的CEO
    2026-11-17
  • 梅西标志图片

    前言:梅西图片你的要求真是太难达到了!!!!!这是我找到的,虽然没有特别符合的,但我也尽力了http://tieba.baidu.com/f?kz=180246727http://www.5aqq.c
    2026-11-17
  • 云计算核心技术Docker教程:Docker 创建基础镜像

    大多数 Dockerfile 从父镜像开始。如果您需要完全控制镜像的内容,则可能需要创建一个基本镜像。这是区别: 一个父镜像是你的形象是基于镜像。它指的是FROMDockerfile 中指令的内容。D
    2026-11-17
  • 标签: 家居零售品牌 宜家 无印良品

    撰文 | 张 宇 编辑 | 杨博丞 题图 | 豆包AI 1月7日,瑞典家居零售品牌宜家宣布了一项重大战略调整:自2月2日起关闭宜家上海宝山商场、宜家广州番禺商场等七家线下商场。宜家表示,该决定是在中国
    2026-11-17
  • 标签: 埃森哲 AI成本 Token消耗 PDF转PPT

    云梦级6月26日云梦级消息,据科技媒体 404Media 报道,一分外泄的咨询公司埃森哲(Accenture)内部录音显示,指出企业正面临 AI 使用成本失控问题。 根据录音内容,埃森哲在内部讨论中承
    2026-11-17
  • 标签: OPPO FindN6 三星 刘作虎

    云梦级3月22日云梦级消息,近日OPPO发布了最新的大折叠手机OPPO Find N6,起售价9999元。该款手机的一大卖点是折痕极浅,为了彰显自己的优势,发布会上刘作虎选择了与三星折叠手机做对比。
    2026-11-17

最新评论