聚热点 juredian

陈根:Meta先下手为强推出AI大模型MMS

文/陈根

       你懂几国语言?据相关资料显示,世界上一共有7000多种语言。但是,我们懂的可能就只有几种或者几十种。而目前的计算机语音识别技术所能覆盖的则有100多种。这对于很多人来说,已经是天文级的数字了。但Meta新开源的语言模型却有着更大的突破。

       自从和OpenAI、Google分道扬镳之后,Meta便在开源大模型方向上越走越深。日前,Meta在GitHub上新开源的AI语言模型——Massively Multilingual Speech ( MMS,大规模多语种语音)可以识别4000多种口头语言,是目前已知技术的40倍之多;还扩展了文本与语音之间的转化技术的涵盖范围,从大约100种语言到1100多种。不仅如此,Meta开源的MMS最突出的特点是不仅支持ASR,还支持TTS,也就是说不仅可以语音转文字,还可以文字转语音。

       Meta的官网blog上特别提到的Tatuyo语,一种只有几百人在使用的小语种。虽然对于日常来说没什么用,但是对于研究来说却是一个很好的助手。那么,对于这种只有几百人使用的小语种,如何才能找到并有效的提炼数据集呢?

       Meta介绍说,他们在数千种语言的音频数据收集过程中,使用了一种非常规的方法——宗教文本录音。“我们转向已被翻译成许多不同语言的宗教文本(例如《圣经》),并且其翻译已被广泛研究用于基于文本的语言翻译研究。而且,这些译本都有公开录音,记录了人们采用不同语言进行阅读的情景。”

       同时,Meta 在 MMS 模型的训练中结合使用了公司的 “自监督语音表示学习”模型 wav2vec 2.0,使机器能够在不依赖标记训练数据的情况下进行学习;有了它,就可以在更少的数据上训练语音识别模型

       而对于此种方式可能导致的模型偏向性,Meta声称,“虽然这些数据来自特定领域,并且通常由男性阅读;但我们的分析表明,我们的模型在男性和女性声音方面表现同样出色。虽然录音的内容是宗教的,但我们的分析表明,这并不会使模型偏向于产生更多的宗教语言。”

       在使用1B参数的wav2vec 2.0模型对1100多种语言进行多语言语音识别模型的训练的时候,研发人员发现,随着语言数量的增加,性能会有所下降,但非常轻微:从61种语言到1107种语言,字符错误率只增加约0.4%,但语言覆盖率却增加了17倍以上。”

       就此问题,Meta还与OpenAI的Whisper做了详细的对比,在数据上训练的模型实现了一半的单词错误率,并且训练数据更少:Meta的训练数据只有45k小时的标注数据,要比Whisper少10倍,而语言支持却多了10倍,这是一个大的提高。不过,Meta亦表示它的新模型并不完美,“例如,语音转文本模型可能会错误转录选定的单词或短语,这存在一定风险。但是,我们仍然相信,整个 AI 社区的协作对于负责任地开发 AI 技术至关重要。”而目前,Meta 已经开源了相关的模型和代码,以便研究社区中的其他人可以在此工作基础上进行构建。

      对于语音大模型的未来,Meta并没有完全做好设想,但他们希望可以通过称也做了设想,希望可以通过一个模型解决所有语言的多个语音任务。“我们为语音识别、语音合成和语言识别训练了不同的模型,但我们有理由相信在未来,一个模型将能够完成所有这些任务以及更多任务,从而带来更好的整体性能”,Meta 说道。

       放眼未来,Meta希望扩大MMS的覆盖范围以支持更多语言,并改进其对方言的处理。进一步打破世界各地人群之间的语言障碍,让来自全球每个角落的人们都可以通过声音正常交流。这是一个美好的愿景,但我们相信这一天的迟早是要到来的。

本站资源来自互联网,仅供学习,如有侵权,请通知删除,敬请谅解!
搜索建议:先下手为强  先下手为强词条  模型  模型词条  推出  推出词条  Meta  Meta词条  MMS  MMS词条  
热传

 【歌词】依然如此 / 歌手:Br...

过路人歌手:雷亮专辑:蛋白质女孩词:雷亮 成震曲:雷亮 成震吉他:卜续忠编曲:雷亮谁在天地边默默的看世界谁在叹息着世上的恩与怨可否感觉你我的世界,依然不会完美。...(展开)