对话可穿戴人工喉研发团队类似创可贴,使患者声音还原准确率超9
近日,清华大学集成电路学院教授任天令团队研发了一款可穿戴人工喉,可以识别佩戴者喉部发声的信号,并将其转换为语音播放出来,还原准确率超90。该成果已发表在《自然》人工智能子刊《自然机器智能》上。任天令教授团队基于石墨烯材料研发的智能可穿戴人工喉,对低频的肌肉运动、中频食管振动和高频声波信息有较高的灵敏度,也具有抗噪声的语音感知能力。同时,人工喉还能通过热声效应将信号转换成声音播放。
使用智能可穿戴人工喉进行无声语音交互
著名医学杂志《柳叶刀》2021年发布数据显示,2019年全球共有20。9万例新发喉癌病例,其中男性为18。1万,女性为2。8万。相较于前10年,20102019年间喉癌的新发病例数增加了24。7。
任天令教授团队告诉红星新闻,通过集成AI模型,人工喉能够识别一名喉切除术患者模糊说出的日常词汇,准确率超过90。识别出的内容被合成为语音在人工喉上播放,可以初步恢复患者的语音交流能力。这将有助于帮助发声失能群体恢复发声,造福更多的声音障碍者。同时,人工喉的制作过程简单、性能稳定、易于集成,为语音识别和交互提供了一种新的硬件平台,同时它还有很大的优化和拓展空间。
让喉疾患者重获新声
将贴片贴在靠近喉咙处就能还原声音
红星新闻:能否简单介绍下这款可穿戴人工喉的性能和工作原理?
任天令教授团队:我们人的语音交流发出声音,来源于声带震动,以及喉部、唇部这些发声器官的协同合作。当说话的时候,如果把手放在喉部,能感觉到喉管是有震动的。不同于麦克风通过空气中的机械波采集声音,人工喉是一个极其敏感的机械传感器,它能够感知喉部细微的震动,可以把它看作一个频域感知范围更广的麦克风。
此外,我们以往的扬声器是通过机械振动来产生声音,但如果喉部一直振动的话,不光会干扰到声音感知,也会影响佩戴的体验。由于石墨烯具有高热导率和低热容率的特点,它还能够通过空气加热、冷却的过程(热声效应)发出声音。因此,人工喉可以被看作为一种麦克风和扬声器的集合体,用以辅助人们语音交流。
红星新闻:在这个过程中有没有遇到特别难的问题?
任天令教授团队:有的。这是一个比较复杂的工程项目,从传感器的材料选取,传感器的设计优化,数据的采集,采集系统的搭建,后面还有语音模型的设计,这些软件硬件需要结合一起去考虑,从工程量来说是比较大的,里面也有一些未知的科学问题需要探索。
在实验的过程中,最关键的就是信号采集的问题。因为喉部震动比较微弱,最初采集的数据质量实际上并不是很理想,我们实验人员是在自己身上也尝试过很多次。主要还是得多下功夫不断去实验,这方面没有捷径。
红星新闻:人工喉与现在市面上的电子喉助音器等产品相比有哪些不同?
任天令教授团队:这是两个完全不一样的技术。现在市面上的电子喉是人去适应设备的理念,人工喉是让机器去学习人类的语言,这是一个本质的区别。
具体来说,使用者往往因为喉切除手术以后把声带切除了,丧失了声带这个震动的声源,传统的电子喉是一个提供单频振动的马达,配合上食管、唇部、舌头的运动,调制振动发出声音,声音单调,听起来像机器人。同时,电子喉学习、使用成本很高的。因为喉切除手术以后,需要手持电子喉抵住喉咙去学习,尝试用它发声。
人工喉的使用相比电子喉会更容易。使用者贴附以后只需要录入自己的语音,设备的算法可以快速学会语音特征,不用去单独另外再学一门语言。这类似于手机录入指纹的过程,尝试几次以后就慢慢学会了。通过集成AI模型,人工喉能够识别一名喉切除术患者模糊说出的日常词汇,准确率超过90。我们后面将会采用人工AI语音合成技术,使用者本来的声音会被完全还原。
另外佩戴也会更舒适,一枚硬币大小的人工喉贴片,贴在颈部靠近喉咙处就可以了。
不仅仅造福于声音障碍者
还可用于金融支付、火灾现场等领域
红星新闻:人工喉的使用体验如何?
任天令教授团队:目前看来人工喉的成本相对较低,我们可以把它看作一个类似创可贴的形式,夏天热出汗多就勤换,冬天长时间佩戴也可以。如果晚上睡觉佩戴觉得不舒服,也可以卸掉等醒后再佩戴。
考虑到人工喉属于传感元件,它要实现一个比较高的灵敏度的话,肯定相对来说会脆弱一点。所以它是可以更换的,失效后也不用修,直接换掉就可以了。
红星新闻:除了刚才提到的有发音障碍的喉疾患者,人工喉还将会应用到哪些方面?
任天令教授团队:人工喉还有很大的优化和拓展空间,例如提高声音的质量和音量,增加语音的多样性和情感识别,以及结合其他生理信号和环境信息实现更自然和智能的语音交互。比如贴附的位置也不只限于喉咙,未来也可能在面部产生类似于一种像电影《阿凡达》里面那些外星人面部纹身,看起来会很有科技感。我们也希望通过进一步的研究和合作,让人工喉造福更多的声音障碍者和语音交互的用户。
项目研究的初衷是想帮助解决发声失能群体恢复发声的问题,但实际上这项成果对普通人来讲也是可以适用的。比如说在机场工作的地勤人员、火灾现场的消防员,在那种嘈杂环境下正常的语音交流肯定是不行的。但是通过我们的这种方式,将声音转化成对应的语音信号,传到耳麦里进行播放,可以有效解决这些问题。
另外对更广大的社会人群,在一些注意通话私密性的场合,还有金融支付领域都有广泛的应用前景。比如人工喉可以将采集到的喉部振动信息用于语音支付,安全方面或会有比较显著的提升。
红星新闻:目前还有哪些最新进展?
任天令教授团队:近期我们可能还会请一些做过喉切除手术的志愿者来参与实验,同时在硬件上面做一些优化。算法的话目前还是在检测,后面如果要做到连续实时语音的话,还需要更多的志愿者采集到足够的语料库。目前整体还处于试验优化阶段。
红星新闻:这项成果什么时候能面向社会?
任天令教授团队:目前我们主要还是对项目各方面进行优化,并将积极推进这一成果向市场进行产业化转化,尽早投入社会应用,服务于需要得到帮助的广大人群。在这个期间,我也非常欢迎社会各界的朋友一起关注、支持!
红星新闻记者任江波实习生李佩欣
责编官莉编辑潘莉
别让情绪失控害了你DAY1坏脾气的影响和后果DAY1:坏脾气的影响和后果你好,我是Linda攸攸。今天,我将为你解读《别让情绪失控害了你》这本书。生活中的你是不是常常有这样的苦恼:看到孩子糟糕的成绩单时……
当我买了TST(庭秘密)产品自己爆个料,我是TST(庭秘密)早期用户,不过,我只是为了买东西方便,基本没有发展过下线,所以现在持有的卡折扣也不高,0。925折,我买的产品也不多,基本上每年发生的交易额也不……
去屑洗发水都搞不定的头皮屑,还能抢救一下吗?电影里微风吹拂头发的场面总是无限美好,但现实生活里起风了,吹出来的不只有失守的发际线,还有大片大片随风飘落的头皮屑,画面着实有点太惊悚。一到……
糖尿病患者不能吃馒头?医生忠告真正不能吃的,或是这4类食物我国糖尿病的发病率是比较高的,特别是最近几年,呈现出了年轻化的趋势,其实糖尿病的出现和人们的饮食具有密切的关系。糖尿病属于一种富贵病,现在人们的生活水平有了很大的改善,饮……
六大主题景区盛装迎客,中山公园郁金香观赏季开幕北京日报客户端记者任珊程功4月3日,以春和景明为主题的中山公园2023年春和景明春花暨郁金香观赏季开幕,春色迎宾花坞知春惠风和畅风和日暖缤纷春林祥云如意六大主题景区盛装迎……
怎样才能领取更多养老金,进一步保障退休生活?5件事要做好2月财经新势力据国家统计局最新公布的数据显示,到2022年末,我国60岁及以上人口为28004万人,占全国人口的19。8,其中65岁及以上人口为20978万人,占全国人口……
591083,塔图姆锁定今日最佳球员!52,小托马斯灾难首秀昨天刚刚在主场被欧文拿下50分的黄蜂,今天继续坐镇主场背靠背迎战凯尔特人。上一场对阵篮网的时候,塔图姆轰下赛季新高的54分,今天他继续延续着火热的状态。第四节比赛,凯尔特……
一个人的旅行小可说:世界很浪漫,浪漫的如同一次单人旅行。他去过很多很多地方,像梦之巴黎,雪之芬兰,枫之日本,夏之埃及,在他长长的旅行日记里,有童话中王子与灰姑娘居住的美国约塞米蒂国家公园,……
今年火了一种穿法,叫风衣仙女裙,优雅与高级并存,爱了爱美作为女人的天性,这一现象在日常生活中也被我们发挥到了极致。我们总是会在出门之前,对于穿搭纠结万分。总会在各种换季或者场合中,认为衣柜中的衣服不够穿搭。虽然我们常说爱美,终极……
婴儿黄疸18会变智障吗很多婴儿在出生以后,会出现黄疸,也就是黄疸指数比较高,在进行治疗以后,婴儿的黄疸指数就会下降,而且在黄疸以后,还会伴随不同程度的发育,但是有些婴儿的黄疸指数是比较高的,那么婴儿……
这是一只五十多年前的怀旧小喇叭你是否见过和了解这种扬声器呢?这里晒一晒俺在1970年时购买的一只小扬声器。怎么样?距今都有五十多年的时间啦!各位无线电爱好者及家人朋友们,你们可见过和用过这样的扬声器,也就是喇叭吗?这只阻抗为……
冬天你常做的4件事,正在悄悄伤肠胃肠胃是我们身体很重要的一部分,它几乎是人体的第二个大脑,因为肠道是我们身体中唯一一处不受大脑控制,仍能正常工作的脏器。临近年关,也是各种聚会、聚餐的时节,一不留神,冷热酸甜各种……
国家大幅降税,奔驰宝马大众纷纷降价,特斯拉反而涨价3!近日,国家相关部门发布了关于深化增值税改革有关政策的通知,自4月1日起,将汽车制造业税率从原来的16下降到13。很多车企积极响应国家新政,降低旗下产品的建议零售价。但豪华电动汽……
分享一款棒针披肩外套,针织花样简洁大方,温暖的质感带着慵懒风分享一款棒针编织的披肩外套,简约大方的编织(样式)温暖舒适又不乏时尚感。柔美细致的针织(花样)轻柔不厚重。温暖的质感带着惬意的慵懒风,十分适合居家(早晚温差)防寒保暖,穿搭(效……
欧拉R1推出女神版车型,终端销量有保障吗?在当下新能源汽车市场,任何细分市场,或多或少,都还是存在销量压力的。去年,新能源汽车,整体销售也就在100万左右,相对于将近2300万的乘用车市场而言,还是很属于小众市场。……
轮胎规格中的字母R你知道什么意思吗?我们在选购轮胎的时候都可以看到这样的轮胎规格20555R16,205我们都知道代表轮胎的横截面宽度为205mm,55代表轮胎的扁平比,即轮胎高度宽度55,16代表轮圈的直径为1……
02,欧冠2冠王倒下,时隔23年难立足于英超,纽卡成英超第四导读:英超联赛在众人期盼的目光中,终于正式打响,首个比赛日就精彩至极,其中利物浦22爆冷富勒姆,让人担心红军在接下来是否能够完成抢分任务,而托特纳姆热刺与南安普顿的比赛,则让人……
车窗起雾压根不用暖风,用这招干净如新虽然汽车已经普及到千家万户了,但对于一些小问题依旧会困扰着很多司机朋友,例如冷天车窗起雾这个问题就让人非常头疼,很多人会选择用暖风来吹,但这个方法非常的奢侈,有没有更加简单的方……
十二代皇冠,老骥伏枥大家好,我是车哥。今天要给大家带来的车是一辆丰田车。说到丰田大家首先想到的是哪个车型呢?相信不少人都会说是皇冠,没错!作为丰田车的旗舰车型,皇冠在中国百姓心中的地位是很高的,而……
卡塔尔世界杯小组赛第一轮盘点亚洲!亚洲截至今天凌晨,卡塔尔世界杯小组赛已经打完第一轮,32强已经全部亮相。在第一循环的捉对厮杀中,最大的看点,是几场所谓的强队与弱队的对垒中的冷门迭爆,比如日本击败德国,沙特击败阿根……
成为妈妈之前,妈妈也曾是个孩子女人第一次当妈妈时,经常会焦躁不安,在孩子大声哭闹时不知道该怎么办,甚至想躲开,但这并不代表她们不爱小孩。来自丁香妈妈星球的宝妈十里春风不如李也有一些心得想要分享。……
低油耗法系豪车,DS混动半敞篷跑车亮相日前,法国豪华汽车品牌DS,发布了旗下最新概念车DSXETense车型。新车的主副驾驶位置采用了前后布局的非对称设计风格,新颖又帅酷,而且还具备自动驾驶功能,黑科技满满。……
长城WEY和吉利领克国产豪华品牌之争,看看2月份销量就知道了不知不觉,3月份已经过了三分之一了,各大品牌也争相公布了2月份销量情况,相比较1月份情况来看,国产品牌2月份销量有所回落,不过,这都是正常现象,往年24月份基本上也是这样的行情……
月薪6000,分期买了辆奥迪A6L,是不是冲动了?男子是开公司的小老板,声称自己公司盈利还可以,自己每月从公司拿6000工资,自身还有几十万欠债,之前老爹的雅阁开了十来年,身边的人都买车,也许为了面子,想着迟早得换车,一冲动分……