- 2021-03-15 15:01:12 来源:仪器网整合 浏览量:929次
- 【导读】相关技术研究能够为个性化语音生成提供理论支持,可以大幅降低语音模拟的经济与时间成本,对多媒体信息智能生成的发展具有重要意义。
-
所谓个性化语音合成,就是通过身边的一些录音设备,录取某个人的某些语音片段后,让TTS(Text To Speech)语音技术,合成出像某个特定人的说话语音,说话方式,和说话情感。个性化语音合成技术,未来可以大量应用于电脑、手机、电子书、MP3、车载导航、车载电话、智能家居、智能交通、虚拟机器人、车联网、物联网、等丰富多彩的智能化电子终端领域,应用场景十分丰富,具有重要的娱乐实用价值。
近期,中科院自动化所智能交互团队提出的韵律与音色个性化解耦建模方法在2021年获依托语音领域国际顶级会议ICASSP举办的“多说话人多风格音色克隆大赛(M2VoC)”的极少样本闭集赛道(给定5个语音样本约1分钟)赛道冠军。相关技术研究能够为个性化语音生成提供理论支持,可以大幅降低语音模拟的经济与时间成本,对多媒体信息智能生成的发展具有重要意义。
语音中的信息主要来自于两个方面: 声源信息和声道信息。声源信息来自于声带的震动,主要体现在音高的高低变化,也就是人们平常所说的“抑扬顿挫”,通常用基频值来衡量。另一方面,声道信息来自于人体声道的形状,声道承载的信息包括说话的内容以及说话人的特征,在声学上表现为不同的频谱分布。研究人员为了使合成系统可以模拟各种说话人的特色,最初将重点放在声道信息的模拟转换上,基于此用户需求就产生了许多针对语音转换(Voice Conversion)技术的研究。
语音转换技术是对语音合成技术的丰富和延拓,通过改变频谱特征使一个说话人说出的声音听起来像是由另外一个人发出一样。看过“名侦探柯南”的读者都知道柯南经常用模仿别人声音的变声器,这正是语音转换技术的一个重要应用。近年来,随着技术的进步和研究人员认识的深入,声源信息的模拟也引起了很多研究人员的重视。要想模仿一个人的声音,除了模仿他的音色特征之外,还要模拟他说话的方式,模仿他抑扬顿挫的风格,这项研究通常被称为韵律转换(Prosody Conversion)。通过一系列技术措施,使得只要通过录制目标说话人少量的句子,就可以使计算机学习到该说话人的频谱特征和韵律特征,进而可以使机器所发出的声音具有该说话人的特色。
除此之外,语音变换也是另外一个重要的研究领域。语音变换的任务并不是将源说话人声音变为另外一个特定人的声音,而只是对其进行某种变换使之产生某种特 效,比如说通过对基频的变换使原先的男声听起来像女声或者使原先的女声听起来像男声,或者通过对频谱进行变换使原先的人声变得像机器人的声音。语音变换在数字娱乐领域有着很广泛的应用。而另一个领域——个性化自适应的研究又有所不同,语音转换中的输入是源说话人,系统通过某种变换使之听起来像是目标说话人的声音,而个性化自适应系统的输入是文本,系统通过某种变换使合成系统发出的声音像是目标说话人的声音。可见,个性化自适应可以看作是语音转换技术同语音合成技术的一个联合扩展,其应用更为广泛。
有关个性化语音生成技术的研究已经是整个语音语言研究中非常重要的组成部分,国内外均有一些这方面的前期研究成果,但限于计算复杂度、存储量及计算实时性等多方面原因,早期工作大部分还停留在实验室阶段。近几年来,随着许多研究机构对此项研究的重视,研究越来越深入,在一些实际应用场合已经开始逐步获得了应用。
语音转换主要是声道信息的转换,也即是频谱信息的转换。其目标是确定一个模式转换规则,使转换后的语音保持源说话人原有语音信息内容不变,而具有目标说话人的声音特点。为了找到这个转换规则,我们需要首先录制源说话人和目标说话人的一组平行语料库。所谓平行语料是指两个说话人所录的内容完全相同,比如说分别录制源说话人和目标说话人说“今天天气很好”这句话。这样的录制方式便于找到两个说话人频谱特征的对应关系。整个过程可以分为训练和转换两个步骤来进行,图1展示了语音转换过程的功能和框架图。在训练阶段,系统对源说话人和目标说话人的语音样本进行训练,得到映射规则,获取源语音和目标语音频谱参数之间的关系。在转换阶段,利用上一步得到的映射规则对源语音的频谱特征进行变换,使变换后的语音具有目标说话人的特征。可见,语音转换技术中最关键的部分就是映射规则的确定。
语音合成技术(简称TTS)是一种将任意文本转换成语音输出的技术,在通信、游戏娱乐等领域中有着广阔的应用前景。近十年来,随着各种信号处理技术、模式识别技术的飞速发展,语音合成技术也取得了相当大的进步,其合成的语音清晰、自然,用户很容易即可听懂。目前的合成语音虽然少了许多“机器味”,但是依然比较单调无趣,一个合成系统通常只能以一种特定的风格进行朗读,这就导致合成语音在日常生活中难以广泛应用。目前TTS系统最大的不足就是它仅仅能够产生几个特定人的发音,而用户则期望它具有模拟发出自己或者某些特定人声音的能力。
为了达到个性化自适应的目的,通常大的源语料库不止一个。个性化自适应方法的基本思想是: 在N个大型源语料库中找到一个与目标语料库风格最相似的语料库,由这两组语料库中的平行部分建立对应关系,然后应用前面所介绍的频谱转换和韵律转换的方法,建立源语料库与目标语料库的映射关系。而后,合成系统即可以合成具有目标说话人特色的声音。
个性化语音生成研究的总体框架主要包括三组内容: 传统意义上的韵律转换和频谱转换、语音变换、个性化自适应研究。传统意义上的韵律转换和频谱转换的目的是对源说话人声音施加某种变换,保持源说话人的内容不变,并且使得转变后的声音具有目标说话人的特征。其中频谱转换保证转换后的声音具有目标说话人的音色特征,而韵律转换保证转换后的声音具有目标说话人的韵律特征。语音变换则是对源声音施加一种代表某种趋向的变换,使得转换后的声音具有某种特殊效果,如性别的改变、人声到机器声的改变等。个性化自适应研究是语音转换技术同语音合成技术的一个结合点。同时,在个性化自适应研究中,通过合成系统能够得到发音、韵律结构等文本信息,而在转换中,往往只能得到有限的韵律特征和声学特征信息。由此可以看出,个性化自适应系统比传统意义的韵律转换和频谱转换系统可以利用更广泛的信息,所达到的转换效果也必然更加真实,具有更广泛的应用价值。
新闻来源:中国科学院自动化研究所
仪器网-专业分析仪器服务平台,实验室仪器设备交易网,仪器行业专业网络宣传媒体。
相关热词:
金相分析仪,油品分析仪,针焰试验仪,液位传感器,土壤测试仪,高效液相色谱仪价格,霉菌试验箱,跌落试验台,离子色谱仪价格,噪声计,集菌仪,接地电阻测试仪型号,柱温箱,旋涡混合仪,电热套,场强仪万能材料试验机价格,洗瓶机,匀浆机,耐候试验箱,熔融指数仪,透射电子显微镜。
- 标签:韵律与音色个性化解耦建模方法
- 收藏(0) 赞(0) 踩(0)
- 随时了解更多仪器资讯,求购、招标、中标信息实时更新,厂商招商信息随时看。大量、齐全、专业的仪器信息尽在仪器网(yiqi.com)。扫一扫关注仪器网官方微信,随时随地查看仪器用户采购、招标需求!
-
为你精选
-
中国成功掌握嵌套式霍尔电推进技术 对仪器行业技术革新有什么推进作用?
掌握嵌套式霍尔电推进技术将增强仪器仪表行业的自主创新能力。 自主创新是提高仪器仪表行业竞争力的关键。 掌握嵌套式霍尔电推进技术将为仪器仪表行业自主创新提供机遇。
2024-02-10 17:23:26 技术突破
-
国产商业场发射透射电子显微镜打破进口依赖 国产仪器去进口化要做到哪些关键点?
国内头一款商用场发射透射电子显微镜TH-F120在广州黄埔区正式发布。 透射电镜由生物岛实验室研制,具有自主知识产权。 这将打破我国透射电子显微镜100%进口的依赖。
2024-02-07 17:17:42 科学创新
-
部分封装厂商开启涨价潮 芯片封装价值回归仪器行业有哪些机遇?
国内一家芯片公司销售代理商表示,由于上游封装厂商涨价,公司将从2月1日起将产品价格上调10%-20%。财联社记者致电华天科技证券部询问封装是否价格将会上涨。
2024-02-06 11:09:20 科技动态
-
华为与江淮汽车达成合作生产豪华汽车 智能制造对仪器行业升级有哪些正面作用?
智能制造可以提高仪器仪表行业的生产效率和质量。 传统仪器的生产过程中,往往存在人为操作的不确定性和繁琐的流程。 通过引入智能制造技术,可以实现生产过程自动化、智能化,减少人为干预,提高生产效率和产品质
2024-02-06 11:02:57 科学创新
-
AI崛起美国UPS物流开启大裁员 仪器行业如何用AI解放人力?
美国联合包裹公司(UPS)在周二发布财报后宣布裁员1.2万人,这一消息让打工人们倍感“扎心”。公司表示,用工成本上涨和物流需求下降导致2023年财报和2024年指引不及预期。
2024-02-05 11:28:17 技术突破
-
中国成功掌握嵌套式霍尔电推进技术 对仪器行业技术革新有什么推进作用?
掌握嵌套式霍尔电推进技术将增强仪器仪表行业的自主创新能力。 自主创新是提高仪器仪表行业竞争力的关键。 掌握嵌套式霍尔电推进技术将为仪器仪表行业自主创新提供机遇。
中科院智能交互团队“韵律与音色个性化解耦建模方法”斩获大赛佳绩
①本文由仪器网入驻的作者或注册的会员撰写并发布,观点仅代表作者本人,不代表仪器网立场。若内容侵犯到您的合法权益,请及时告诉,我们立即通知作者,并马上删除。
②凡本网注明"来源:仪器网"的所有作品,版权均属于仪器网,转载时须经本网同意,并请注明仪器网(www.yiqi.com)。
③本网转载并注明来源的作品,目的在于传递更多信息,并不代表本网赞同其观点或证实其内容的真实性,不承担此类作品侵权行为的直接责任及连带责任。其他媒体、网站或个人从本网转载时,必须保留本网注明的作品来源,并自负版权等法律责任。
④若本站内容侵犯到您的合法权益,请及时告诉,我们马上修改或删除。邮箱:hezou_yiqi
- 高度集成与全自动化双重优势,是时候和测量小推车说再见了
- 设备更新指南 | 2024年布鲁克纳米表面仪器:原子力显微镜篇
- 布鲁克助力X射线仪器大规模升级更新
- 校招 | 探寻职场上的新“利”量
- Empower控制质谱,系列使用小贴士来了!(二)| 沃特世质谱以旧换新进行时
- 2024食品添加剂违规频发 安谱璀世标准品为您助力
- 冷冻干燥技术在疫苗研究中的应用进展
- 【高光谱课堂预约】3月28日基于无人机高光谱的耕地种植作物遥感精细探测研究
- Starr MouseOx | 小动物脉搏血氧仪无创监护大小鼠生命体征,助力流行病治疗研究新进展
- 表面成像丨紧跟科研热点,以旧换新专属成像方案来袭
- 新芝生物助力“以旧换新”,畅享绿色未来
- 双利合谱十周年活动 | 高光谱成像设备免费返厂活动
- 【行业应用】高光谱检测技术助力矿业领域研究