- 2021-07-13 14:52:38 来源:仪器网整合 浏览量:1247次
- 【导读】三模态预训练模型的提出将改变当前单一模型对应单一任务的人工智研发范式,三模态图文音的统一语义表达将大幅提升文本、语音、图像和视频等领域的基础任务性能
-
模型是通过主观意识借助实体或者虚拟表现,构成客观阐述形态结构的一种表达目的的物件(物件并不等于物体,不局限于实体与虚拟、不限于平面与立体)。模型构成形式分为实体模型(拥有体积及重量的物理形态概念实体物件)及虚拟模型(用电子数据通过数字表现形式构成的形体以及其他实效性表现)。
近期,中科院自动化所提出了全 球首 个图文音(视觉-文本-语音)三模态预训练模型。同时具备跨模态理解与跨模态生成能力。该模型不仅可实现跨模态理解(比如图像识别、语音识别等任务),也能完成跨模态生成(比如从文本生成图像、从图像生成文本、语音生成图像等任务)。
三模态预训练模型的提出将改变当前单一模型对应单一任务的人工智研发范式,三模态图文音的统一语义表达将大幅提升文本、语音、图像和视频等领域的基础任务性能,并在多模态内容的理解、搜索、推荐和问答,语音识别和合成,人机交互和无人驾驶等商业应用中具有潜力巨大的市场价值。“大数据+大模型+多模态”多任务统一学习将引领技术发展的潮流。
延伸阅读:
图像识别是利用计算机对图像进行处理、分析和理解,以识别各种不同模式的目标和对象的技术,是应用深度学习算法的一种实践应用。现阶段图像识别技术一般分为人脸识别与商品识别,人脸识别主要运用在安全检查、身份核验与移动支付中;商品识别主要运用在商品流通过程中,特别是无人货架、智能零售柜等无人零售领域。
图像的传统识别流程分为四个步骤:图像采集→图像预处理→特征提取→图像识别。图像识别软件国外代表的有康耐视等,国内代表的有图智能、海深科技等。另外在地理学中指将遥感图像进行分类的技术。图形刺激作用于感觉器官,人们辨认出它是经验过的某一图形的过程,也叫图像再认。在图像识别中,既要有当时进入感官的信息,也要有记忆中存储的信息。只有通过存储的信息与当前的信息进行比较的加工过程,才能实现对图像的再认。
图像识别可能是以图像的主要特征为基础的。每个图像都有它的特征,如字母A有个尖,P有个圈、而Y的中心有个锐角等。对图像识别时眼动的研究表明,视线总是集中在图像的主要特征上,也就是集中在图像轮廓曲度最大或轮廓方向突然改变的地方,这些地方的信息量最大。而且眼睛的扫描路线也总是依次从一个特征转到另一个特征上。由此可见,在图像识别过程中,知觉机制必须排除输入的多余信息,抽出关键的信息。同时,在大脑里必定有一个负责整合信息的机制,它能把分阶段获得的信息整理成一个完整的知觉映象。
图像识别是人工智能的一个重要领域。为了编制模拟人类图像识别活动的计算机程序,人们提出了不同的图像识别模型。例如模板匹配模型。这种模型认为,识别某个图像,必须在过去的经验中有这个图像的记忆模式,又叫模板。当前的刺激如果能与大脑中的模板相匹配,这个图像也就被识别了。例如有一个字母A,如果在脑中有个A模板,字母A的大小、方位、形状都与这个A模板完全一致,字母A就被识别了。这个模型简单明了,也容易得到实际应用。但这种模型强调图像必须与脑中的模板完全符合才能加以识别,而事实上人不仅能识别与脑中的模板完全一致的图像,也能识别与模板不完全一致的图像。例如,人们不仅能识别某一个具体的字母A,也能识别印刷体的、手写体的、方向不正、大小不同的各种字母A。同时,人能识别的图像是大量的,如果所识别的每一个图像在脑中都有一个相应的模板,也是不可能的。
语音识别是一门交叉学科。近二十年来,语音识别技术取得显著进步,开始从实验室走向市场。人们预计,未来10年内,语音识别技术将进入工业、家电、通信、汽车电子、医疗、家庭服务、消费电子产品等各个领域。 语音识别听写机在一些领域的应用被美国新闻界评为1997年计算机发展十件大事之一。很多专家都认为语音识别技术是2000年至2010年间信息技术领域十大重要的科技发展技术之一。 语音识别技术所涉及的领域包括:信号处理、模式识别、概率论和信息论、发声机理和听觉机理、人工智能等等。
与机器进行语音交流,让机器明白你说什么,这是人们长期以来梦寐以求的事情。中国物联网校企联盟形象得把语音识别比做为“机器的听觉系统”。语音识别技术就是让机器通过识别和理解过程把语音信号转变为相应的文本或命令的高技术。 语音识别技术主要包括特征提取技术、模式匹配准则及模型训练技术三个方面。语音识别技术车联网也得到了充分的引用,例如在翼卡车联网中,只需按一键通客服人员口述即可设置目的地直接导航,安全、便捷。
根据识别的对象不同,语音识别任务大体可分为3类,即孤立词识别(isolated word recognition),关键词识别(或称关键词检出,keyword spotting)和连续语音识别。其中,孤立词识别 的任务是识别事先已知的孤立的词,如“开机”、“关机”等;连续语音识别的任务则是识别任意的连续语音,如一个句子或一段话;连续语音流中的关键词检测针对的是连续语音,但它并不识别全部文字,而只是检测已知的若干关键词在何处出现,如在一段话中检测“计算机”、“世界”这两个词。
根据针对的发音人,可以把语音识别技术分为特定人语音识别和非特定人语音识别,前者只能识别一个或几个人的语音,而后者则可以被任何人使用。显然,非特定人语音识别系统更符合实际需要,但它要比针对特定人的识别困难得多。
另外,根据语音设备和通道,可以分为桌面(PC)语音识别、电话语音识别和嵌入式设备(手机、PDA等)语音识别。不同的采集通道会使人的发音的声学特性发生变形,因此需要构造各自的识别系统。
语音识别的应用领域非常广泛,常见的应用系统有:语音输入系统,相对于键盘输入方法,它更符合人的日常习惯,也更自然、更高效;语音控制系统,即用语音来控制设备的运行,相对于手动控制来说更加快捷、方便,可以用在诸如工业控制、语音拨号系统、智能家电、声控智能玩具等许多领域;智能对话查询系统,根据客户的语音进行操作,为用户提供自然、友好的数据库检索服务,例如家庭服务、宾馆服务、旅行社服务系统、订票系统、医疗服务、银行服务、股票查询服务等等。
新闻来源:中科院自动化所
仪器网-专业分析仪器服务平台,实验室仪器设备交易网,仪器行业专业网络宣传媒体。
相关热词:
金相分析仪,油品分析仪,针焰试验仪,液位传感器,土壤测试仪,高效液相色谱仪价格,霉菌试验箱,跌落试验台,离子色谱仪价格,噪声计,集菌仪,接地电阻测试仪型号,柱温箱,旋涡混合仪,电热套,场强仪万能材料试验机价格,洗瓶机,匀浆机,耐候试验箱,熔融指数仪,透射电子显微镜。
- 标签:图文音三模态预训练模型
- 收藏(0) 赞(0) 踩(0)
- 随时了解更多仪器资讯,求购、招标、中标信息实时更新,厂商招商信息随时看。大量、齐全、专业的仪器信息尽在仪器网(yiqi.com)。扫一扫关注仪器网官方微信,随时随地查看仪器用户采购、招标需求!
-
为你精选
-
中国成功掌握嵌套式霍尔电推进技术 对仪器行业技术革新有什么推进作用?
掌握嵌套式霍尔电推进技术将增强仪器仪表行业的自主创新能力。 自主创新是提高仪器仪表行业竞争力的关键。 掌握嵌套式霍尔电推进技术将为仪器仪表行业自主创新提供机遇。
2024-02-10 17:23:26 技术突破
-
国产商业场发射透射电子显微镜打破进口依赖 国产仪器去进口化要做到哪些关键点?
国内头一款商用场发射透射电子显微镜TH-F120在广州黄埔区正式发布。 透射电镜由生物岛实验室研制,具有自主知识产权。 这将打破我国透射电子显微镜100%进口的依赖。
2024-02-07 17:17:42 科学创新
-
部分封装厂商开启涨价潮 芯片封装价值回归仪器行业有哪些机遇?
国内一家芯片公司销售代理商表示,由于上游封装厂商涨价,公司将从2月1日起将产品价格上调10%-20%。财联社记者致电华天科技证券部询问封装是否价格将会上涨。
2024-02-06 11:09:20 科技动态
-
华为与江淮汽车达成合作生产豪华汽车 智能制造对仪器行业升级有哪些正面作用?
智能制造可以提高仪器仪表行业的生产效率和质量。 传统仪器的生产过程中,往往存在人为操作的不确定性和繁琐的流程。 通过引入智能制造技术,可以实现生产过程自动化、智能化,减少人为干预,提高生产效率和产品质
2024-02-06 11:02:57 科学创新
-
AI崛起美国UPS物流开启大裁员 仪器行业如何用AI解放人力?
美国联合包裹公司(UPS)在周二发布财报后宣布裁员1.2万人,这一消息让打工人们倍感“扎心”。公司表示,用工成本上涨和物流需求下降导致2023年财报和2024年指引不及预期。
2024-02-05 11:28:17 技术突破
-
中国成功掌握嵌套式霍尔电推进技术 对仪器行业技术革新有什么推进作用?
掌握嵌套式霍尔电推进技术将增强仪器仪表行业的自主创新能力。 自主创新是提高仪器仪表行业竞争力的关键。 掌握嵌套式霍尔电推进技术将为仪器仪表行业自主创新提供机遇。
中科院自动化所研发图文音(视觉-文本-语音)三模态预训练模型
①本文由仪器网入驻的作者或注册的会员撰写并发布,观点仅代表作者本人,不代表仪器网立场。若内容侵犯到您的合法权益,请及时告诉,我们立即通知作者,并马上删除。
②凡本网注明"来源:仪器网"的所有作品,版权均属于仪器网,转载时须经本网同意,并请注明仪器网(www.yiqi.com)。
③本网转载并注明来源的作品,目的在于传递更多信息,并不代表本网赞同其观点或证实其内容的真实性,不承担此类作品侵权行为的直接责任及连带责任。其他媒体、网站或个人从本网转载时,必须保留本网注明的作品来源,并自负版权等法律责任。
④若本站内容侵犯到您的合法权益,请及时告诉,我们马上修改或删除。邮箱:hezou_yiqi
- 高度集成与全自动化双重优势,是时候和测量小推车说再见了
- 设备更新指南 | 2024年布鲁克纳米表面仪器:原子力显微镜篇
- 布鲁克助力X射线仪器大规模升级更新
- 校招 | 探寻职场上的新“利”量
- Empower控制质谱,系列使用小贴士来了!(二)| 沃特世质谱以旧换新进行时
- 2024食品添加剂违规频发 安谱璀世标准品为您助力
- 冷冻干燥技术在疫苗研究中的应用进展
- 【高光谱课堂预约】3月28日基于无人机高光谱的耕地种植作物遥感精细探测研究
- Starr MouseOx | 小动物脉搏血氧仪无创监护大小鼠生命体征,助力流行病治疗研究新进展
- 表面成像丨紧跟科研热点,以旧换新专属成像方案来袭
- 新芝生物助力“以旧换新”,畅享绿色未来
- 双利合谱十周年活动 | 高光谱成像设备免费返厂活动
- 【行业应用】高光谱检测技术助力矿业领域研究