自动化研究完成国际上规模最大多模态同步语言神经影像数据集发布

日前，中科院自化所完成了迄今为止国际上规模最大、包括信息最丰富的汉语同步多模态神经影像数据集，并于近日正式对外发布。相关研究成果发表在Scientific Data上。

该数据集是当前国际上最大规模的用于脑语言处理机制研究的多模态同步神经影像数据集，针对12个被试收听约6个小时故事时的功能核磁共振(fMRI)、脑磁图(MEG)、每个被试的T1/T2加权结构像、扩散磁共振成像(diffusion MRI)和静息态核磁共振(resting MRI)数据采集整理而成。

该数据集的公开发布可为全方位研究大脑在真实场景下理解词汇、短语和句子时如何调动不同脑区以及不同脑区之间如何协同工作等科学问题提供重要支撑。

补充阅读：

多模态即多种异构模态数据协同推理。多模态数据分析外需与高级认知智能内需相互促进。

在生物识别中是指整合或融合两种及两种以上生物识别技术，利用其多重生物识别技术的独特优势，并结合数据融合技术，使得认证和识别过程更加精准、安全。与传统的单一生物识别方式的主要区别在于，多模态生物识别技术可通过独立的或多种采集方式合而为一的采集器，采集不同的生物特征(如指纹、指静脉、人脸、虹膜图像等)，并通过分析、判断多种生物识别方式的特征值进行识别和认证。

在人工智能领域中，往往指感知信息，如图像、文本、语音等协同，帮人工智能更准确地理解外部世界。可用方法包含：双路卷积神经网络等。

神经影像学通常与功能脑成像联系在一起。该领域的研究更加强调对脑工作机制的研究。

脑神经活动表现为明显的三维动态特性，因此，仅靠记录随时间变化的一维信号来解读大脑工作机制是远远不够的。通过影像学方法在二维与三维空间以图像的方式来揭示脑的解剖结构与功能是脑科学研究中的重要方法。

能反映脑功能的影像方法有许多种。常见的方法可以分为有创的和无创的两类。无创的方法包括基于电磁信号检测的脑电图和脑磁图;基于血氧水平依赖性测量的功能磁共振成像;基于代谢水平测量的近红外光谱技术等。此外，脑神经信息的获取还可以采用有创的方法，包括神经元放电信号测量及皮层电位的测量。上述测量方法的结果都可以在二维或三维空间中用图像的方式加以显示。

核磁共振成像(简称NMRI)，是利用核磁共振原理，依据所释放的能量在物质内部不同结构环境中不同的衰减，通过外加梯度磁场检测所发射出的电磁波，即可得知构成这一物体原子核的位置和种类，据此可以绘制成物体内部的结构图像。

将这种技术用于人体内部结构的成像，就产生出一种革命性的医学诊断工具。快速变化的梯度磁场的应用，大大加快了核磁共振成像的速度，使该技术在临床诊断、科学研究的应用成为现实，极大地推动了医学、神经生理学和认知神经科学的迅速发展。

从核磁共振现象发现到MRI技术成熟这几十年期间，有关核磁共振的研究领域曾在三个领域(物理学、化学、生理学或医学)内获得了6次诺贝尔奖，足以说明此领域及其衍生技术的重要性。

功能磁共振成像是目前最常用的一种非损伤性的活体脑功能检测技术, 主要根据神经元兴奋后局部耗氧与血流增幅不一致的原理 ,通过测量脑血氧水平依赖性

信号间接反映神经元活动。所谓静息状态是指,在数据扫描时参与者不需要执行

任何复杂的认知任务,只需保持全身放松,头脑清醒的状态。由于无需复杂的实验设计, 实

际应用方便。具容易被神经精神疾病患者接受e该方法逐步被应用于认知神经科学的研究。

近年来,基于静息状态的研究受到了越来越多的关注。随着人们对静息脑活动的生理

意义理解的不断深入,其已成为当今认知神经科学领域研究的热点之一。