电子显微镜作为材料和化学系统研究的基石，近年来在电镜自动化控制方面取得了显著进展。然而，在大多数需要通过图像识别来判断下一步操作的过程中，仍然需要科研人员的参与。为了解决这一问题，JEOL 的美国 GrandARM 用户 Steven Spurgeon 和其他 8 位科学家经过 7 年的辛勤努力，成功将类似人类推理的算法嵌入到电子显微镜的控制系统中。这一创新使研究人员能够依靠电镜自主控制系统，在无需人工干预的情况下高效地进行实验，速度比传统的手动试错方法快近 1000 倍，而且实验结果可以获取更好的重复性和一致性，避免人为误差。

      通常，为了训练 AI 模型来理解材料科学中的各种实验现象，研究人员需要耗费大量时间和精力在电子显微镜图像上手动标记感兴趣的区域，生成人工标记的训练数据集。使用这些数据集进行 AI 模型训练，才能使 AI 能够识别出人类标记的区域的共同特征，并在未标记的图像中寻找相似区域。然而，这种手动标记的方法容易出现遗漏和不准确的情况，需要反复人工校验才能确保数据的准确性。

      相比之下，AutoEM 无需人工干预即可识别材料电镜图像中的特征区域，从而实现更准确和一致的结果。Steven Spurgeon 团队以一个名为 MicroNet 的开源数据集为基础，该数据集包含超过 100,000 张未标记的电子显微镜图像。在此基础上，他们基于 ResNet50 AI 模型，让 AI 将每个电子显微镜图像分割成多个“块”，并计算这些块之间的整体相似性，为每个块评估相似性分数。然后，模型将最相似的块分类为“组”，这些组代表具有类似特征的图像部分（如下图右图所示）。

多模态AI破局核材料分析