SmartTrap 自动化精密光镊实验系统（2025年5月，基于深度学习，人工神经网络和精密微流控操控装置）

可靠 | 稳定 | 高效 | 创新   

享受丝滑生活 

在当前的各个研究领域，正出现一种趋势，即利用人工智能驱动的智能系统实现更多自动化。尽管实验通常难以实现自动化，但自动化能够通过减少人力投入和提高可重复性带来巨大益处。例如，光镊在单分子生物物理学、细胞生物力学和软物质物理学中得到广泛应用，但仍需人工操作，导致通量低且重复性有限。在此，我们介绍了一种名为 SmartTrap 的智能光镊平台，能够完全自主地执行复杂实验。SmartTrap 集成了基于深度学习的实时三维粒子追踪、用于精确反馈控制的定制电子设备以及用于粒子处理的微流控装置。通过一系列实验，我们展示了 SmartTrap 能够持续运行，在长时间内获取高精度数据的能力。通过弥合手动实验与自主操作之间的差距，SmartTrap 为下一代光镊研究建立了一个强大且开源的框架，能够进行大规模实验。在单分子生物物理学、细胞力学和胶体科学方面的研究，实验成本降低且减少了操作偏差。

人工智能（Artificial Intelligence，AI）的发展速度惊人，从聊天机器人到诸如 AlphaFold 这样的基础模型，它已经实现了从能与人对话到彻底变革蛋白质结构预测和设计的自动化。尽管这些突破使许多计算领域受益匪浅，但将 AI 融入实验科学仍面临诸多障碍，其中实验规程之间的差异性便是主要因素之一。

光镊技术始于阿什金 1970 年展示的辐射压力捕获粒子的实验，以及 1986 年单光束光阱的演示。如今，它们在从物理学到生物学、化学等众多领域中被广泛应用，用于施加和测量微观力。例如，在物理学中，它们被用于捕获和操控微观粒子，从而能够对软物质和非平衡动力学进行精确研究。在生物物理学中，光镊技术使得对单分子拉伸过程中所涉及的力、生物分子马达产生的力以及膜的机械性能进行精确测量成为可能。在胶体化学领域，光镊技术已被证明对于探究粒子间的相互作用、临界卡西米尔力以及耗尽相互作用具有不可替代的价值。

然而，光镊专注于操控单个物体这一特点也构成了一个重大局限，因为这导致其固有的处理量很低。实验通常是一次对一个粒子、分子或细胞进行，一般需要训练有素的操作人员持续监督。此外，这种对人工操作的依赖极大地增加了收集大规模数据集所需的时间和成本，同时也引入了人为偏差的可能性，降低了可重复性。

这种情况正在开始改变，很大程度上得益于深度学习的兴起，它最近已被用于增强光镊技术。光镊实验过程的多个方面已实现自动化。例如，自动化光镊已被用于高精度定位粒子以构建类似晶体的结构，实时图像分析与机器学习的结合已被用于自动捕获和分类粒子。然而，迄今为止，由于其复杂性，诸如单分子、单细胞实验以及单个胶体相互作用等精密测量仍无法通过自主程序实现。不过，提高通量将非常有价值，尤其是在单分子实验等复杂实验中，因为这类实验的数据收集颇具挑战性。自动化对于研究罕见或短暂事件（如蛋白质错误折叠）以及对异质分布进行采样来说也是理想的选择。

在此，我们介绍了一种智能光镊平台，将其命名为 SmartTrap，旨在无需人工干预的情况下进行高级实验。这是通过完全数字化控制实验流程以及智能事件驱动算法实现的。数字控制得以实现，得益于将定制电子设备、微流体和光学控制集成到一个单一的软件系统中。结合实时深度学习图像分析和闭环反馈算法，SmartTrap 能够自主应对事件并自主执行复杂的实验程序。我们通过四个典型实验展示了 SmartTrap 的多功能性：颗粒尺寸表征、单分子 DNA 拉伸以观察力诱导的过度拉伸转变、红细胞的光学变形以探测膜刚度以及测量胶体颗粒间的静电作用力以表征短程相互作用。通过将软件和硬件开源，我们旨在激励他人使用和开发 SmartTrap，从而建立智能光镊的框架，拓展其应用范围。生物物理学、细胞力学和胶体科学。

SmartTrap 光镊系统利用两束反向传播的激光来创建光学陷阱，通过捕获光束动量的变化直接测量力。我们为该系统开发了一个定制的电子控制器，它能够控制激光和样品台的位置，同时测量激光的位置和偏转。SmartTrap 还将微流体泵、激光功率控制和数字相机集成到一个单一的控制界面中。有关该仪器的更详细描述，请参阅补充材料中的“光镊系统”部分，其主要特点概述如下。

图 1 展示了 SmartTrap 的设置。反向传播的装置通过追踪激光 A 的路径最容易理解。激光从光纤中通过一个摆动器射出。这是一种定制的致动器，通过使用压电致动器倾斜（摆动）光纤来实现激光在样品平面内的二维定位，详见补充材料中的“激光摆动器”部分。在样品前放置的位置敏感探测器（PSD）（“位置探测器 A”）检测激光的位置，提供可用于反馈回路的信号。在样品后，第二个 PSD（“力探测器 A”）测量由光捕获物体引起的激光偏转，从而测量横向动量转移，进而测量横向光力。带有光阑的光电二极管（“光阑 A”）测量激光光斑的大小，用于确定作用在粒子上的轴向力。激光 B 的行进路径与激光 A 相同。激光 A 和激光 B 共同形成一个单一的陷阱，在此陷阱中，两束光的散射力相互抵消，从而形成一个反向传播的光学陷阱，其稳定性优于相同功率下单一高度聚焦光束陷阱所能达到的效果。

图 1：SmartTrap 设备设置。（a）SmartTrap 光镊仪器及控制系统 3D 图示。仪器在前，控制系统在后，右侧为计算机和接口，左侧为控制器。（b）光学原理图。激光 A 和 B 沿镜面反射路径传播，在样本中形成反向传播的光阱。每条激光路径上都有两个二维位置敏感探测器（PSD）：第一个探测器监测激光位置，第二个探测器通过散射光测量激光对被捕获物体施加的力。PBS 代表偏振分束器，LED 代表发光二极管。

这款定制的电子控制器负责操控样品台和激光的位置，同时读取各种光电传感器的数据。这使我们能够实现专门的反馈算法来控制整个系统。当算法在控制器上运行时，延迟非常低（约 0.1 ms），这比从计算机发送指令（约 10 ms）能实现更快的反馈。该控制器通过标准 USB 数据线连接的串行 USB 协议与主机计算机进行通信。激光电源和微流体泵则由单独的商用控制器控制。所有控制器、光电二极管和相机都连接到一台运行自定义 Python 程序的主机电脑上，该程序提供图形用户界面（GUI）。这为用户提供了对 SmartTrap 的全面数字监控和控制，并能够同步控制其不同组件。

为了实现实验流程的自动化，对摄像机的视频流进行分析至关重要。我们采用深度学习来实现这一分析，因其具有精度高、通用性强和速度快的优点。图像分析的第一步是检测粒子和移液管的存在。我们使用了基于 YOLO 目标检测框架的人工神经网络，特别是 YOLO V5 来完成这一任务。我们利用主要由 DeepTrack2 软件包模拟的合成图像构成的数据集对网络进行了训练，这些图像的地面真实情况是确切已知的。此外，我们还加入了 1000 张人工标注的实验图像，因为这提高了检测精度，我们认为这归因于准确模拟微移液管存在困难。网络预测结果包括围绕感兴趣对象的边界框。框的大小给出了粒子大小和移液管范围的估计值。框的中心提供了粒子在 xy 方向上的位置。

为了实现完全自主运行，SmartTrap 由定制算法控制，这些算法利用来自各种传感器的读数进行实时反馈，并跟踪实验所处的阶段。这形成了一个由 4 个主要步骤组成的闭环系统，如图 2a 所示。重要的是，数据采集和命令执行通过 Python 中的不同线程和进程与控制逻辑异步进行。这使得能够以高于网络分析能力的频率从各种传感器和相机中采样和记录数据。

在配备英伟达 RTX 3090 图形处理器的计算机上运行时，包括图像分析在内的决策过程通常以约 20 赫兹的频率运行，这足以实现实时反馈，并且与全画幅录制时的相机（Basler a2A5320-23umBAS）约每秒 23 帧的帧率相当。这在每次决策中，绝大部分计算时间都花在了图像分析上。因此，反馈率将取决于视野范围以及可见粒子的数量，因为视野中粒子越多，z 网络就需要进行更多的预测。我们还发现，由于向 GPU 发送图像和结果以及从 GPU 接收结果存在延迟，导致分析过程耗费了相当大的一部分时间，因为观察到当 YOLO 网络处理一批中的两张图像时，处理时间仅比处理一张图像增加了 50%。不过，该过程的速度仍然足够快，能够自主进行实验，并且比一般人的反应时间快得多。

图 2：用于自动化的算法。（a）数据处理反馈回路。在获取数据（步骤 1，数据采集）之后，对其进行处理以提取有关实验的信息（步骤 2，数据处理）。然后利用这些信息做出下一步操作的决策（步骤 3，控制逻辑），最后由仪器执行（步骤 4，命令执行）。（b）图像分析中使用的神经网络。首先，利用 YOLO 定位感兴趣的物体。然后借助卷积神经网络（CNN）确定粒子的 z 位置。（c）使用 SmartTrap 执行自主 DNA 拉伸实验的主要步骤。首先进行配置程序（步骤 0），然后系统检查移液管和光阱中是否有粒子（步骤 1）。步骤 2 是获取链霉亲和素（SA）粒子，接着在步骤 3 中将粒子通过吸力吸入移液管。然后在步骤 4 中收集带有附着 DNA 的粒子。在步骤 5 中，系统会尝试通过轻轻推动粒子使其接触来附着 DNA。一旦检测到 DNA 分子，系统就会进行拉伸实验（步骤 6）。实验结束后，系统会用缓冲溶液冲洗腔室以替换 DNA 颗粒，然后返回步骤 4。

图 3：颗粒的尺寸分布。测得的流体动力学半径为 2.11(4) 微米，其中误差为测量值的标准偏差。直方图中显示了平均半径（实线）和制造商指定的值（虚线）。

图 4：DNA 拉伸实验。（a）DNA 拉伸实验示意图。DNA 分子连接在两个粒子之间。其中一个粒子由微量移液管固定，而另一个粒子则通过光学陷阱来回移动。（b）实验所得力 - 伸展曲线（圆圈）和可伸展 WLC 模型（虚线）。实验过程中借助 YOLO 算法对被捕获的粒子进行追踪。图中展示了分子的拉伸（深蓝色圆圈）和松弛（亮蓝色圆圈）。拉伸和松弛过程重叠，除了在松弛过程中出现的滞后现象，表现为力的早期下降。在小伸展量时，分子施加的力较小且略微卷曲（图 a 中的 1）。随着伸展量接近分子的轮廓长度，分子伸直，导致力随距离急剧增加（图 a 中的 2）；这种行为可由可伸展 WLC 模型很好地描述。超过约 65 皮牛顿时，分子被过度拉伸（图 a 中的 3）。

图 5：红细胞的光学拉伸。（a）被捕获的红细胞示意图。当每束激光的捕获功率为 5 mW时，没有明显的拉伸，由于渗透压较低，细胞近乎球形。右侧为实验图像，虚线蓝色线表示细胞轮廓。当每束激光的捕获功率为 80 mW时，细胞沿激光传播轴拉伸。在右下角的实验图像中，是上述低功率捕获时同一细胞的轮廓，突出显示细胞在横向平面收缩。比例尺为 5 μm。（b）随着捕获功率的增加，细胞的横截面积逐渐减小，对应其形状变得更长。误差条表示相对面积的标准偏差，使用来自同一样本的 10 个红细胞，当捕获功率为 5 mW时，平均横截面积为 39(4) μm2。单位以 5 mW捕获时的细胞大小为基准。

图 6：颗粒间的静电相互作用。（a）不同盐浓度下静电相互作用实验的示意图。随着盐浓度的增加，屏蔽作用增强，静电作用力减小，表现为更多离子聚集在颗粒周围。（b）不同盐浓度下颗粒间距离与作用力的关系。实验数据（点）与 DLVO 理论描述的静电作用力拟合曲线（实线）吻合良好。

图 S6：U-Net 训练数据。（a）使用 DeepTrack2 生成的模拟图像，用于训练 U-Net。在背景中添加了小颗粒，并将其用作噪声，以防止输出中的误报（例如，将移液管误分类为颗粒）。（b）目标是与图像大小相同的二值掩码。U-Net 的任务是预测包含颗粒的像素为 1，否则为 0。

软件：已设计并实现了一套定制软件来控制该仪器。它大致可分为四个主要部分：第一部分是固件，用 C 语言编写，在微控制器上运行；第二部分是通信软件；第三部分是图形用户界面（GUI）；第四部分是针对每种实验类型定制的一系列自动化算法。通信软件、图形用户界面和自动化算法均用 Python 编写，并在主机上运行。

通信软件：通信软件使得主机能够从仪器读取数据并向其发送指令。由于这一过程需要持续进行，因此 Python 的全局解释器锁（GIL）不应中断该进程。同样，通信也不应中断其他进程，例如使用相机拍摄图像。因此，通信由两个独立的类处理，它们均异步运行。第一个类在单独的进程（计算机的核心）中运行，并使用串行 USB 协议与仪器进行数据的发送和接收。它始终向仪器发送最新的指令，读取的数据则不断放入 Python 队列中。第二个类在单独的线程中运行，并分块处理队列中的数据。首先，通过将位转换为整数并根据其对应信号对数据进行排序来解包数据。然后计算力和位置，详情见补充部分“校准”。

图形用户界面：该图形用户界面（GUI）旨在以用户友好的方式控制和监控与仪器控制器的通信。它具备诸如在样本实时视图中点击和拖动以定位激光和移动电机等功能。我们使用的是 Basler ace a2A5320-23um 相机，但该制造商的任何相机无需对代码进行任何修改即可使用，Thorlabs 的相机也一样（其他相机只需对代码进行少量修改即可集成）。该图形用户界面还可用作简易示波器，使用户能够实时绘制和比较来自各种传感器的信号。这在实验过程中用于监测作用在粒子上的力时最为方便。绘图工具还支持实时数据处理，例如运行快速傅里叶变换（FFT）算法或对数据进行平均。该图形用户界面还具备实时跟踪实时流以及绘制作用在捕获粒子上的力的功能。这使用户能够确定 DNA 在移液管中的粒子上附着的位置。

自动化算法：自动化算法在图形用户界面的后台单独线程中运行，负责图 2a 中自动化循环的第 2、3 和 4 步。在单独线程中运行可防止其他操作（例如数据图像采集）在执行诸如粒子检测等操作时等待自动化算法。用户可以从界面中决定运行哪种自主算法，动态地开启或关闭它们。此外，还可以单独切换单个程序，例如捕获粒子或校准移液管，以帮助用户在手动操作仪器时进行辅助。各种决策程序的详细信息在正文中有概述。

利用光学镊子测量力和机械性能在很大程度上仍是一个手动过程，这限制了可收集的数据量。SmartTrap 在克服这一限制方面迈出了重要一步。这里展示的实验涵盖了常见的光学镊子应用的广泛范围。尽管在我们的演示中，粒子表征相对简单，但它具有广泛的潜在应用（例如，选择特定类型的细胞进行实验），只需将选择标准从大小修改为其他特征即可轻松实现。DNA 拉伸作为单分子力谱实验的典型代表。通过一些参数调整，它可以适应测量其他分子（例如蛋白质、DNA 发夹）。这样就非常适合绘制不同条件下分子过程的能量图。例如，可以测量不同温度或盐度下的 DNA 邻近碱基对能量。这种高精度实验对于理解分子至关重要，需要进行大量测量。相比之下，红细胞实验比 DNA 拉伸实验更容易实现自动化，但其清楚地表明，只需付出适度的努力，就能对单个细胞或粒子进行大量简单的高效测量。另一方面，静电排斥实验则展示了对粒子间力的测量。值得注意的是，那里所使用的算法基本上是 DNA 拉伸实验所用算法的简化版，这表明构建复杂协议的步骤可以重新用于其他应用。这使得后续的自动化协议更快、更容易实现。

与人工操作相比，SmartTrap 在每小时测量次数和整体实验质量方面通常能与之匹敌甚至更胜一筹。我们认为这一优势源于更快的反馈以及相对位置更精确的测量。正如粒子表征实验所展示的那样，当能够快速进行测量时，该系统能够在短时间内自主完成大量测量。自主协议能够长时间可靠运行这一事实大大减少了研究人员进行实验所需的时间。此外，仪器自主工作还减少了由于操作不一致而产生的人为偏差风险，这在试图观察罕见事件时可能非常重要。不过，仍有一些情况是人工操作优于该系统的，比如检测明显失焦或移动速度非常快的粒子。这些情况得益于通过比较连续帧来检测运动。YOLO 是基于逐帧操作的，因此在处理快速移动和识别远离焦点的粒子方面存在困难，而这些粒子对人类来说是可以检测到的。在这些场景中，一种更专业的追踪算法很可能也能胜过人类。

在自动化过程中遇到的许多挑战都源于将其中一个粒子置于移液管中，这引入了一个额外的故障点，并且由于需要精确的三维对齐而增加了复杂性。这一要求在很大程度上解释了为什么在粒子表征实验中准备新的测量比在 DNA 拉伸实验中快得多，即使移液管中的粒子没有更换。另一种方法是使用两个单独的陷阱来确保两个粒子保持在同一平面内，从而有效地消除了对复杂对齐的需求。然而，这会增加仪器的复杂性，并且可能需要为每次后续测量捕获两个粒子。尽管存在这些限制，但在自主操作期间出现错误的情况很少，这从系统能够进行长时间测量以及对大量粒子、分子或细胞进行大规模研究的能力中得到了证明。这种可靠性主要归因于已经为常见问题（如捕获两个粒子、丢失粒子或无法附着 DNA）提供的解决方案。当问题确实出现时，通常是由诸如粒子耗尽或移液管堵塞之类的外部实验因素导致，这些问题需要人工干预。这些问题相对容易解决，但目前仍需人工介入。

展望未来，将重复性工作交给计算机的趋势可能会持续下去。我们所实现的自主协议的广度表明，协议的很大一部分通常可以在其他协议中重复使用，从而大大降低了自动化的门槛。尽管我们的系统是光学镊子，但自主功能的几个构建模块可用于执行其他智能显微镜实验。例如，看似专用于光学镊子的粒子捕获，是通过主动将粒子置于视野中心来实现的。这意味着，无需修改，它就可以用于跟踪单个粒子的路径，并且通过像我们对红细胞那样重新训练 YOLO 网络，它也可以用于跟踪样本中的单个浮游生物或细菌。随着技术的成熟，更多种类的实验将实现自动化。然而，短期内人类不太可能完全脱离这一过程。尤其是在实验初期和设计协议时，手动操作仍然是必要的，之后才能将控制权交给计算机。然而，我们发现自主系统的一些功能，比如粒子的自动对齐和三维实时追踪，在手动测试或执行新方案时也非常有用。因此，这种混合操作模式很可能会成为常态，为研究人员在既定和新颖的实验探索中提供帮助。

参考文献：

SmartTrap: Automated Precision Experiments with Optical Tweezers

Martin Selin, Antonio Ciarlo, Giuseppe Pesce, Lars Bengtsson, Joan Camunas-Soler, Vinoth Sundar Rajan, Fredrik Westerlund, L. Marcus Wilhelmsson, Isabel Pastor, Felix Ritort, Steven B. Smith, Carlos Bustamante, Giovanni Volpe.

May 2025, arXiv:2505.05290.

扫描关注微信公众号，随时了解更新信息！

扫描关注，随时沟通。