【用户成果】基于电容-肌电双模传感器的面部表情识别系统

2025-02-25 17:02:25 157阅读次数

扫码分享

研究背景

面部表情是人类通过面部肌肉的运动和变化来表达情绪、态度和反应的重要表达渠道。面部表情识别涉及使用技术自动检测和分析面部表情的变化，以识别和分类不同的情绪状态。随着计算机视觉和人工智能技术的快速发展，面部表情识别技术取得了重大进展，但仍面临一些挑战。例如，传统的计算机视觉方法侧重于无遮挡的面部区域，这使得面部遮挡成为该技术发展的主要障碍之一；光照变化会直接影响图像质量，进而对表情识别的准确性产生负面影响。

近年来，柔性电子技术发展迅速，基于柔性传感器的人脸表情识别逐渐显示出其独特的优势，特别是在克服传统计算机视觉方法的许多局限性方面。最近的研究推动了面部表情识别技术的发展，但仍存在一些不足，其中主要原因是目前的研究大多依赖于单个传感器信号进行面部表情识别，这可能会导致以下问题：从单个传感器信号中提取的面部表情特征有限，数据量不足，在采集过程中容易受到外部因素的干扰，降低了系统的抗干扰能力。上述问题将导致面部表情识别系统的准确性降低，并影响其整体鲁棒性。此外，为了确保数据的准确性和可靠性，用于面部表情识别的柔性传感器需要适合皮肤以捕获信号，因此生物相容性和抗菌性能对于佩戴者的安全性和舒适性至关重要。鉴于不同类型的传感器信号有其独特的特征，并且对同一面部表情运动的响应不同，迫切需要研究一种结合多个传感器信号进行面部表情分类的方法，以提高面部表情识别系统的准确性，并提供更多的分类特征。

研究成果

为了解决这一问题，山东大学李阳团队创造性地提出了一种融合多传感器信号的方法，采集更多的面部表情分类特征，提高了面部表情识别的准确率。通过使用生物相容性材料制备柔性传感器，并集成多个传感器信号，有望克服单个信号的局限性，提高系统的鲁棒性、识别精度和可穿戴性。该研究以“Machine-Learning Enabled Biocompatible Capacitive-Electromyographic Bimodal Flexible Sensor for Facial Expression Recognition”为题，发表在最新一期《Advanced Functional Materials》上，济南大学硕士郜建强为第一作者，济南大学牛闳森副教授、青岛大学李元岳副教授和山东大学李阳教授为论文共同通讯作者。

图文导读

Fig. 1. Conceptual diagram, representation, and biocompatibility testing of a facial expression recognition system based on flexible sensors

Fig. 2. Capacitive response performance of CEDS

Fig. 3. Electrophysiological Signal Response Performance of CEDS

Fig. 4. Introduction to the Process of Facial Expression Recognition

Fig. 5. Facial expression recognition system based on one-dimensional convolutional neural network

总结：在这项工作中，作者提出了一种电容-肌电双模传感器，结合1D-CNN实现了高精度的面部表情分类。为了提高电容响应性能，巧妙地引入PVDF膜的多孔结构和PVA/BMMICl膜的SK结构，在电极层和介电层之间创建双耦合微观结构；同时，通过掺杂BMMICl，电容式传感器产生了EDL效应，有效地提高了传感器的响应性能。此外，干电极传感器用于电生理信号监测，克服了与水凝胶电极相关的皮肤刺激和失水问题，并显示出更好的长期使用适用性。通过细胞毒性和细菌抑制试验验证了CEDS的良好生物相容性和抗菌性能。最后，作者探索了一种基于离子电效应的疲劳驾驶监测系统、一种基于电生理信号监测的机器人控制系统和一种结合电容和肌电信号的面部表情识别系统，该系统能够实时监测和识别八种面部表情。研究表明，CEDS显著提高了识别精度，展示了其在面部表情监测系统中的巨大潜力，并为智能可穿戴设备和人机交互技术的发展提供了宝贵的见解。

原文链接：

Machine-Learning Enabled Biocompatible Capacitive-Electromyographic Bimodal Flexible Sensor for Facial Expression Recognition

https://onlinelibrary.wiley.com/doi/10.1002/adfm.202418463

参与评论