近红外光谱预处理方法通常怎么选？

近红外光谱(Near-Infrared Spectroscopy, NIRS)是一种应用十分广泛的快速分析技术，近年来能在各行各业受到一致认可，离不开光谱数据处理和建模优化的加持。我们知道近红外原始光谱中往往包含噪声、基线漂移和其他干扰因素，我们不能让这些干扰影响了数据的准确性和可靠性，从而影响近红外检测的效率和效果。对近红外光谱数据进行预处理，是数据处理的重要环节，那么近红外常用的光谱数据预处理方法有哪些呢？这么多方法该选用哪个呢？下面我们就来展开说说。

平滑处理主要用于降低光谱数据中的高频随机噪声。不同的平滑算法简单来说都是是通过对相邻数据点进行加权平均来减少随机误差，在平滑的同时还需要保持信号的峰值和形状特征。有人说平滑处理就像用一张细腻的砂纸，轻轻地打磨掉数据表面那些微小的不规则波动，例如当仪器本身存在轻微的抖动或者环境中有微小干扰时，原始光谱上就会形成一些细微的波动，平滑处理能够在不破坏数据整体特征的前提下，让这些小瑕疵消失不见，如下图所示。

常用的平滑方法包括：

移动平均平滑，对窗口内的数据取平均值，原理算法简单，但可能导致峰形变宽；

加权移动平均平滑，赋予窗口内不同数据点不同的权重，中心点权重通常较高；

Savitzky-golay (SG)平滑，基于局部多项式最小二乘拟合的滤波方法，通过在移动窗口内拟合一个多项式并使用该多项式的值来代替中心点的值，从而达到平滑的效果；

局部加权回归散点平滑，对每个数据点进行局部加权回归，在处理非线性趋势时更灵活。对于信噪比较低的光谱，更更大的平滑窗口可能更有效，但要小心过度平滑导致信号失真。 

标准化是将数据转换为具有零均值和单位方差的形式，而归一化则是将数据缩放到特定的范围（如0到1）。这两种方法都可以消除不同变量之间的量纲差异，提高模型的稳定性和预测性能。在近红外光谱数据中，不同样本的数据范围可能差异很大，归一化可以将这些数据调整到一个统一的尺度上，避免因为数据范围的差异而导致分析结果的偏差，以改善后续建模的效果。

去趋势一般用于消除光谱数据中的基线漂移，可能来自于仪器响应变化、样品散射特性变化或其他因素。常用的去趋势方法有：

多项式拟合去趋势，用一个多顶式函数来拟合光谱的基线，然后从原始光谱中减去该多项式，从而消除基线漂移；

一阶导数和二阶导数，可以有效地消除基线平移和斜率变化，一阶导数消除常数基线漂移，二阶导数消除线性基线漂移；

小波变换去噪，小波变换分解信号为不同频率成分，去除噪声，重构信号。

简单的线性基线漂移，多项式拟合或一阶导数即可，更复杂的基线漂移，用二阶导数或小波变换可能更有效。

散射校正用于消除由于颗粒大小、样品表面不均匀性和光程变化引起的光谱散射效应，通过假设每个样本的光谱都与某个“理想”光谱成线性关系来进行校正。常用的散射校正方法有：

多元散射校正（MSC），通过将每个光谱与“理想”光谱 (通常是所有光谱的平均值)进行比较来校正散射效应；

标准正态变量变换（SNV），对每个光谱进行标准化，使其均值为0，标准差为1；

稳健正态变量变换（RNV），使用中位数和绝对中位差来代替均值和标准差，对异常值更稳健。

MSC 和 SNV 是最常用的散射校正方法，MSC更适合于校正乘性散射效应，SNV更适合于校正加性散射效应。RNV 对异常值的存在不敏感。 

还有很多预处理方法，如正交信号校正、连续小波变换、经验模态分解、空域滤波等等，在实际应用中，根据不同的研究目的和数据特点，选择适合的一种预处理方法或者多种方法组合。将不同的预处理方法组合起来，就像是组建一支X战队，每个队员都有自己的特长，在一起能发挥出更强大的力量。 

建模时选择合适的光谱预处理方法，需要对近红外光谱技术有深入的理解和丰富的实践经验，这使许多用户感到烦恼，而我们的近红外建模软件有全面的自动优化功能，可以根据建模效果为用户推荐最优的预处理方法、光谱范围和因子数组合，是不是顿时感觉到眼前一亮呢？

无论数据的世界多么复杂，我们一直在这里，等着你！

微信号 : 苏州斌智科技有限公司

扫码关注我们