光谱数据预处理方法？

高光谱遥感数据处理系列（一）

地表反射的太阳辐射包含着丰富的信息，从太阳外层大气的吸收到地球大气的吸收，经过与地物的相互作用反射回大气，最 终被传感器捕获。高光谱遥感可以在每个像元获取高分辨率的光谱数据，这些光谱信息提供了一种理解事物的新的维度。下图展示了几种典型地物的光谱。可以看出不同地物展现出显著不同的光谱特征。除此之外，同种地物在不同状态下，也可能在特定波段展现出显著不同的光谱特征。通过比对光谱数据，可以实现对地物区分，状态区分，异常监测等难以通过传统遥感手段实现的应用。高光谱遥感被广泛应用于农林业、矿业、环境、保险、等领域。

太阳辐射与典型地物反射率

通常彩色影像有红绿蓝三个波段，多光谱影像有几到十几个波段，而高光谱影像有着几十到上百个波段。波段的增加除了提高了信息量，还使得数据量成比例增加。这种数据量对计算机的性能提出了较高的要求，更多的是要求对处理者新的思路和方法。在接下来的文章中，我们将详细介绍高光谱数据的处理流程与方法，希望能在此过程中给读者以新的思考。

Hyperspectral light sheet microscopy | Nature Communications

ENVI (The Environment for Visualizing Images) 是美国Exelis Visual Information Solutions 公司的旗舰产品。它是由遥感领域的科学家采用交互式数据语言IDL (Interactive Data Language) 开发的遥感图像处理软件。ENVI已经广泛应用于科研、环境保护、气象、石油矿产勘探、农业、林业、医学、国防&安全、地球科学、公用设施管理、遥感工程、水利、海洋、测绘勘察和城市与区域规划等领域。

双击ENVI图标打开ENVI软件，可以看到ENVI软件的主界面由以下六个部分组成：①菜单栏、②工具栏、③图层管理窗格、④图像显示部分、⑤工具箱、⑥状态栏。

ENVI软件的布局如图所示，首先点击 依次点击①菜单栏->File->Open，在弹出的对话框中选取所需要的文件，

 一般的ENVI文件由两部分组成，文件本体和头文件（.hdr）。文件本体记录了文件的数据信息，而头文件中记录了关于这些数据信息的描述。使用记事本文件可以直接打开hdr文件，可以看到其中包括了：

• 操作记录

• Samples：栅格列数

• Lines：栅格行数

• Bands：波段数

• Header offset：文件开头到实际数据起始位置的偏移量

• File type：文件类型

• Data type：数据存储类型，用数字表示bit位数

• Interleave：存储顺序

• Map Info：图像采用的投影系统参数，坐标系统及单位

• Coordinate System String：详细的坐标系统信息

• Wavelength：每个波段所对应的波长

两个文件应该放在同一目录下面，ENVI在读取时会自动进行关联。

    任选其中一个文件都可以打开该文件，但是ENVI对两个文件的处理方式有所不同。如果选择.hdr文件，ENVI会直接载入显示文件的第 一个波段，如下图所示。使用鼠标滚轮可以对图像进行缩放操作，使用②工具栏中的工具可以对图像进行拖动缩放等一系列操作。加载成功的图像会显示在③图层管理区，通过点击图像前面的勾选框来控制图像在④图像显示区的显示与否。

使用如果打开文件本体，ENVI会弹出Data Manager窗口

 该窗口包含三个部分，分别是①波段信息、②文件信息、③RGB波段选取。①中展示了所有波段的名称，②中是经过处理后的头文件信息，③是进行RGB合成的波段选取，点击三种颜色的方框后，在①中单击选择波段，选择完成后点击Load Data。如果只想要显示一个波段的灰度影响可以在①中选中目标波段后直接点击Load Greyscale。

RGB 合成象素值的彩色图，就是将三个波段的数据分别通过红、绿、蓝三个通道加载，然后进行渲染。

将多波段影像数据添加到地图中之后，可使用多波段栅格数据集中的任意三个可用波段的组合来创建 RGB 合成图。与仅处理一个波段相比，通过将多个波段共同显示为RGB 合成图通常可从数据集收集到更多信息。

来源：简书

    通常我们选取650nm、550nm和450nm分别赋给RGB通道进行合成以获得最 佳的显示效果。显示效果如下图：

在②工具栏中选择按钮，ENVI会在图上显示框标，并弹出光谱特征（Spectral Profile)窗口。光谱特征窗口中显示了框标中心白点所在像元的光谱曲线。如下图所示：

点击光谱特征窗口中的    ，可以对光谱曲线进行一些操作，如平滑，计算NDVI，显示RGB波段所在位置等：

小结

    本文介绍了高光谱影像的基本原理以及简单的读取及可视化操作。使用ENVI软件可以实现大部分简单的高光谱数据处理。在接下来的教程中，我们将从植被指数提取、高光谱滤波、非监督分类与监督分类等方面介绍ENVI软件的使用。除此以外，我们还将介绍基于Python的高光谱处理，从编程角度介绍高光谱相关知识，以及高光谱数据与大数据处理的结合。

参考：

【1】百度百科

【2】 www.jianshu.com/p/d0765ee89b86

高光谱遥感数据处理系列（二）

反射率与植被指数

来自地物反射/发射的光通过镜头被相机捕获，使得传感器被曝光。由于光电效应，传感器上的每个像素传感器上的电荷开始累计。经过相机芯片的转换，这些光信号以数字的形式存储下来，这些数字被称为DN值。

辐射亮度 （Radiance），简称辐亮度 ， 指面辐射源在单位立体角 、 单位时间内 ， 在某一垂直于辐射方向单位面积 （法向面积） 上辐射出的辐射能量 ， 即辐射源在单位投影面积上 、 单位立体角内的辐射通量 。辐亮度是最常用的度量光强弱的物理量之一。辐亮度可以进一步用于反射率的计算。

DN值可以看作由辐亮度与相机属性主导的变量。去除DN值中由于相机属性引起的变化，将其转化为辐亮度的过程称为辐射定标。通常该过程由相机厂商进行处理，或者厂商会提供用于定标的关键参数。

物体反射的辐射能量占总辐射能量的百分比，称为反射率。不同物体的反射率也不同，这主要取决于物体本身的性质(表面状况），以及入射电磁波的波长和入射角度，反射率的大小范围总是小于等于1，利用反射率可以判断物体的性质。

在使用无人机进行实际观测时，通常使用地物辐亮度除以白板或反射布所在像元的辐亮度作为反射率。

从空间量化植被覆盖、生物化学、结构和功能是研究和理解全 球变化、生物多样性和农业的关键。实际上，遥感在很大程度上依赖于使用源自光谱反射率的植被指数 (Vegetation Indices, VI)。VI 是几个波段反射率的数学变换，旨在最 大限度地提高对特定生物物理现象（例如，绿度、含水量或光合作用活动）的敏感性，同时最 大限度地降低对土壤特性、太阳光照、大气条件和传感器观察等因素的敏感性。

典型植物的反射光谱。

植物光谱最显著的特这就是红光范围的强吸收与近红外区域的强反射，两个波段之间的快速上升波段称为红边。

红光波段的强吸收是由于植被叶绿素的吸收，而近红外波段的强反射是由于植被的叶片结构导致的。

通过两个波段进行差分或比值可以凸显出植被在这两个波段的反射特性的差别。同时，差分或比值运算可以去除两个波段中包含的背景信号及噪声。

不同的波段或组合形式侧重展现了不同的植被特性。植被指数是对地表植被状况的简单、有效和经验的度量。目前已经出现了上百种不同的植被指数。ENVI中包含了其中7类 27种植被指数。

主界面功能区

在主界面⑤工具箱中搜索栏中可以方便地对所有工具进行检索，输入 Vegetaton Indices Parameters ，打开该工具如下所示：

鼠标单击所需要的植被指数，然后点击 Choose 选择文件的存储位置。此外ENVI还提供了将数据存储到内存的选项 Memeory，但是这些数据在ENVI关闭后会被删除。所以选择存储到内存时，ENVI会弹出二次确认对话框，继续选中Memeory确认即可。

ENVI的帮助文件中详细展示了各种植被指数的公式及参考文献。在菜单栏 Help 中打开-> 在左侧 Contents 选项卡中的Vegetation Analysis。关于植被指数的发展和使用场景还可以参考 Xue J, Su B. Significant remote sensing vegetation indices: A review of developments and applications[J]. Journal of sensors, 2017.

在获取植被指数后，可以利用这些指数进行地表参数估算或者进一步进行实际应用，ENVI中提供了几种植被指数的实际应用工具，包括林木健康分析（Forest Health Vegetation Analysis）、农作物胁迫（Agricultural Stress Vegetation Analysis）、易燃性分布分析（Fire Fuel Vegetation analysis），以及植被抑 制（Vegetation Suppression）。

这些应用工具结合几类不同植被指数对植被进行评估，以林木健康分析为例，首先在主界面⑤中搜索栏中输入 Forest Health Vegetation Analysis ，双击打开林木健康分析工具：

该工具通过三类不同的植被指数：绿度指数，叶色素指数，冠层水分或光能利用率指数。ENVI内置了模型进行阈值筛选，综合分析多种指数，将植被的健康状况分为9种。

波段运算

如果需要使用内置植被指数以外的指数进行运算，可以使用ENVI中的Band Math工具。这里分别对窄波段和宽波段植被指数的计算进行介绍。

窄波段归一化植被指数：

首先在主界面⑤中搜索栏中输入 Band Math，双击打开波段运算工具：

在Band Math中输入所需要的表达式，这里需要注意的是，ENVI默认用b1，b2...来表示不同的变量，比如这里我们用到了两个波段680nm和800nm，分别用变量b1和b2来表示。在Enter an expression中输入(b2-b1)/(b2+b1)，点击ok，会弹出变量与实际使用波段的匹配对话框。

首先在①中单击选择需要赋值的变量，接下来在②中选择所对应的波段（如果不同波段是分开存储的，选择Map Variable to Input File可以将整个文件赋给某个变量）。在有所变量选择完毕后，点击OK。结果如下图所示：

宽波段NDVI：

通常机载成像光谱仪的光谱分辨率可以达到亚纳米/纳米级。而常用的卫星数据如Landsat系列和MODIS产品的光谱分辨率较宽，针对这些卫星遥感产品开发的植被指数基本都是宽波段植被指数。为了使用机载成像光谱仪进行宽波段植被指数的计算需要先对波段进行聚合，这里我们以Landsat系列的宽波段为例进行手动宽波段NDVI计算（Vegetaton Indices Parameters中也提供了一些宽波段VI的计算，这里另外介绍手动波段聚合的操作方法）。

Landsat 9 的传感器如下所示：

• Band 1 Visible (0.43 - 0.45 µm) 30-m.

• Band 2 Visible (0.450 - 0.51 µm) 30-m.

• Band 3 Visible (0.53 - 0.59 µm) 30-m.

• Band 4 Red (0.64 - 0.67 µm) 30-m.

• Band 5 Near-Infrared (0.85 - 0.88 µm) 30-m.

在⑤工具箱中搜索栏中Sum Data Parameters,打开波段聚合工具。

在①中选择输入文件，然后点击 Spectral Subset ，在弹出的波段选择窗格中，对要进行聚合的波段进行选取（按住Shift进行连续多选，按住Ctrl进行多选）。

点击OK进行确认。

Sum Data Parameters 提供了多种波段聚合函数，这里选择Mean函数进行聚合。依次对几个波段进行聚合后的，我们得到以下文件。

接下来可以用Band Math进行宽波段NDVI的计算，计算方法同上。

小结

自遥感领域出现以来，植被指数扮演着重要的角色，并且一直在发展完善。本文介绍了反射率和植被指数的概念，植被指数的原理，使用ENVI进行植被指数计算，以及手动窄/宽波段植被指数的计算。了解其背后的植物生理学知识，是正确使用这些指数的必要条件。

  土壤质量直接影响其有机体的健康。然而，土壤容易受到人类活动的干扰，如采矿、工业化和农业活动，导致严重的土壤污染。在各种土壤污染中，有毒元素会对人类和家畜健康以及食品安全造成威胁。因此，监测这些污染类型的浓度和分布对于土壤修复项目至关重要。然而，传统采样和实验室分析方法成本高、费事费力且局限于采样点位置，不能很好地具体化浓度的空间分布。因此，需要具有高空间效应的快速有效的技术。许多研究已经利用图像光谱和其它辅助数据或环境变量来预测有毒元素的分布。而由于卫星图像中云或阴影的存在，土壤采样和图像获取日期存在差距，这种情况下，需要用到具有不同光谱和空间特征图像的融合，以增加图像的时间分辨率。Sentinel-2A是“全 球环境与安全 监测”计划的第二颗卫星，其携带一枚多光谱成像仪，可覆盖13个光谱波段，从可见光和近红外到短波红外，具有不同的空间分辨率。Landsat 8是美国陆地卫星计划的第八颗卫星，其携带的陆地成像仪包括9个波段，空间分辨率为30 m。两者的协同应用将改进对地球表面的及时和准确观测，以及遥感不同学科的使用。

基于此，在本研究中，来自捷克生命科学大学的研究团队于2015年8月12日在Sarcheshmeh矿山采集了120个土壤样品，在实验室进行化学（As、Pb、Zn和Cr）和光谱测量（ASD Fieldspec 3地物光谱仪）。并于2015年8月13日获取Landsat 8-OLI图像，2016年1月20日获取Sentinel-2A图像。旨在探索Landsat 8-OLI和Sentinel-2A单个图像及其相融合量化As、Pb、Zn和Cr的潜力。为了达到融合目的，作者采用了不同的融合技术，即HSV色彩模型、Brovey、主成分分析（PCA）、Gram-Schmidt (GS)、小波和ATPRK。同时，采用遗传算法（GA）选取实验室光谱中所需的重要波长，以建立偏最 小二乘回归（PLSR）预测模型，以评估所选变量对最 终模型性能的影响。

【结果】

利用全部光谱（PLSR）和选定波长（GA-PLSR）建立的有毒元素预测模型的性能。（验证数据集）

整合了Landsat 8-OLI和Sentinel-2A波段的融合方法的定量评估

将GA-PLSR应用在图像像素光谱中建立的有毒元素预测模型的性能

【结论】

  研究结果表明，与单个Landsat 8-OLI和Sentinel-2A图像的像素光谱相比，其融合产物的像素光谱与实验室实测样品的反射响应高度一致，尤其是在VNIR区。单因素方差方法也在实验室光谱和融合图像像素光谱之间产生了更相似的波长。对于单个Landsat 8-OLI和Sentinel-2A图像，GA-PLSR模型在Sentinel-2A数据上性能较好，而Landsat8-OLI对As的预测结果更好。与其它融合技术相比，将GA-PLSR模型应用在ATPRK融合的图像中可以产生更准确的预测结果。总之，该研究表明，Landsat 8-OLI和Sentinel-2A图像相融合可以提高土壤有毒元素预测模型的性能。

随着人类活动的增加，塑料垃圾在我们的日常生活中越来越常见。塑料污染对环境和生态造成了严重的影响，对人类的健康也有潜在的威胁。在这个背景下，如何高效地探测和处理塑料垃圾成为了全 球环保领域的重要研究课题。

传统的塑料垃圾控制方案难以完全根除塑料垃圾的影响。近年来，新的探测方式已经成为塑料垃圾问题的热门解决方案。其中，遥感探测技术日益成为新的研究方向，今天我们来了解一篇相关论文，希望能够增强人们对光谱技术在塑料垃圾探测和处理中的认识和了解，同时也提高大家对环保问题的意识和重视。

ASD Fieldspec 4 光谱仪

在塑料污染探测方面的应用

近年来，人们将重 点放在利用卫星、飞机和无人机的光学传感器等遥感技术探测塑料垃圾。随着对这些技术需求的不断增加，至关重要的是，不仅要了解原始塑料的诊断光谱特性，而且要了解代表各种环境塑料的风化和生物污染塑料的诊断光谱特性。目前，干塑料的光谱反射率已知，并已经应用于材料回收领域，但其仅限于干塑料测量的评估项目。为了能够识别河流、港口和海洋等水生环境中的塑料垃圾，需要获取塑料潮湿时或被淹没时的光谱特征。此外，其他水成分，如沉积物或藻类，也可能会进一步影响塑料物品的反射信号。迄今为止，只有有限数量的高质量数据集被发布在开放获取的存储库中，数据集中包括潮湿塑料垃圾和水中塑料垃圾的高光谱测量。由于环境中的塑料在聚合物类型、颜色、透明度、厚度、状态(原始的、生物污染的、风化的、皱褶的)和湿度(干燥的、潮湿的、浸没的)方面非常多样化，因此在科学界内构建能代表塑料在许多不同方面的可靠数据集至关重要。

基于此，在本研究中，由比利时奥斯坦德法兰德斯海洋研究所、比利时根特大学水生生态学研究小组、佛兰德技术研究所(VITO)、比利时布鲁塞尔自然与森林水产管理研究所、研究基金会-佛兰德斯(FWO)，比利时布鲁塞尔组成的一组研究团队收集了安特卫普港码头和特姆斯桥附近谢尔特河自然条件下的原始、风化和生物污染的塑料制品和塑料碎片样品，同时选择纯原始塑料聚合物，进行塑料样品人工风化模拟、生物污染模拟，利用ASD FieldSpec 4地物光谱仪规范测量由不同聚合物组成的塑料样品的干燥光谱反射率、潮湿和水下环境中（人工模拟环境）的光谱反射率，提出了一个利用ASD FieldSpec 4地物光谱仪获得的宏观塑性样品的高光谱反射率数据集。

在人工风化实验中使用的紫外线室的参数

在原始塑料标本上进行诱导生物膜生长实验的水族馆装置

实验装置：(a)实验室设置(b)筒仓罐设置

 结果

光谱（b）显示低均匀场样品的伪重复，光谱(c)是所有伪重复的均值

聚合物概述及研究期间进行的处理

结论  

本研究创建了一个数据集，其中包含10种塑料聚合物的光谱数据，这些聚合物经过了人工风化和人工生物污染处理，以及现场采集的塑料样品光谱数据。采集到的光谱可以作为未来遥感塑料检测技术的参考，有助于通过光谱分析了解塑性检测的复杂性。并不是所有可能的场景都可以以实验的方式进行测量，因此该数据集可以进一步用于比较和补充数值模拟。本文中所描述的数据集旨在通过增加关于原始塑料样品、人工风化和被生物污染的塑料样品的高光谱反射率的新信息，来补充现有的数据集。此外，该数据集提出了在各种水浊度条件下获得的塑料光学特征，通过在选定浓度的水中添加沉积物或藻类而获得。

总之，遥感技术可用于海洋塑料污染的探测、观察和监测。然而，由于缺乏对环境塑料光学特征的了解，在设计适合检测塑料污染的算法方面就可以迈出一小步。所提出的高光谱数据集是在了解塑料碎片暴露于自然介质(如紫外线辐射或生物污染)时的光学特征方面向前迈进了一步。此外，根据所提供的数据，可以研究生物污染和风化对不同聚合物的影响。最 后，在本数据集中还描述和评估了塑料聚合物的条件(即干燥、潮湿或浸没在不同浊度下)。因此，本研究预计该数据集将有助于光谱波段的释义，并协助开发用于在(半)操作环境中观察、监测和识别塑料的算法。