Harbin Institute of Technology
数据融合与遥感图像处理
1遥感数据融合
数据融合是集多个数据源来产生比任何单个数据源更一致、更准确、更有用的信息的过程。数据融合作为一种数据处理方法，其基本思想是综合利用系统各个方面的数据，最大限度地抽取有关对象或环境的有效信息，以达到更准确、更全面地认识观测对象或环境的目的。近年来，数据融合在军事和民用领域都引起了强烈的关注并得到了广泛的应用。数据融合是对多源信息进行处理的理论和方法，可以把不同时间和空间的数据进行综合处理，从而得到对现实环境更精确的描述，从本质上说就是一个算法问题。因此，对数据融合算法的研究便具有十分重要的意义。
数据融合的关键技术主要包括数据转换、数据相关、数据库和融合计算等，其中融合计算是数据融合的核心技术。
遥感是针对远距离目标，通过非直接的接触而测量、描绘及分析目标的技术，其对目标的信息采集主要依赖于电磁波。遥感卫星是在外层空间进行遥感的人造卫星，利用卫星作为平台可以连续地对地球表面某指定区域进行遥感。目前遥感技术已成功应用于军事、地质、地理、农业、林业、水文、气象、环境和海洋等领域。在模拟人类视觉系统的基础上，各种遥感技术将遥感卫星获取的信息转化成可以看到的图像。针对遥感图像的后处理，便是人们认识自然、了解自然、改造自然的重要工具。
根据波长不同而存在的遥感器有：可见光、红外及微波等，不同遥感器获取 的图像特点不同，为了更好的表达某一场景的特点，可将不同遥感器获得的图像进行融合。
随着遥感技术和雷达技术的发展，图像融合的应用也更为广泛，尤其是在军事领域，以多个遥感器获取的图像融合为核心的战场感知技术已成为现代战争中具有影响力的军事高科技。近年来，随着多个遥感卫星的发射，大量的遥感图像获取为更方便及全面地认识自然资源和环境提供了可能，图像融合技术也广泛的应用到民用的各个方法，目前已成功应用于天气预报、自然灾害检测、大地测绘、植被分类、农作物生长势态评估等方面。
2遥感图像融合方法及评价
遥感图像数据一般在三个层次上进行融合，即像素级（特征提取之前）融合、特征级（属性说明之前）融合以及决策级（各种传感器独立说明之后）融合。简单的说，像素级融合就是直接对传感器获取的原始图像的色彩空间或频率空间进行匹配重新生成新的图像，特征级融合就是从原始图像中提取一些事物的特征，对同一事物的不同特征进行融合，从而使得对事物的描述更加全面，决策级融合
-1- 是遥感图像数据融合的最高层次，其结果可直接作为决策要素来做出相应的行为或直接为决策者提供决策参考。融合层次决定了对多源原始图像数据进行何种程度预处理以及在信息处理的哪一层次上进行融合；多源遥感影像数据融合的层次问题，不但涉及到处理方法本身，而且能够影响信息处理系统的体系结构，已成为图像融合研究的重要问题之一。 2.1像素级融合
像素级融合是直接对传感器获取的原始图像或经过配准的图像进行色彩空间或频率空间匹配而形成新的图像。具体就是将遥感图像数据根据某种算法，即像素之间的直接数学运算，如差值、梯度、比值、加权或其他数学运算等，然后对融合的图像进行特征提取和属性说明，从而形成一幅空间信息与光谱信息都相应增强的图像，其主要目的是使图像增强以便进行后续的图像分割或图像分类等其他处理。
像素级融合是直接对原始数据进行处理的，是一种最低层次的融合，因此其对传感器配准的精度要求较高。其优点是保留了尽可能多的图像的原始信息，具有较高精度，能提供单独测量所不具有的细微信，但同时也存在一定的局限性，如所处理的数据量大、抗干扰能力差等、处理的代价高、费时、实时性差。针对传感器原始信息的不确定性、不完全性和不稳定性，要求像素级融合在融合过程中有较高的纠错处理能力，并要求各传感器信息之间配准的精度较高，一般在1个像素之内，故对来自同质传感器的数据进行融合效果较佳。其融合过程如图1所示。
图像1像素级融合效果评价图像2融合结果像素级融合的算法有IHS变换融合算法、主成分分析（PCA融合算法）、brovey影像融合算法、高通滤波融合法（hpf变换法）。
IHS融合方法，以颜色空间变换为基础。将RGB颜色空间中用三原色表示的彩色图像，转换为颜色空间中用亮度（Intensity，I），色度（Hue，H）以及饱和度（Saturation，S）表示的彩色图像，然后用具有更高分空间辨率的全色图像来替换亮度图像I，并进行IHS逆变换回到RGB颜色空间，最终得到分辨率
-2- ...图1 像素级融合过程 增强的彩色图像。在替换之前，需要对全色图像与亮度图像I进行直方图匹配，将匹配后的全色图像记为PanM,则整个融合过程可以表示为:
I131313RG 23v12626v120B212I\'PanM
R\'112\'G112B\'122I\'12v10v21 其中R\'，G\'，B\'表示融合结果图像。需要说明的是，IHS颜色空间变换是一种非线性变换，而作为其中间过程，由RGB图像到IV1V2图像的变换则是一个线性变换，IHS融合方法只需要进行线性变换得到亮度图像即可，没有必要计算色度和饱和度。
主成分分析是离散变换的简称，又称KL变换。IHS融合方法的颜色空间变换可以用事先确定的数值矩阵表示，而PCA融合方法的变换阵则需要根据待融合图像数据的特性来进行计算求取。另外，PCA融合方法不局限于三波段的彩色图像，可以实现更多波段的多光谱图像与全色图像的融合。通过KL变换，由原n个波段的全色图像得到n个波段的成份图像。在变换域内用经过了直方图匹配的全色图像替换多光谱数据集的主成份，然后进行颜色空间逆变换,就得到了空间分辨率增强的多光谱图像。
brovey变换的实质是将通过色彩归一化后的多光谱波段与高分辨率图像乘积来增强图像的信息，又可称之为“色彩标准化一乘积变换”，是一种基于信息特征的融合方法。其算法是将多光谱影像的影像空间分解为色彩和亮度成分并进行计算，这一过程简化了影像转换过程的系数并最大限度地保留多光谱数据的信息。运算时首先进行RGB图像显示的多光谱波段颜色归一化，然后将高分辨率全色影像与多光谱各波段相乘完成融合。它应用最基本的乘积组合算法，通过归一化后的多光谱波段与高分辨率影像乘积来增强影像的信息直接对两类遥感图像进行合成。
高通滤波融合又称hpf变换法，是一种光谱信息丢失较少的方法。是把高分辨率全色图像进行傅立叶变换，从空间域转换到频率域，然后在频率域内对傅立叶图像进行高通滤波，获取图像的高频分量，将高频部分融合到多光谱图像中，以突出高频部分，获取最后的融合图像。这种方法首先采用一个较小的空间高通滤波器对高分辨率影像进行滤波，由于滤波得到的结果不仅保留了与空间信息有关的高频分量，而且滤掉了绝大部分的光谱信息，因此把高通滤波的结果加到各
-3- 光谱影像数据中，经过这种处理就可把高分辨率图像的空间信息同多光谱影像数据的光谱信息进行融合。该方法可对单个或多个波段进行融合操作，方法简单、效果好，是一种应用较广的图像融合法。其融合的表达式如下：
Fk(i,j)Mk(i,j)HPH(i,j)
其中Fk(i，j)表示第k波段像素(i，j)的融合值，Mk(i，j)为低分辨率多光谱图像第k波段像素(i，j)的值，HPH(i，j)为高通滤波后高频图像像素(i，j)的值。此方法的难点是滤波器的设计。 2.2特征级融合
特征级融合是对图像的特征进行融合，具体指将来自不同传感器的原始影像信息进行特征抽取，然后对从传感器获得的多个特征信息进行关联分析处理，将各图像上相同类型的特征进行融合，最后将包含有效信息的特征融合于同一个特征空间，也就是将各个数据源中提取的特征信息进行分类、汇集、综合处理和分析的过程上。
特征级融合属于一种中层融合，其可以分为目标状态信息融合和目标特征融合，目标状态信息融合主要应用于多传感器跟踪领域，而目标特征融合就是特征层联合识别。特征级融合的优点是实现了可观的信息压缩，有利于实时处理，并且提供的特征直接与决策分析相关，所以融合的结果最大限度的提供了决策分析所需要的特征信息；其缺点是比像元级融合精度差。目前大多数融合系统的研究都是在该层次上开展的，其融合过程如图2所示。
图像1特征提取特征级融合效果评价图像2融合结果特征级融合的算法有小波变换的方法、贝叶斯融合法、基于D-S证据理论的融合方法、基于神经网络的融合方法。
小波变换是介于函数空间域和频率域之间的一种表示方法，在空间域和频率域上同时具有良好的局部化性质，可进行局部分析。由于同一地区不同类型的图像，其低频部分差别不大，而高频部分相差很大，通过小波变换对变换区实现分频，在分频基础上进行遥感图像的融合。图像经小波分解后，其频率特性得到有效的分离，其中低频部分反映图像的整体视觉信息，高频成份反映的是影像的细
-4- ...图2 特征级融合 节纹理特征。利用高分辨率图像数据的高频成份和相应的多光谱图像数据的低频成份组合进行小波重建，可得到融合图像。从20世纪90年代开始小波变换就被应用到了图像融合领域，国内外学者经过多年的研究和探索，已经发展了多种多样的小波变换算法，如二进制小波变换、多进制小波变换、多分辨率小波变换、小波包变换等等，并且也多与像素级融合方法进行结合。其中，标准的基于小波变换的多源遥感图像融合过程如图3所示。
多光谱图像重采样小波分解低频部分高分辨率图像配准后的图像高频部分小波逆变换融合图像 图3 基于小波变换的多源遥感图像的融合
其融合步骤包括：（1）对高空间分辨率图像与多光谱图像进行配准；（2）分别对配准的两图像进行n次小波分解，以得到各自相应分辨率的低频轮廓图像和高频细节纹理图像；（3）用低分辨率多光谱图像的低频部分代替高分辨率图像的低频部分；（4）对替换后图像进行小波逆变换，从而得到最终图像。
遥感图像的信息融合方法，如主成分分析、乘积变换、比值变换和基于IHS变换等均存在原有分辨率图像光谱信息的部分丢失问题，而小波变换可以对多个波段的图像信息进行融合，既能充分利用高分辨率图像的空间信息，又能保持低分辨率图像光谱信息的最大完整性，是目前研究的一个热点。
神经网络法是将输入的信息综合处理为一个整体输入函数，并将此函数映射定义为相关单元的映射函数，它通过神经网络与环境的交互作用把环境的统计规律反映到网络本身的结构中来，并对传感器输出的信息进行学习、理解，确定权值的分配完成知识获取以及信息融合等，进而对输入模式作出解释，将输入数据矢量转换成高层逻辑概念。 2.3决策级融合
决策级图像融合是在信息表示的最高层次上进行融合处理。不同类型的传感器观测同一目标获得的数据首先完成预处理、特征提取、识别，建立对所观测目标的初步理论，然后通过相关处理以及决策级融合判决等，最终获得联合推断结果，直接为决策提供依据。基于决策的融合技术分为两类：（1）基于知识的决策技术，包括采用专家系统、神经网络和模糊逻辑等的决策融合；（2）基于识别的决策技术，然而目前这一层次上的融合还不是很成熟。 2.4融合方法评价
同一遥感影像数据运用不同的融合方法或同一融合方法对不同的图像进行融合时其融合效果都会有一定的差异，这是因为每种融合方法都有其优点及局限
-5- 性，这就要求在进行融合之前，应对融合方法进行评价分析，根据需融合图像的特点及应用研究的目的需求采用不同的融合方法。
（1）IHS变换融合方法属于色度空间变换，其变换方法简单，易于实现，与RGB空间各分量相互相关不一样，空间中三分量I、H、S具有相对独立性，可分别对它们进行控制，并且能够准确定量地描述颜色特征，一般来说可以提高结果图像的地物纹理特性，但融合图像灰度值同原多光谱图像有较大差异，亦即光谱特征被扭曲，只能基本上保持多光谱影像的色调，光谱失真较大，这主要因为此方法保留了全色图像的全部空间信息，然而全色图像与强度分量在空间分辨率上存在差异以及光谱响应范围不一致，使两者的相关性低，从而造成较大的光谱畸变。同时此方法要求多光谱图像的波段数必须为3，从而大大降低了当前高光谱、超光谱遥感数据的利用程度，为解决此问题,很多学者将IHS和小波融合两种方法结合起，能明显降低融合结果中的颜色扭曲现象。
（2）主成分分析法，即PCA融合方法：目前在遥感应用领域PCA融合方法主要用于数据压缩，用少数几个主成分代替多波段遥感信息，同时可以使图像增强，在光谱特征空间中提取有显著物理意义的图像信息和监测地表覆盖物的动态变化。因其各波段光谱信息唯一的映射到各分量上，并且其能够同时与多光谱图像的所有波段融合，所以能较好地保持光谱特征且对光谱特征的扭曲小于IHS变换法；然而由于其要对自相关矩阵求特征值和特征向量，计算量非常大，实时性比较差。同时多光谱遥感影像在做主成分分析时，第一主分量信息表达的是原各波段中信息的共同变换部分，其与高分辨率影像中细节变化的含义略有不同，高分辨率影像经过拉伸后虽然与第一主分量具有很高的相似性，但融合后的影像在空间分辨率和光谱分辨率上会有一定的变化；因光谱信息的变化，融合图像不能用于地物识别和反演工作，但是它可以改进目视判读的效果，提高分类制图的精度。
（3）hpf融合法：其原理是先对影像数据进行高通滤波，获得的结果相应于影像的点、线、边缘、脊等特征，然后再将这些特征数据以一定的取舍规则融合至低分辨率的图像，从而使其获得更好的空间分辨率。同时也很好的保留了原多光谱图像的光谱信息，去噪功能也比较明显，没有波段的限制。变换法对光谱特征扭曲小，且有较好的空间分辨率，建筑区，尤其是城市中心地带的纹理信息很清晰，交通和水体的边缘规则且清晰。但由于其滤波器的尺寸大小是一定的，对于不同大小的各类地物类型很难找到一个理想的滤波器，从而会使得在突出高频信息的同时，部分低频信息或某些重要的信息会受到压制，使整体影像的结构比较细碎，在色彩表现上，高通滤波变换的结果一般。
（4）小波变换法的优势在于可以将图像分解到不同的频率域，在不同的频率域运用不同的融合规则,得到融合图像的多分辨分解，从而在融合图像中保留
-6- 原图像在不同频率域的显著特征。融合影像既具有高空间分辨率影像的结构信息，又最大限度地保留了原多光谱影像的亮度与反差，防止影像信息丢失更好地反应了图像的细节特征，对植被、河流、城镇的解译能力有了很大的改善，提高了多光谱影像的分类精度和量测能力；但也存在易产生较为明显的分块效应和损失一定程度的高分辨率图像信息等不足。
参考文献
[1] Yunjun Yao, Shunlin Liang, Xianglan Li, Yuhu Zhang, Jiquan Chen, Kun Jia, Xiaotong Zhang , Estimation of high-resolution terrestrial evapotranspiration from Landsat data using a simple Taylor skill fusion method.Journal of Hydrology.2017 [2] SADIA DIN, AWAIS AHMAD, ANAND PAUL.A Cluster-Based Data Fusion Technique to Analyze Big Data in Wirele Multi-Sensor System.IEEE.2017 [3] Thanuka Wickramarathne.Evidence Updating for Stream-Proceing in Big-Data: Robust Conditioning in Soft and Hard Data Fusion Environments.International Conference on Information Fusion.2017 [4]姚为.像素级和特征级遥感图像融合方法研究与应用.2011 [5]刘帆.基于小波核滤波器和稀疏表示的遥感图像融合.2014 [6]郭文娟.遥感影像数据融合方法及效果评价研究.2010
-7-
