1.2 图像融合的发展历史与研究现状

20世纪80年代多传感器应用的出现，以及基于金字塔的变换方法的广泛研究，使得图像融合作为获取更高质量图像以进行人类可视化的一种技术开始发展起来。

早期融合的主要目的仅限于人类观察和决策。最早也是最基本的融合形式是像素平均，即所有输入图像的每个像素单独相加，并将它们的平均像素值作为融合结果。这种方法非常粗糙，很大概率会引入伪影，尤其是当仅存在于一幅输入图像中的特征被“叠加”在融合输出上时。在两个输入具有相同显著性但对比度相反的特征的情况下，它还会导致模式消除和对比度降低。

随后基于金字塔分解的图像融合方法开始出现。图像金字塔是多分辨率分析（MRA）的早期形式，包含一组经过过滤和缩放的图像表示。融合是通过从源图像金字塔中选择每个尺度的系数来执行的，然后对结果金字塔进行逆变换得到最终融合图像。金字塔方法首先由Burt等人于1984年提出，他们引入了低通拉普拉斯金字塔进行双目融合。随后许多改进的基于金字塔的研究方案被提出并用于图像融合，包括梯度金字塔等。1988年，Rogers等人首次将融合应用于可见光、热成像和红外图像。到目前为止，金字塔分解方法已在图像融合中得到广泛使用，但是融合图像往往包含块状伪影，尤其在多模态输入存在较大差异的图像区域，并且该融合方法缺乏灵活性，即缺乏各向异性和方向信息。

1993年，Huntsberger等人提出了一种基于小波变换的图像融合方法。1995年，Li等人对其进行改进，使用小波作为多传感器图像融合的替代基函数，它能够凭借其方向性克服基于金字塔分解的缺陷。Chipman等人的另一项融合方案的提出，开启了使用小波变换进行图像融合的趋势。1997年，Rockinger等人提出了一种位移不变的离散小波变换（DWT）方法，该方法放弃了子采样。Chibani等人引入了冗余小波变换（RWT），使用了二元滤波器树的非抽取形式。基于复数的小波变换，即双树复数小波变换（DT-CWT）的发展，克服了先前小波模型的方向和频率选择性差的问题，此外还可以减少过度完备性并轻松实现完美重构。从小波变换派生的分支包括轮廓波、脊波和曲波变换，结合了各向异性和方向敏感性，可以更好地促进对边缘等基本图像特征的分析。

1998年，Sharma等人首次提出基于贝叶斯理论的图像融合。自此，基于统计和模型的融合方法蓬勃发展，在高要求应用中实现了卓越的性能，尽管这通常以更高的计算复杂度为代价。进入21世纪以来，图像融合的相关研究吸引了越来越多学者的关注，相关研究成果也不断涌现，热度持续不下的原因主要有三点。

（1）对开发低成本和高性能成像技术的需求增加。受到技术限制，相比较设计具有更高质量或某些特定特性的传感器，图像融合更加经济且能满足大部分应用的要求。

（2）信号处理与分析理论的发展。例如，近年来提出了稀疏表示和多尺度分解等20多种强大的信号处理工具，为进一步提高图像融合的性能带来了机会。

（3）在不同应用中获得的互补图像的数量和多样性不断增加。例如，在遥感应用中，越来越多的卫星正在获取具有不同空间、光谱和时间分辨率的观测场景的遥感图像。同样地，在医学领域多种成像模式能够提供各种模态的医学影像。

最近十年，机器学习和卷积神经网络（CNN）在计算机视觉领域“大展拳脚”，基于学习的图像融合方法逐渐成为研究主流。这类方法通过海量训练数据集进行学习，得到的融合模型能够做到实时的融合且融合效果突出，已经在多个领域得到了广泛的应用。未来，图像融合依然会是医学、遥感和计算机视觉领域的研究热点。