基于深度学习的遥感图像配准

本文基于2018年发表于期刊 ISPRS Journal of Photogrammetry and Remote Sensing （IF 5.994）上的论文“A deep learning framework for remote sensing image registration [1]”，王爽，权豆，梁雪峰，宁梦丹，郭岩河，焦李成。

1.背景

随着对地观测技术的不断发展与更新，获取遥感图像的传感器也越来越多。为了分析某一场景，我们有时需要把 不同时期的、不同传感器的、甚至于不同视角的 遥感图像融合在一起处理，因此需要 对遥感图像进行配准，将多幅遥感图像进行匹配和叠加。

2.问题描述

传统的基于特征的图像配准方法依赖于人工设计的特征，其中最具代表性的是 SIFT 特征，具有旋转不变性、平移不变性、尺度不变性等特性。但是，由于遥感图像成像机理复杂多样， SIFT 特征的不变性特性在遥感图像中受到影响，导致遥感图像无法精确配准。如图 1 所示，我们从待配准图像中随机选取了 10 对匹配的 SIFT 特征点，箭头指示的方向为特征点的主方向，很明显可以看出这些匹配点的主方向不一致。因此， SIFT 特征不再具有旋转不变性。

图 1

3.方法动机

与一般的自然图像不同，遥感图像的获取方式多种多样，且图像内容难理解、目标特征不明显。人工设计特征的方法在遥感图像中适用范围较窄，无法预知不可控的遥感图像变化，不能提取到具有判别性的特征。

同时，在传统的方法中，特征提取和特征匹配之间没有信息的反馈，使得特征提取算子不能根据待配准的图像进行自适应的调节。因此，我们提出基于深度学习的遥感图像配准，将特征提取和特征匹配统一在一个端到端的框架中，直接学习图像块对到匹配标签的映射函数。

但是，深度神经网络强大的学习能力需要大量有标记的训练样本的支持。由于遥感图像的获取非常昂贵，我们很难得到足够多的训练样本，且手工标记样本的代价较大。因此，我们提出基于自学习的遥感图像配准方法，从待配准的遥感图像中自动获取大量的有标记的训练样本。

4. 方法介绍

本文提出的深度学习框架如图 2 所示。与传统的基于特征的图像配准方法不同，我们将特征提取与特征匹配联合在深度学习框架中，直接学习图像块对与匹配标签之间的关系。网络的输入是两个图像块对，输出为其对应的匹配标签。然后，利用训练好的深度神经网络预测两个待配准图像组成的图像块对的匹配标签。

图2.  本文的方法框架图，主要包括两个部分：深度神经网络的训练和图像配准。首先，基于深度神经网络学习图像块对到匹配标签的映射；然后，利用训练好的神经网络预测待配准图像中图像块对的匹配关系；最后，剔除错误的匹配点对，计算待配准图像之间的变换矩阵，配准图像。

图3.  自学习策略示意图，从待配准的遥感图像和其变换图像中获取大量的匹配和不匹配的训练样本。

为了获取大量有标记的训练样本，我们提出了基于自学习的遥感图像配准方法，学习遥感图像和其变换后图像之间的映射关系。如图 3 所示，从待配准的遥感图像中自动获取大量的有标记的训练样本。

我们以待配准的图像 I ₁ 为例，假设有 K 个变换矩阵，将图像 I ₁ 进行相应的几何变换，可以得到 K 个变换后的图像。在变换后的图像中，与图像 I ₁ 中的特征点对应的点组成匹配点对，不对应的点组成不匹配点对。我们可以看出，不匹配的点对数量远远大于匹配的点对。为了保持数据平衡，我们通过随机采样的方式，使正样本与负样本的数量相等。

基于自学习的方法具有以下优势： 1. 获取大量的训练样本； 2. 已知训练样本的匹配标签； 3. 通过学习不同的几何变换图像，可以学习到具有旋转不变性、平移不变性、尺度不变性的特征。

另外，对于每一对待配准的图像来说，如果都从头开始采用自学习的方法进行训练，时间代价较大。我们提出利用迁移学习的思想，将训练好的网络用于其它遥感图像的配准，可以极大地减小时间代价，且保持很好的配准效果。

由于图像的局部相似性，网络预测的匹配点对存在误匹配现象，我们利用相似性约束和 RANSAC 剔除错误的匹配点对。最后，根据匹配的点对计算待配准图像之间的变换矩阵，配准图像。为了进一步提高配准精度，我们对得到的匹配点对进行精调，将匹配误差较大的点对剔除，其匹配误差来源于匹配点定位的精准度。

5. 实验结果

（ 1 ）配准结果分析

我们基于不同传感器的遥感图像测试了方法的有效性。在 Mexico 图像中，待配准的图像之间存在很大的图像内容变化。在 Brazil 图像中，待配准的图像具有较大的外观变化和几何变换。在黄河入海口图像中，图像内容复杂多样，且几何变换较大。因此，这些遥感图像配准具有非常大的挑战性。

从图 4— 图 6 可以看出，我们方法的视觉配准效果非常好，对不同传感器获取的遥感图像都可以进行精确配准。同时，表 1— 表 3 表明，我们的方法配准误差最小，均可以达到亚像素级的误差。特别是在黄河入海口图像中，现有的方法配准误差非常大甚至无法配准，而我们的方法具有非常明显的优势。

图4. Mexico 图像配准结果（ a ） 2000 年 4 月获取的 Landsat-7 遥感卫星图像（ b ） 2002 年 5 月获取的 Landsat-7 遥感卫星图像（ c ） Mexico 图像配准棋盘图。在待配准的两幅遥感图像中，图像内容发生了很大的变化。

表 1.  Mexico 图像配准定量对比结果

图 5.  Brazil  图像配准结果（ a ） 1994 年 6 月获取的 Landsat Thematic Mapper 图像（ b ） 1995 年 8 月获取的 SPOT 图像（ c ） Brazil 图像配准棋盘图。在待配准的两幅遥感图像中，外观变化和几何变化较大。

表 2. Brazil 图像配准定量对比结果

图 6.  黄河入海口图像配准结果（ a ） 2008 年 6 月获取的 Radarsat-2 遥感图像（ b ） 2009 年 6 月获取的 Radarsat-2 遥感图像（ c ）黄河入海口图像配准棋盘图。在待配准的遥感图像中，图像内容复杂，几何变化较大。

表 3.  黄河入海口图像配准定量对比结果

（ 2 ）特征的可分性分析

我们利用 SVM 度量不同层特征的可分性，结果如表 4 所示。随着网络深度的增加，特征的可分性越来越强。

表 4. 基于 SVM 度量不同层特征的可分性

为了进一步分析深度神经网络的特征，我们选取了激活值大于 0.9 的神经元作为强响应神经元 VSR ，其对应激活该神经元的样本为其支持样本。如果 VSR 的支持样本大多数为正样本，我们认为该 VSR 属于 1-VSR ；如果 VSR 的支持样本大多数为负样本，我们认为该 VSR 属于 0-VSR ；否则，该 VSR 属于共有的 C-VSR 。

在网络的底层，大部分的 VSR 都是 C-VSR ，提取到的特征主要包括边缘、角点、纹理等，其对应的支持样本如图 7 所示。

在网络的高层， VSR 可以学习到图像中特殊的模式，如图 8 所示。同时，网络高层的特征包含类别相关信息，大部分的 VSR 为 1-VSR 或 0-VSR 。如图 9 所示是随机选取的 1-VSR 的支持样本，均为匹配的样本。图 10 是 0-VSR 的支持样本，均为不匹配的样本。

因此，随着网络深度的不断增加，特征的可分性不断增强。神经网络的底层主要学习边缘、角点、纹理等低级特征，网络的高层可以学习到与目标任务相关的高级特征。

图 7. 随机选取的底层 VSR 的支持样本，主要包含丰富的边缘、角点、纹理特征。

图 8. 网络高层中 9 个 VSR 的支持样本，表明高层神经元可以学习到图像的特殊模式。

图 9. 随机选取高层中 1-VSR 对应的支持样本，均为匹配的图像块对。

图 10. 随机选取高层中 0-VSR 对应的支持样本，均为不匹配的图像块对。

6.结束语

本文提出了基于深度学习的遥感图像配准框架，可以直接学习图像块对到匹配标签的映射关系。同时，为了解决遥感图像中的小样本问题，我们提出了自学习的策略，利用待配准的遥感图像和其变换图像产生大量的有标记训练样本。实验结果表明，我们的方法适用范围较广，可以精确配准不同类型的、且具有挑战性的遥感图像。另外，我们详细分析了深度神经网络不同层特征的可分性。实验表明，底层特征的可分性较差，但是可以提取到图像的边缘，角点、纹理等特征；高层特征的可分性较强，可以学习到图像的特殊模式，包含与目标类别相关的信息。