欢迎访问《安徽农学通报》官方网站,今天是
农业信息·农业气象

遥感影像自动配准技术及其在农业领域的应用

  • 张亮霞 ,
  • 谢丽萍 ,
  • 刘瑞龙 ,
  • 夏妍
展开
  • 湖北省水利水电规划勘测设计院有限公司,湖北 武汉 430070

张亮霞(1980—),女,甘肃会宁人,高级工程师,从事水土保持工程设计工作。

Copy editor: 何艳

收稿日期: 2024-09-19

  网络出版日期: 2025-06-03

Automatic registration technology of remote sensing images and its applications in agriculture

  • ZHANG Liangxia ,
  • XIE Liping ,
  • LIU Ruilong ,
  • XIA Yan
Expand
  • Hubei Institute of Water Resources Survey and Design Co. , Ltd. , Wuhan 430070, China

Received date: 2024-09-19

  Online published: 2025-06-03

摘要

遥感影像自动配准技术是实现多源影像协同分析的关键基础,其通过建立空间映射关系解决影像间几何不一致的问题,为地表信息定量化处理提供支撑。本文总结了基于灰度和基于特征两种配准技术及其相关改进研究,列举介绍了自动配准技术在农业领域的应用,并对遥感影像配准技术进行了展望。当前主流的自动配准方法分为基于灰度和基于特征两类:前者通过优化相似性度量(如互相关系数、互信息)及改进参数求解算法(如蚁群算法、粒子群-Powell混合策略)提升配准精度与效率,但对大尺度变形及数据冗余问题仍存在局限性;后者通过提取并匹配几何特征(如SIFT、SURF及改进算子)实现高效配准,但存在误差累积、局部形变适应不足等缺陷。近年来,深度学习技术通过端到端特征学习与匹配优化,显著提升了配准鲁棒性,例如结合卷积神经网络的光流场校正和自监督学习方法。在农业领域应用方面,基于特征的改进算法(如SNS算法、自适应角点检测及双特征混合模型)成功应用于柑橘种植、水稻监测及丘陵耕地影像配准,提升了配准效率与精度。未来研究需进一步解决复杂地形导致的局部畸变、训练数据不足及非欧结构特征提取等难题,同时深化深度学习与多模态优化算法的融合应用,以推动遥感影像配准技术向更高精度与智能化发展。

本文引用格式

张亮霞 , 谢丽萍 , 刘瑞龙 , 夏妍 . 遥感影像自动配准技术及其在农业领域的应用[J]. 安徽农学通报, 2025 , 31(10) : 109 -113 . DOI: 10.16377/j.cnki.issn1007-7731.2025.10.025

Abstract

Automatic registration technology for remote sensing image is a critical foundation for multi-source image collaborative analysis. By establishing spatial mapping relationships, it addresses geometric inconsistencies between images and supports quantitative processing of surface information. This paper summarizes two mainstream registration technologies (gray-based and feature-based methods) and their related improvements, introduces applications of automatic registration in agriculture, and provides prospects for future development. Currently, gray-based methods enhance registration accuracy and efficiency by optimizing similarity metrics (e.g., cross-correlation, mutual information) and improving parameter-solving algorithms (e.g., ant colony optimization, particle swarm-Powell hybrid strategies). However, limitations persist in handling large-scale deformations and data redundancy. Feature-based methods achieve efficient registration through geometric feature extraction and matching (e.g., SIFT, SURF, and their variants), yet face challenges such as error accumulation and insufficient adaptation to local distortions. Recent advancements in deep learning, including end-to-end feature learning, convolutional neural network-based optical flow correction, and self-supervised methods, have significantly improved registration robustness. In agricultural applications, feature-based enhanced algorithms (e.g., SNS algorithm, adaptive corner detection, and dual-feature hybrid models) have been successfully applied to citrus plantation monitoring, rice growth assessment, and hilly farmland image registration, achieving efficiency gains and high precision. Future research should focus on addressing challenges such as local distortions caused by complex terrains, insufficient training data, and non-Euclidean structural feature extraction, while advancing the integration of deep learning with multimodal optimization algorithms to drive remote sensing image registration technology toward higher precision and intelligent development.

作为重要的空间信息载体,遥感影像在土地利用、灾害防控、环境监测等领域起着关键作用。在实际应用过程中,通常需要对多景遥感影像进行协同分析,而影像配准是此过程中的关键。在遥感领域,影像配准过程是将不具备地理坐标信息或地理坐标信息不准确的卫星影像与具有准确地理坐标信息的影像建立空间映射关系,确保图像中代表同一位置的对应区域能够映射到相同坐标[1]。影像配准是进行地表信息定量处理与分析的基础。然而,随着相关领域研究对数据精度要求的不断提高,常规的配准算法暴露出诸多不足,例如人工选择控制点过程耗时耗力、配准精度不高等。因此,开发具有高精度、高效率、高鲁棒性的自动配准算法具有重要的现实意义。
当前研究领域,自动配准算法可分为两类:基于灰度的配准方法和基于特征的配准方法[2]。前者利用预先建立的转换模型,根据影像灰度、相位等信息计算影像间的相似性,随后通过一定的优化策略对转换模型参数进行调整,使最初计算的相似性指标达到最优值,最终实现影像的高精度配准[3]。后者则首先进行影像点、线、 面等几何特征的提取并匹配,利用几何特征的空间对应关系来计算转换模型的参数。基于灰度的配准方法通过相似性测度,建立图像灰度值等信息与转换模型之间的直接映射关系,从而实现配准过程的简化。此外,该方法不存在误差累积问题,且能够保留原始影像的细节信息。然而,该方法存在两个明显的缺陷:一是配准精度极大依赖相似性测度,当影像存在明显变形或图像灰度值差异较大时,该方法实现的配准精度不高;二是配准效率低、内存消耗大,遥感影像空间范围大,利用该方法不仅会引发信息冗余问题,还会占用大量内存资源,导致处理时间增加[4]。基于特征的配准方法利用影像中稀疏且显著的空间几何特征对原始灰度影像进行抽象表达,有效克服了信息冗余问题。然而,该方法亦存在一定局限性:作为一种多阶段配准模型,前一阶段的误差会直接影响后续阶段的配准精度;由于遥感影像不同区域的几何形变通常不一致,采用仿射变换等全局或局部转换模型难以精确配准所有像元;在特征不显著的区域,配准精度较低[5]
影像自动配准常规算法存在适用性不佳以及难以充分利用图像深层语义信息等问题。近年来,自动配准技术的优化已成为关注的焦点。当前研究主要集中在算法优化和基于深度学习的改进上。本文介绍了基于灰度和基于特征的两种配准技术,总结了近年来对其方法的相关改进研究,列举介绍了自动配准技术在农业领域的应用,并对遥感影像配准技术进行展望。

1 遥感影像自动配准技术

1.1 基于灰度的配准方法

针对基于灰度的影像配准方法改进,主要聚焦相似性度量指标的优化以及最优配准参数的求解。

1.1.1 基于相似性度量的改进

常规方法中常用的相似性测度包括互相关系数(Cross correlation,CC)和互信息(Mutual information,MI)等。Liang等[6]通过引入相位信息,提出样本矩阵求逆(Sample matrix inversion,SMI)方法,实现相似性度量指标的优化。即对相位信息进行空间一致性度量,计算其近全局最优解,并修正MI的偏差,以提高遥感影像局部几何差异的鲁棒性。Haskins等[7]提出了一种带有跳跃连接的卷积神经网络模型,用于学习超声图像和磁共振图像之间的配准误差(Target registration error,TRE),并将其作为配准图像的相似性度量指标。该方法将配准误差从16 mm降至3.6 mm,实现了更高精度的配准。

1.1.2 基于最优配准参数的改进

基于灰度的配准方法中,求解最优配准参数是另一项关键步骤,对此已有众多改进策略被提出。求解最优参数本质上是寻求影像配准过程中相似性度量的极值。目前,应用于遥感影像的主要方法包括模拟退火算法、蚁群算法、粒子群优化算法、神经网络法等。Wu等[8]提出了一种多模态连续蚁群优化方法,并用此方法求解了MI和差分总变差(DTV)的极值,表明该算法相较于差分进化算法和粒子群算法具有优势,有效改善了多源遥感影像配准时后两种算法导致的局部最优问题。Zhuang等[9]将粒子群算法与Powell优化方法相结合,改进了粒子群算法后期搜索性能不佳的缺陷。该方法先使用粒子群算法得到接近全局极值的参数,然后将其作为Powell优化方法的初始值以求解更精准的结果。该方法对红外和可见光波段的遥感影像配准展现出良好的性能。

1.2 基于特征的配准方法

基于灰度的影像配准方法耗时长,对于较大旋转和尺度变化的鲁棒性较差,不适用于数据量庞大的遥感影像配准,而更适用于医学影像等的配准。基于特征的配准方法在计算复杂度上更为优化,对于大数据量的处理表现出更高的鲁棒性[10]。基于特征的配准方法一般包括特征提取、描述、匹配及计算变换模型4个主要步骤。当前的研究工作主要集中于前3个步骤的优化,以提高配准的速度和精确度。

1.2.1 基于特征提取的改进

在遥感影像中,特征点的提取依赖于算子,常见的特征点提取算子有Harris算子、SUSAN(Smallest univalue segment assimilating nucleus)算子、SIFT(Scale-invariant feature transform)算子等。Harris算子由Harris等[11]提出,其原理在于模拟人眼对角点的检测机制,通过滑动窗口检测窗口中像素值的变化,以此判断窗口内是否存在角点。Smith等[12]提出的SUSAN算子则通过设置圆形窗口并计算窗口中圆心与周围像素值的差异来识别角点,再通过设定阈值筛选角点。与前述方法不同,Lowe[13]提出的SIFT算子通过构建高斯差分金字塔,在尺度差分空间中计算极值来定位特征点,该算子因其对尺度和旋转的不变性而得到广泛应用。针对Harris算子缺乏尺度不变性的局限,尚明姝等[14]构建基于高斯核函数的多尺度空间,再利用 Harris算子提取特征点,从而赋予特征点尺度不变性。Barroso-Laguna等[15]提出的KeyNet算法是一种基于神经网络对Harris算子进行优化的算法。KeyNet算法结合Harris的角点特征与 CNN(Convolutional neural networks)深层特征,生成并融合不同尺度影像的评分,选取评分最高点作为特征点,以增强特征点提取鲁棒性。针对SIFT算子配准过程中出现的大量冗余匹配问题,石正一[1]通过引入尺度因子加权约束,提高了配准精度,有效减少了特征点提取过程中的冗余匹配。

1.2.2 基于特征描述的改进

特征描述是指对特征点构建一个唯一的、可区分的标识符号,该符号以向量的形式呈现,是特征匹配的基础。Bay等[16]提出的加速鲁棒特征(Speeded-up robust features,SURF)方法,融合了小波变换技术,并利用积分来构建标识符,提高了其构建速度。石正一[1]对标识符进行Hellinger变换,提升了标识符的匹配性能。Sedaghat等[17]提出了一种基于扩展自相似性度量的标识符,该方法通过计算每个点在不同方向上的自相似值来构建标识符。与二维直方图不同,该标识的构建基于三维直方图,有效提升了遥感图像匹配对于光照变化的鲁棒性。MatchNet模型是Han等[18]提出的一种基于深度学习优化的特征符构建模型,该模型由提取特征的深度卷积网络和包含3个全连接层的网络构成,其通过提取特征之间的相似性构建特征的标识符。

1.2.3 基于特征匹配的改进

特征匹配旨在建立参考影像与待配准影像的特征映射关系,当两个特征标识符的距离小于某一阈值时可形成匹配对。常见的特征匹配有基于欧氏距离和基于角度距离的匹配,其中SIFT算子的特征匹配利用了欧氏距离。针对SIFT算子搜索距离时耗时长的问题,石正一[1]将近似最邻近方法与随机k-d树(k-dimensional tree)森林相结合,构建了待匹配特征向量集的索引结构,有效提升了匹配效率。Guo等[19]提出了一种基于边缘点特征角度匹配的图像自动快速配准方法。该方法通过提取边缘特征,并使用特征向量之间最小角度与第二小角度的比率来确定特征匹配,从而提高了配准精度。与常规配准过程不同,基于深度学习的改进将特征的提取和匹配两个过程进行融合,对参考影像和待配准影像的补丁进行端对端的配对,然后直接学习这些补丁对与其匹配标签之间的映射。Li等[20]利用神经网络学习特征匹配过程,结果表明,基于深度学习的优化方法可将配准精度提高2.4%~53.7%。线性自适应滤波(Linear adaptive filtering,LAF)是 Jiang等[21]提出的一种可以纠正误匹配点的特征匹配方法。该方法将基于标识符的匹配视为预匹配,随后基于空间一致性以及滤波去噪理论,利用迭代方式去除预匹配中的异常值,从而提高特征匹配的精确度。

2 遥感影像自动配准技术在农业领域的应用

高分辨率的遥感影像是农业应用的基础,其精准配准是进行后续影像处理的前提,也是实现精准农情监测与评价的重要保障。农业航空遥感影像因其重叠面积大和可采集特征点丰富等特点,更适合采用基于特征的配准技术。陆健强等[22]在SIFT和奇异值分解(Singular value decomposition,SVD)算法的基础上,通过对矩阵的分解实现数据降维与重构,提出了SNS(Scale-invariant feature transform and singular value decomposition)算法。该算法减少了特征匹配过程中的计算量,提高了配准的精度和速度。以柑橘种植区域为研究对象,应用SNS算法对获取的柑橘地影像进行配准,结果表明,SNS算法相较于SIFT算法配准耗时缩短了10.34%,有效提高了农业遥感影像信息的获取效率。Harris算子在进行特征点提取时存在需人为设定阈值、对尺度变化敏感等缺陷。周志艳等[23]在Harris的基础上提出一种基于标准差的角点自适应检测算子,有效降低了算法的复杂度并提高了算法的鲁棒性。将Harris算法应用于水稻生长状况的遥感影像配准,配准率高达98%,为作物精准施肥奠定了良好基础。山地丘陵地带由于地面崎岖、岗坳交错的地形特征,其上耕地的航拍影像普遍存在尺度变化、几何畸变、图像重叠等问题,这些因素增加了图像配准的复杂度。宋飞等[24]利用SURF算法提取影像特征点并构建双特征描述子,描述影像几何特征,基于此构建双特征有限混合模型,利用径向基函数对待配准影像进行全局与局部的双约束空间变换。对于丘陵耕地影像,该方法相较于SIFT、SURF、CPD(Coherent point drift)、SURF-PIIFD-RPM、GLMD(Global and local mixture distance)及PR-GLS(Global and local structures)算法具有更高的配准精度,能够有效解决山地丘陵区遥感影像的几何畸变和不规则重叠问题,更适合于坡耕地的影像配准。

3 结语

自动配准技术主要分为基于灰度的配准和基于特征的配准,前者具有简单易操作的优点,但易造成数据冗余,对旋转和尺度变化的鲁棒性不佳,更适用于数据量较小的医学影像等的配准。后者具有更高的配准精度,更适用于遥感影像的配准。基于灰度配准技术的改进主要集中于相似性度量指标优化以及最优配准参数的求解两个方面。基于特征配准技术的改进主要集中在特征提取、描述、匹配3个过程中。深度学习能够通过多层次的非线性运算提取遥感影像的典型特征,能够有效提升配准的鲁棒性。基于深度学习技术对配准技术进行改进,是当前研究的主流方向。
针对基于深度学习方法的改进,目前缺少大量且高质量的训练样本数据集。深度学习方法的效果很大程度上依赖高质量的训练数据集。该样本数据集要求样本种类丰富、均衡、准确。为解决这一问题,目前采取的策略主要包括利用随机生成的转换模型或通过添加噪声的方式,对已有影像数据进行变换。例如,Li等[20]提出了一种自学习方法,以应对样本数据不足的问题。该方法主要通过学习影像及其转换副本之间的映射函数来实现自学习。在复杂地形的配准过程中,地物变化、山体阴影等因素对特征点定位造成干扰,导致匹配的特征点出现位置误差。此外,地形的起伏还可能引起极小范围内影像几何畸变的不一致。这些因素共同对配准的精度产生挑战。目前,光流法主要用于解决这一难题。光流法用于估计视频中物体的运动,其考虑了物体局部运动的不一致,利用像素自身信息估计其二维空间的运动情况。影像配准的位移场类似于运动物体的光流场,复杂地形区遥感影像间不一致的空间错位类似于物体的局部运动,因此,可借鉴光流法对畸变进行矫正。例如,冯蕊涛等[10]采用亮度和梯度双重约束获取光流场初值,在此基础上使用高斯拉普拉斯算子检测异常光流,然后通过Delaunay三角形曲面插值对异常光流进行校正处理,实现了复杂地形区多时相遥感影像实现高保真、高精度配准。空间结构信息的提取也面临一定挑战。由于匹配点数据是典型的非欧几里得数据结构,具有无序性与分散性,因此,如何利用深度学习技术提取匹配点的空间结构信息,依然是一个亟待解决的研究难题。
1
石正一. 基于模型一致分区和组合多特征的高分辨率影像配准研究[D]. 北京:中国科学院大学(中国科学院空天信息创新研究院),2022.

2
ZENG L DU Y L LIN H P,et al. A novel region-based image registration method for multisource remote sensing images via CNN[J]. IEEE journal of selected topics in applied earth observations and remote sensing202114:1821-1831.

3
CHEN H M VARSHNEY P K ARORA M K. Performance of mutual information similarity measure for registration of multitemporal remote sensing images[J]. IEEE transactions on geoscience and remote sensing200341(11):2445-2454.

4
梅益文,回丙伟,郭鹏程. 合成孔径雷达图像与可见光图像配准方法综述[J]. 计算机应用202444():242-249.

5
李星华,艾文浩,冯蕊涛,等.遥感影像深度学习配准方法综述[J].遥感学报202327(2):267-284.

6
LIANG J Y LIU X P HUANG K N,et al. Automatic registration of multisensor images using an integrated spatial and mutual information (SMI) metric[J]. IEEE transactions on geoscience and remote sensing201452(1):603-615.

7
HASKINS G KRUECKER J KRUGER U,et al. Learning deep similarity metric for 3D MR–TRUS image registration[J]. International journal of computer assisted radiology and surgery201914(3):417-425.

8
WU Y MA W P MIAO Q G,et al. Multimodal continuous ant colony optimization for multisensor remote sensing image registration with local search[J]. Swarm and evolutionary computation201947:89-95.

9
ZHUANG Y W GAO K MIU X H,et al. Infrared and visual image registration based on mutual information with a combined particle swarm optimization–Powell search algorithm[J]. Optik2016127(1):188-191.

10
冯蕊涛,杜清运,罗恒,等. 基于光流校正的复杂地形区多时相遥感影像配准[J]. 遥感学报202125(2):630-640.

11
HARRIS C STEPHENS M. A combined corner and edge detector[C]//Proceedings of the alvey vision conference alvey vision club,Manchester,1988:147-151.

12
SMITH S M BRADY J M. SUSAN:a new approach to low level image processing[J]. International journal of computer vision199723(1):45-78.

13
LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International journal of computer vision200460(2):91-110.

14
尚明姝,王克朝.基于多尺度Harris角点检测的图像配准算法[J].电光与控制202431(1):28-32.

15
BARROSO-LAGUNA A RIBA E PONSA D,et al. Key.net:keypoint detection by handcrafted and learned CNN filters[C]//2019 IEEE/CVF international conference on computer vision. IEEE,2019:4322-4331.

16
BAY H, TUYTELAARS T GOOL L V. SURF:speeded up robust features[C]//Proceedings of the 9 th European conference on computer vision - Volume Part I. Springer Berlin Heidelberg,2006.

17
SEDAGHAT A MOHAMMADI N. Illumination-Robust remote sensing image matching based on oriented self-similarity[J]. ISPRS journal of photogrammetry and remote sensing2019153:21-35.

18
HAN X F LEUNG T JIA Y Q,et al. MatchNet:Unifying feature and metric learning for patch-based matching[C]//2015 IEEE conference on computer vision and pattern recognition (CVPR). IEEE,2015:3279-3286.

19
GUO Q HE M M LI A. High-resolution remote-sensing image registration based on angle matching of edge point features[J]. IEEE journal of selected topics in applied earth observations and remote sensing201811(8):2881-2895.

20
LI L Z HAN L DING M T,et al. A deep learning semantic template matching framework for remote sensing image registration[J]. ISPRS journal of photogrammetry and remote sensing2021181:205-217.

21
JIANG X Y MA J Y FAN A X,et al. Robust feature matching for remote sensing image registration via linear adaptive filtering[J]. IEEE transactions on geoscience and remote sensing202159(2):1577-1591.

22
陆健强,李旺枝,兰玉彬,等. 基于点特征检测的农业航空遥感图像配准算法[J]. 农业工程学报202036(3):71-77.

23
周志艳,闫梦璐,陈盛德,等. Harris角点自适应检测的水稻低空遥感图像配准与拼接算法[J]. 农业工程学报201531(14):186-193.

24
宋飞,杨扬,杨昆,等. 基于双特征的丘陵山区耕地低空遥感图像配准算法[J]. 北京航空航天大学学报201844(9):1952-1963.

文章导航

/