基于深度学习的异源立体影像对匹配方法

doi:10.13474/j.cnki.11-2246.2022.0369

测绘通报 ›› 2022, Vol. 0 ›› Issue (12): 131-135.doi: 10.13474/j.cnki.11-2246.2022.0369

基于深度学习的异源立体影像对匹配方法

段芸杉¹, 吴献文², 王瑞瑞¹, 石伟³, 李怡燃¹

1. 北京林业大学林学院, 北京 100083;
2. 广东工贸职业技术学院, 广东广州 510510;
3. 中国科学院地理科学与资源研究所, 北京 100101

收稿日期:2021-11-30 出版日期:2022-12-25 发布日期:2023-01-05
通讯作者: 王瑞瑞。E-mail:wangruigis@163.com
作者简介:段芸杉(1996-),女,硕士,研究方向为影像匹配,城市三维可视化。E-mail:13383169667@163.com

Matching method of heterologous stereo image pairs based on deep learning

DUAN Yunshan¹, WU Xianwen², WANG Ruirui¹, SHI Wei³, LI Yiran¹

1. School of forestry, Beijing Forestry University, Beijing 100083, China;
2. Guangdong Polytechnic of Industry and Commerce, Guangzhou 510510, China;
3. Institute of Geographical Sciences and resources, Chinese Academy of Sciences, Beijing 100101, China

Received:2021-11-30 Online:2022-12-25 Published:2023-01-05

摘要/Abstract

摘要： 相对于同源影像立体匹配，基于无人机倾斜摄影与近景摄影获取的异源影像在空间特征、视场角及分辨率等方面均存在较大的差异，给影像匹配带来困难。本文利用基于单应性变换的卷积神经网络提取特征点，在匹配阶段采用交叉注意力机制的图神经网络进行特征点匹配。该方法较好地克服了异源影像间因存在较大视差和扭曲变换而导致的匹配效果较差的问题，并以河北省廊坊市大城县的马家祠堂为试验数据，对比传统SURF （加速稳定性征）算法与深度学习算法的匹配效果。结果表明，基于深度学习算法对存在大视角差异的异源影像的匹配率更高。

关键词: SURF算法, 异源影像, 单应性矩阵, 图神经网络, 特征匹配

Abstract: Compared with stereo matching of homologous images, there are great differences in spatial features, field angle and resolution between the heterogenous images acquired by UAV tilt photography and close-range photography, which bring difficulties to image matching. In this paper, the feature points are extracted by using the convolutional neural network based on homography transformation, and the graph neural network with cross-attention mechanism is used to match the feature points in the matching stage. It overcomes the problem of poor matching effect caused by large disparity and distorted transformation between different images. In this paper, Ma jiacitang in Dacheng county, Langfang city, Hebei province is taken as the experimental data, and the matching effect of traditional SURF (accelerated robust feature) algorithm and deep learning algorithm is compared. The results show that the algorithm based on deep learning has a higher matching rate for heterologous images with large perspective differences.

Key words: SURF algorithm, heterologous images, homography matrix, figure neural network, feature matching

中图分类号:

P237

段芸杉, 吴献文, 王瑞瑞, 石伟, 李怡燃. 基于深度学习的异源立体影像对匹配方法[J]. 测绘通报, 2022, 0(12): 131-135.

DUAN Yunshan, WU Xianwen, WANG Ruirui, SHI Wei, LI Yiran. Matching method of heterologous stereo image pairs based on deep learning[J]. Bulletin of Surveying and Mapping, 2022, 0(12): 131-135.

参考文献

[1] 吕倩利, 邵永社. 基于SIFT特征的异源遥感影像匹配方法研究[J]. 计算机工程与应用, 2012, 48(36):171-176.
[2] 戴激光, 宋伟东, 贾永红, 等. 一种新的异源高分辨率光学卫星遥感影像自动匹配算法[J]. 测绘学报, 2013, 42(1):80-86.
[3] 王瑞琛. 基于深层神经网络的异源图像特征学习及块匹配[D]. 北京:北京邮电大学, 2018.
[4] 付宇光, 唐焕文, 计明军, 等. 模拟退火算法在图像配准中的应用[J]. 中国生物医学工程学报, 2004, 23(5):405-409.
[5] 严春满, 王铖. 卷积神经网络模型发展及应用[J]. 计算机科学与探索, 2021, 15(1):27-46.
[6] 常亮, 邓小明, 周明全, 等. 图像理解中的卷积神经网络[J]. 自动化学报, 2016, 42(9):1300-1312.
[7] 刘非凡, 张爽, 罗双玲, 等. 基于深度图神经网络方法的领域知识结构探测[J]. 情报学报, 2021, 40(11):1209-1220.
[8] 白铂, 刘玉婷, 马驰骋, 等. 图神经网络[J]. 中国科学:数学, 2020, 50(3):367-384.
[9] BAY H, TUYTELAARS T, VAN GOOL L. SURF:speeded up robust features[C]//Proceedings of Computer Vision-ECCV 2006. Berlin, Heidelberg:Springer Berlin Heidelberg, 2006:404-417.
[10] DETONE D, MALISIEWICZ T, RABINOVICH A. Toward geometric deep SLAM[EB/OL].[2021-10-30]. https://arxiv.org/abs/1707.07410.
[11] AMINTABAR A, BOUFAMA B. Homography-based plane identification and matching[C]//Proceedings of IEEE International Conference on Image Processing. San Diego:IEEE, 2008:297-300.
[12] DETONE D, MALISIEWICZ T, RABINOVICH A. Deep image homography estimation[EB/OL].[2021-10-30] https://arxiv.org/abs/1606.03798.
[13] THEKUMPARAMPIL K K, WANG CHONG, OH S, et al. Attention-based graph neural network for semi-supervised learning[EB/OL].[2021-10-30]. https://arxiv.org/abs/1803.03735.
[14] 车令夫, 田宇坤, 朱海平, 等. 基于最优输运的迁移学习[J]. 模式识别与人工智能, 2019, 32(6):481-493.

基于深度学习的异源立体影像对匹配方法

Matching method of heterologous stereo image pairs based on deep learning

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 10

编辑推荐

Metrics

本文评价

[1]	侯泽鹏, 徐二帅, 王文亮, 许志华. 局部特征匹配的卫星影像几何偏差估计可行性分析[J]. 测绘通报, 2022, 0(2): 37-42.
[2]	刘新平, 王磊, 吴长彬, 黄敬, 韦曼琼. 三维GIS支持下的实景融合系统设计与实现[J]. 测绘通报, 2021, 0(4): 141-145,155.
[3]	李梓豪, 唐超, 郭文远. 改进的无人机影像处理技术在新冠疫情复工建设中的应用[J]. 测绘通报, 2020, 0(7): 53-57.
[4]	项谦和, 杜娟, 陈春雷, 汪建光. 沿海矿山生态环境修复中遥感影像自动配准方法的应用[J]. 测绘通报, 2020, 0(7): 58-63.
[5]	严少华, 陈敏, 赵怡涛, 谭贵红, 赵曦. 局部结构约束下的宽基线影像直线特征匹配[J]. 测绘通报, 2020, 0(5): 51-54.
[6]	欧阳欢, 范大昭, 郭静, 代亚贞. 结合显著性检测与特征匹配的飞机目标识别[J]. 测绘通报, 2020, 0(3): 1-6.
[7]	张冬梅, 卢小平, 苗沛基, 周雨石, 马靓婷. 一种改进的APAP影像匹配算法[J]. 测绘通报, 2020, 0(3): 123-128.
[8]	霍门婕, 范大昭, 董杨. 异源多分辨率卫星影像匹配算法研究[J]. 测绘通报, 2019, 0(6): 47-51.
[9]	王晓红, 邓仕雄, 何志伟, 曹留霞, 闫星光. 结合SURF算法和单应性矩阵的无人机影像匹配[J]. 测绘通报, 2018, 0(7): 38-42.
[10]	胡同喜牛雪峰谭洋陈新鹏. 基于SURF算法的无人机遥感影像拼接技术[J]. 测绘通报, 2015, 0(1): 55-58.