室内动态场景下融合语义信息的视觉SLAM方法

doi:10.13474/j.cnki.11-2246.2025.0402

测绘通报 ›› 2025, Vol. 0 ›› Issue (4): 9-13.doi: 10.13474/j.cnki.11-2246.2025.0402

• 人工智能与视觉系统 • 上一篇

室内动态场景下融合语义信息的视觉SLAM方法

王一哲¹, 张瑞菊^1,2,3, 王坚¹, 谢欣睿¹, 黄启承¹

1. 北京建筑大学测绘与城市空间信息学院, 北京 102616;
2. 代表性建筑与古建筑数据库教育部工程中心, 北京 102616;
3. 建筑遗产精细重构与健康监测重点实验室, 北京 102616

收稿日期:2024-06-20 发布日期:2025-04-28
通讯作者: 张瑞菊。E-mail:zhangruiju@bucea.edu.cn
作者简介:王一哲(2001—),男,硕士生,主要从事视觉定位和深度学习的研究。E-mail:wangyizhe0619@163.com
基金资助:
国家自然科学基金(42274029;42171416);北京市自然科学基金(8222011)

A visual SLAM method for merging semantic information in indoor dynamic scenes

WANG Yizhe¹, ZHANG Ruiju^1,2,3, WANG Jian¹, XIE Xinrui¹, HUANG Qicheng¹

1. School of Geomatics and Urban Spatial Informatics, Beijing University of Civil Engineering and Architecture, Beijing 102616, China;
2. Engineering Center of Representative Architecture and Ancient Architecture Database, Ministry of Education, Beijing 102616, China;
3. Key Laboratory of Fine Reconstruction and Health Monitoring of Architectural Heritage, Beijing 102616, China

Received:2024-06-20 Published:2025-04-28

摘要/Abstract

摘要： 视觉SLAM作为实现智能设备自主感知与导航的核心技术,在人工智能和机器人领域扮演着关键角色。然而,当场景包含移动物体时,传统视觉SLAM算法的稳定性和定位精度显著下降。为解决上述问题,本文提出了一种室内动态场景下融合语义信息的SLAM方案。该方法基于ORB-SLAM2框架,通过引入GCNv2网络进行深度特征提取,并利用YOLOv5进行语义分割,以识别动态物体。结合运动一致性分析,有效剔除了动态干扰,增强了算法的稳健性。通过对TUM标准数据集的测试,与原ORB-SLAM2相比,改进后的算法在室内动态环境下实现了显著提升,平均定位精度提高达55.75%。这一成果证明了所提方法的有效性,显著提升了SLAM系统在复杂动态环境下的性能。

关键词: 视觉SLAM, 语义信息, 特征提取, 动态场景

Abstract: Visual SLAM is a core technology for autonomous perception and navigation in intelligent devices, playing a crucial role in AI and robotics. However, traditional visual SLAM algorithms suffer significantly in stability and localization accuracy when scenes contain moving objects. To address this, this paper proposes a SLAM scheme that integrates semantic information for indoor dynamic scenarios. Based on ORB-SLAM2, it introduces the GCNv2 network for deep feature extraction and YOLOv5 for semantic segmentation to identify dynamic objects. Combined with motion consistency analysis, it effectively eliminates dynamic interference, enhancing robustness. Tests on the TUM standard dataset show the improved algorithm significantly outperforms the original ORB-SLAM2 in dynamic indoor environments, with an average positioning accuracy improvement of 55.75%. This result demonstrates the proposed method's effectiveness, significantly boosting SLAM system performance in complex dynamic environments.

Key words: visual SLAM, semantic information, feature extraction, dynamic scenes

中图分类号:

P208

王一哲, 张瑞菊, 王坚, 谢欣睿, 黄启承. 室内动态场景下融合语义信息的视觉SLAM方法[J]. 测绘通报, 2025, 0(4): 9-13.

WANG Yizhe, ZHANG Ruiju, WANG Jian, XIE Xinrui, HUANG Qicheng. A visual SLAM method for merging semantic information in indoor dynamic scenes[J]. Bulletin of Surveying and Mapping, 2025, 0(4): 9-13.

参考文献

[1] 刘宇飞,冯楚乔,陈伟乐,等.基于机器视觉法的桥梁表观病害检测研究综述[J].中国公路学报,2024,37(2):1-15.
[2] 尹鋆泰.动态场景下基于深度学习的视觉SLAM技术研究[D].北京:北京邮电大学,2023.
[3] 吴磊,郭斌,徐若楠,等.泛在计算视角下的群智模块化机器人[J].中国科学(信息科学),2023,53(11):2107-2151.
[4] MUR-ARTAL R,TARDÓS J D.ORB-SLAM2: an open-source SLAM system for monocular,stereo,and RGB-D cameras[J].IEEE Transactions on Robotics,2017,33(5): 1255-1262.
[5] FANG Y Q,DAI B.An improved moving target detecting and tracking based on Optical Flow technique and Kalman filter[C]//Proceedings of the 4th International Conference on Computer Science ＆ Education.Nanning:IEEE,2009: 1197-1202.
[6] BAKKAY M C,ARAFA M,ZAGROUBA E.Dense 3D SLAM in dynamic scenes using kinect[M]//Lecture Notes in Computer Science.Cham:Springer International Publishing,2015:121-129.
[7] 徐晓苏,安仲帅.基于深度学习的室内动态场景下的VSLAM方法[J].中国惯性技术学报,2020,28(4): 480-486.
[8] 杨诒斌,王俊强,柴世豪.基于CNN的智慧农场图像分类方法[J].电子技术应用,2023,49(4): 33-38.
[9] 范迎春.动态环境下的视觉SLAM地图构建研究[D].西安: 西安电子科技大学,2021.
[10] LIU G H,ZENG W L,FENG B,et al.DMS-SLAM: a general visual SLAM system for dynamic scenes with multiple sensors[J].Sensors (Basel,Switzerland),2019,19(17): 3714.
[11] REZATOFIGHI H,TSOI N,GWAK J,et al.Generalized intersection over union: a metric and a loss for bounding box regression[C]//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Long Beach,CA:IEEE,2019: 658-666.
[12] PAPADOPOULOS D P,UIJLINGS J R R,KELLER F,et al.Extreme clicking for efficient object annotation[C]//Proceedings of 2017 IEEE International Conference on Computer Vision.Venice:IEEE,2017:4940-4949.
[13] 魏利胜,李明.基于深度学习的工业产品表面缺陷检测综述[J].绥化学院学报,2024,44(6): 151-156.
[14] 李星驰.智能工业运载车的轨迹跟踪算法与系统[D].广州: 广东工业大学,2021.
[15] SCHUBERT D,GOLL T,DEMMEL N,et al.The TUM VI benchmark for evaluating visual-inertial odometry[C]//Proceedings of 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems.Madrid:IEEE,2018: 1680-1687.
[16] ZHANG Y,GAO X.Semantic SLAM building based on instance segmentation and optical flow in dynamic scenes[J].Microelectronics ＆ Computer,2024,41(2):19-27.

室内动态场景下融合语义信息的视觉SLAM方法

A visual SLAM method for merging semantic information in indoor dynamic scenes

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价

[1]	吕朋超, 李海洋, 江岭, 梁明, 位宏, 张大鹏. 多维度建筑物单体模型构建方法[J]. 测绘通报, 2025, 0(2): 1-6.
[2]	李淑, 李鹏, 李振洪, 王厚杰. 协同全极化SAR与光学遥感的潮沟精细提取方法[J]. 测绘通报, 2024, 0(5): 29-34,40.
[3]	贺彪, 唐骜巍, 蒯希, 徐海, 肖佳栋. 融合IFC语义信息与几何相似性的BIM构件实例信息提取方法[J]. 测绘通报, 2024, 0(5): 96-102.
[4]	林泊锟, 丁勇, 李登华. 一种基于深度学习与图像局部特征提取的边坡异常监测技术[J]. 测绘通报, 2024, 0(4): 23-28.
[5]	郭瑞荣, 李朝奎, 李豪, 陈军. 面向BIM的室内拓扑-栅格分层路径规划方法[J]. 测绘通报, 2024, 0(3): 81-87.
[6]	陈星哲, 谢涛, 王明华, 张雪红, 李建, 白淑英. 利用全极化SAR数据的极化特征获取海冰密集度的算法[J]. 测绘通报, 2024, 0(2): 80-84,89.
[7]	白云鹏, 徐会希, 吕凤天. 水下视觉SLAM分段式光束平差算法[J]. 测绘通报, 2024, 0(11): 7-12.
[8]	宋宗莹, 王兴中, 曾杉, 张正军, 尹太军, 柳红利. 基于改进YOLOv7的无人机图像铁路接触网部件目标检测方法[J]. 测绘通报, 2024, 0(11): 108-114.
[9]	丁鹏辉, 李志远, 刘艺, 王政辉. 基于改进级联式BP神经网络的巷道点云分类[J]. 测绘通报, 2024, 0(11): 172-176.
[10]	李冰, 赖祖龙, 孙杰, 丁开华. 利用改进ORB算法的无人机影像匹配[J]. 测绘通报, 2024, 0(1): 126-130,149.
[11]	吴思齐, 刘飞, 白羽, 马运涛, 王斐, 郭梓钰. 室外眩光场景ORB-SLAM2稳健定位模型研究[J]. 测绘通报, 2023, 0(9): 59-63.
[12]	史与正, 陈梦华, 黄煜, 张彤蕴, 周宪. 实景三维模型的建筑物单体模型框架搭建[J]. 测绘通报, 2023, 0(6): 161-166.
[13]	张清宇, 崔丽珍, 杜秀铎, 马宝良. 矿山环境三维激光雷达SLAM算法建图与定位[J]. 测绘通报, 2023, 0(5): 72-77.
[14]	宗慧琳, 袁希平, 甘淑, 张晓伦, 梁昌献, 赵振峰. 改进AKAZE算法的泥石流区无人机影像特征匹配[J]. 测绘通报, 2023, 0(2): 91-96,103.
[15]	朱文杰, 李宏伟, 姜懿芮, 程相龙, 赵珊. 改进的多任务道路特征提取网络及权重优化[J]. 测绘通报, 2023, 0(12): 1-7.