基于分割一切模型SAM的实景三维场景语义分割

doi:10.13474/j.cnki.11-2246.2024.1216

测绘通报 ›› 2024, Vol. 0 ›› Issue (12): 101-105.doi: 10.13474/j.cnki.11-2246.2024.1216

• 工程测量分会年会优选论文 • 上一篇下一篇

基于分割一切模型SAM的实景三维场景语义分割

李锋^1,2, 薛梅^1,2, 詹勇^1,3, 杨元^1,3

1. 重庆市测绘科学技术研究院, 重庆 401120;
2. 自然资源部智能城市时空信息与装备工程技术创新中心, 重庆 401120;
3. 重庆市勘测院智能城市空间技术创新中心, 重庆 401120

收稿日期:2024-07-24 发布日期:2024-12-27
作者简介:李锋(1983-),男,硕士,正高级工程师,主要研究方向为实景三维领域。E-mail:lifeng@cqkcy.com
基金资助:
重庆市科研机构绩效激励引导专项(CSTB2023JXJL-YFX0060);重庆市规划和自然资源科研项目(KJ-2023039)

Semantic segmentation of 3D real scene based on segment anything model

LI Feng^1,2, XUE Mei^1,2, ZHAN Yong^1,3, YANG Yuan^1,3

1. Chongqing Institute of Surveying and Mapping Science and Technology, Chongqing 401120, China;
2. Technology Innovation Center for Spatio-temporal Information and Equipment of Intelligent City, Ministry of Natural Resources, Chongqing 401120, China;
3. Technology Innovation Center for Intelligent City Space of Chongqing Survey Institute, Chongqing 401120, China

Received:2024-07-24 Published:2024-12-27

摘要/Abstract

摘要： 基于深度学习和计算机视觉技术的场景语义分割是当前研究的热点。本文提出了包含“场景输入—预处理—模型推断—语义分割”的实景三维场景语义分割框架,通过将实景三维场景作为输入,按照正交投影的方式转为多视图二维图像,开展分割推理,获得分割掩码并进行处理,实现了实景三维对象拣选、单体化、语义化处理。试验结果表明,本文方法具有较好的语义分割效果和运行效率。

关键词: 分割一切模型, 实景三维, 语义分割

Abstract: Scene semantic segmentation based on deep learning and computer vision technology is currently a hot research topic. This paper proposes a 3D real scene semantic segmentation framework that includes “scene input-preprocessing-model inference-semantic segmentation”. By transforming the 3D real scene as input into multi-view 2D images through orthogonal projection, segmentation inference is carried out, and segmentation masks are generated and further processed,achieving the object selection, singulation, and semantic processing of 3D real scene.The experiments show that the method has good semantic segmentation performance and efficiency.

Key words: segment anything model, 3D real scene, semantic segmentation

中图分类号:

P237

李锋, 薛梅, 詹勇, 杨元. 基于分割一切模型SAM的实景三维场景语义分割[J]. 测绘通报, 2024, 0(12): 101-105.

LI Feng, XUE Mei, ZHAN Yong, YANG Yuan. Semantic segmentation of 3D real scene based on segment anything model[J]. Bulletin of Surveying and Mapping, 2024, 0(12): 101-105.

参考文献

[1] 张荣庭,张广运,尹继豪.复杂城市动态图卷积网络三维场景语义分割法[J].测绘学报,2023,52(10):1703-1713.
[2] KIRILLOV A,MINTUN E,RAVI N,et al. Segment anything[EB/OL].[2023-04-23].https://arxiv.org/abs/2304.02643v1.
[3] ZHANG Chunhui,LIU Li,CUI Yawen,et al.A comprehensive survey on segment anything model for vision and beyond[EB/OL].[2023-05-23].https://arxiv.org/abs/2305.08196v2.
[4] 王淼,黄智忠,何晖光,等.分割一切模型SAM的潜力与展望:综述[J].中国图象图形学报,2024,29(6):1479-1509.
[5] GLENN Jocher,AYUSH Chaurasia,JING Qiu.Ultralytics YOLOv8[EB/OL].[2024-06-23].https://docs.ultralytics.com/models/yolov8/.
[6] LIANG Weicong,YUAN Yuhui,DING Henghui,et al.Expediting large-scale vision transformer for dense prediction without fine-tuning[EB/OL].[2022-10-22].https://arxiv.org/abs/2210.01035v1.
[7] XIONG Yunyang,VARADARAJAN B,WU Lemeng,et al.EfficientSAM: leveraged masked image pretraining for efficient segment anything[C]//Proceedings of 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Seattle:IEEE,2024:16111-16121.
[8] ZHAO Xu,DING Wenchao,AN Yongqi,et al.Fast segment anything[EB/OL].[2023-06-23].https://arxiv.org/abs/2306.12156v1.
[9] LI Bo,XIAO Haoke,TANG Lv.ASAM: boosting segment anything model with adversarial tuning[EB/OL].[2024-06-10].https://arxiv.org/abs/2405.00256v1.
[10] XU Xiuwei,CHEN Huangxing,ZHAO Linqing,et al.EmbodiedSAM: online segment any 3D thing in real time[EB/OL].[2024-06-10].https://arxiv.org/abs/2408.11811
[11] 李帅,初启凤,袁如金,等.SAM在遥感影像通用语义分割中的应用[J].测绘与空间地理信息,2024,47(S1):1-4.
[12] 杨博,谢杨柳,张天航,等.基于SAM的无人艇多源图像分割研究[J].无人系统技术,2024,7(2):73-81.
[13] 孙兴,蔡肖红,李明,等.视觉大模型SAM在医学图像分割中的应用综述[J].计算机工程与应用,2024,60(17):1-16.
[14] 吴曈,胡浩基,冯洋,等.分割一切模型(SAM)在医学图像分割中的应用[J/OL].中国激光,1-30[2024-10-30].http://kns.cnki.net/kcms/detail/31.1339.TN.20240520.1426.004.html.
[15] ZHANG Chaoning,HAN Dongshen,QIAO Yu,et al.Faster segment anything: towards lightweight SAM for mobile applications[EB/OL].[2024-06-10].https://arxiv.org/abs/2306.14289v2.

基于分割一切模型SAM的实景三维场景语义分割

Semantic segmentation of 3D real scene based on segment anything model

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价

[1]	刘俊伟, 张周平, 郭大海, 杨文雪, 曲冠晨, 马欣蕊, 王思宇, 朱倩. 城市建筑三维实体自动化建模技术集成与实践[J]. 测绘通报, 2024, 0(9): 1-7.
[2]	赵婧文, 徐晖, 顾建祥. 数字时空基底建设之上海探索[J]. 测绘通报, 2024, 0(9): 14-18.
[3]	陈举平, 陈一平, 丁建勋, 张鹏飞, 董风彬. 多装备协同的县(区)级实景三维生产关键技术[J]. 测绘通报, 2024, 0(9): 175-181.
[4]	王德富, 刘立, 李永鑫, 张志强, 罗超, 廖洋洋. 实景三维场景下的地质灾害识别特征与潜力分析[J]. 测绘通报, 2024, 0(8): 20-25.
[5]	符惠伟, 岑铭, 廖超明, 吕华权. 无人机倾斜摄影技术的不动产测量应用与探讨[J]. 测绘通报, 2024, 0(7): 123-128.
[6]	张伟, 张朝龙, 王本林, 蔡安宁. 基于深度学习的多尺度无人机遥感图像道路提取[J]. 测绘通报, 2024, 0(6): 77-81.
[7]	王召泽. 基于三维模型的不动产登记关键技术[J]. 测绘通报, 2024, 0(5): 151-154,159.
[8]	张书航, 李旺民, 庞尹宁, 常兵涛, 马德富, 李秀龙, 张吴明. 基于无人机倾斜摄影和激光扫描的离岸海岛高精度实景三维重建[J]. 测绘通报, 2024, 0(3): 25-30.
[9]	王鸿雁, 车向红, 徐辛超, 徐胜华, 李洪胜. 利用DeepLabv3+模型提取分析街景图像绿视率——以北京三环内为例[J]. 测绘通报, 2024, 0(3): 88-94.
[10]	刘超, 吕三和, 周圣川, 乔新, 刘鹏超. 地上地下一体化线性工程选址论证研究与应用[J]. 测绘通报, 2024, 0(3): 156-161.
[11]	黄应华, 董振川, 李昊, 陈壮, 刘长睿, 张献州. 城市竣工测绘典型要素语义分割PointNet++深度学习模型适用性分析[J]. 测绘通报, 2024, 0(2): 85-89.
[12]	黄金彩, 李诗逸, 石岩. 利用行车记录仪视频提取路面车道线[J]. 测绘通报, 2024, 0(12): 1-5.
[13]	李敏, 张珊珊, 吴卫. 多尺度建筑物立面特征的图结构表达方法[J]. 测绘通报, 2024, 0(12): 111-116.
[14]	郑小梅, 邓小军, 吴玮. 空天地数据协同下的实景三维宁波建设与应用[J]. 测绘通报, 2024, 0(12): 160-163.
[15]	陈功亮, 朱律, 陈赛楠. 面向新质生产力的超大城市实景三维地下管线建设路径[J]. 测绘通报, 2024, 0(12): 178-182.