实景三维模型纹理的敏感目标自动识别与脱密方法

doi:10.13474/j.cnki.11-2246.2023.0376

测绘通报 ›› 2023, Vol. 0 ›› Issue (12): 153-158.doi: 10.13474/j.cnki.11-2246.2023.0376

• 技术交流 • 上一篇

实景三维模型纹理的敏感目标自动识别与脱密方法

徐海燕^1,2, 郭为人^3,4, 李德民^1,5, 郝君^1,4, 徐刚^1,6

1. 浙江安防职业技术学院, 浙江温州 325016;
2. 温州市地理空间信息技术研究院, 浙江温州 325016;
3. 温州市自然资源和规划信息中心, 浙江温州 325000;
4. 温州市天空地态势感知应用技术协同创新中心, 浙江温州 325016;
5. 温州市自然灾害遥感监测预警重点实验室, 浙江温州 325016;
6. 温州市未来城市研究院, 浙江温州 325016

收稿日期:2023-08-22 发布日期:2024-01-08
通讯作者: 徐刚。E-mail:20096342@zjcst.edu.cn
作者简介:徐海燕(1979-),女,高级工程师,主要从事二三维地理信息技术研究与应用工作。E-mail:20096347@zjcst.edu.cn
基金资助:
温州市基础性科研项目(S20210017);浙江省自然资源厅2021年度科技项目(2021-34)

Secret target automatic recognition and decryption method for real scene 3D model texture

XU Haiyan^1,2, GUO Weiren^3,4, LI Demin^1,5, HAO Jun^1,4, XU Gang^1,6

1. Zhejiang College of Security Technology, Wenzhou 325016, China;
2. Wenzhou Institute of Geospatial Information Technology, Wenzhou 325016, China;
3. Wenzhou Natural Resources and Planning Information Center, Wenzhou 325000, China;
4. Wenzhou Collaborative Innovation Center for Space-borne, Airborne and Ground Monitoring Situational Awareness Technology, Wenzhou 325016, China;
5. Wenzhou Key Laboratory of Natural Disaster Remote Sensing Monitoring and Early Warning, Wenzhou 325016, China;
6. Wenzhou Institute of City Future, Wenzhou 325016, China

Received:2023-08-22 Published:2024-01-08

摘要/Abstract

摘要： 实景三维是国家新型基础设施的重要组成部分,在各行业具有广泛的应用。如何在安全的前提下促进三维数据最大程度的共享已成为实景三维应用的迫切需要。针对实景三维纹理中存在涉密敏感目标问题,传统依赖人工检索敏感目标并通过图像编辑工具处理的脱密方法效率低,本文提出一种结合深度学习的纹理影像敏感目标自动识别与脱密方法。首先通过秘密点POI检索包含秘密目标的三维模型及对应的纹理影像;然后基于YOLOv5s网络模型自动识别纹理影像中的敏感目标,并利用GrabCut有效提取目标;最后基于多尺度的Patch match对纹理影像块进行修复。试验表明,本文方法目标识别准确率为95.3%,与人工处理相比全流程用时缩短40%以上,有效提取并去除纹理影像中的敏感目标,实现了快速脱密,促进了实景三维模型数据的安全共享。

关键词: 实景三维, 纹理脱密, 目标识别, 纹理修复

Abstract: Real-scene 3D is an important part of the country's new infrastructure and has a wide range of applications in various industries. How to promote the maximum sharing of 3D data under the premise of safety has become the demand of real-scene 3D applications. Aiming at the problem of secret-related sensitive targets in real-scene 3D textures, the traditional decryption process that relies on manual retrieval of sensitive targets and images processed by editing tools is not efficient. This paper proposes an automatic recognition and decryption method for real scene 3D model texture combined with deep learning. Firstly, search the 3D model and texture image containing the secret target through the secret areas POI; then automatically identify the sensitive target in the texture image based on the YOLOv5s network model, and use GrabCut to effectively extract the target; finally, based on the multi-scale Patch match for the texture image block make repairs. It shows that the target recognition accuracy of the method is 95.3%, which is more than 40% compared with manual processing when the whole process is used. It effectively extracts sensitive targets to achieve fast decryption, and promotes the safe sharing of real-scene 3D model data.

Key words: real scene 3D, texture decryption, target recognition, texture repair

中图分类号:

P237

徐海燕, 郭为人, 李德民, 郝君, 徐刚. 实景三维模型纹理的敏感目标自动识别与脱密方法[J]. 测绘通报, 2023, 0(12): 153-158.

XU Haiyan, GUO Weiren, LI Demin, HAO Jun, XU Gang. Secret target automatic recognition and decryption method for real scene 3D model texture[J]. Bulletin of Surveying and Mapping, 2023, 0(12): 153-158.

参考文献

[1] 陈军,刘建军,田海波. 实景三维中国建设的基本定位与技术路径[J]. 武汉大学学报(信息科学版),2022,47(10): 1568-1575.
[2] 张帆,黄先锋,高云龙,等. 实景三维中国建设技术大纲(2021版)解读与思考[J]. 测绘地理信息,2021,46(6): 171-174.
[3] 李彬彬. 数字影像敏感目标脱密模型与算法研究[D]. 南京: 南京师范大学,2015.
[4] 朱长青,任娜,徐鼎捷. 地理信息安全技术研究进展与展望[J]. 测绘学报,2022,51(6): 1017-1028.
[5] 鲁鹏杰,许大璐,任福,等. 应急遥感制图中敏感目标自动检测与隐藏方法[J]. 武汉大学学报(信息科学版),2020,45(8): 1263-1272.
[6] REDMON J,DIVVALA S,GIRSHICK R,et al. You only look once: unified,real-time object detection[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Las Vegas,NV:IEEE,2016: 779-788.
[7] 吕宗喆,徐慧,杨骁,等. 面向小目标的YOLOv5安全帽检测算法[J]. 计算机应用,2023,43(6): 1943-1949.
[8] 张震,王晓杰,晋志华,等.基于轻量化YOLOv5的交通标志检测[J/OL].郑州大学学报(工学版). https://doi.org/10.13705/j.issn.1671-6833.2023.05.014.
[9] 李孟浩,袁三男.改进YOLOv5s的交通标识检测算法[J/OL].南京信息工程大学学报(自然科学版).https://doi.org/10.13878/j.cnki.jnuist.20230502002.
[10] 高梦婷,孙晗,唐云祁,等. 基于改进YOLOv5的指纹二级特征检测方法[J]. 激光与光电子学进展,2023,60(10): 79-89.
[11] 王伟峰,张宝宝,王志强,等. 基于YOLOv5的矿井火灾视频图像智能识别方法[J]. 工矿自动化,2021,47(9): 53-57.
[12] REDMON J,FARHADI A. YOLOv3: an incremental improvement[EB/OL]. [2023-08-01].https://arxiv.org/abs/1804.02767.
[13] BOCHKOVSKIY A,WANG C Y,LIAO H Y M. YOLOv4: optimal speed and accuracy of object detection[EB/OL]. [2023-08-01]https://arxiv.org/abs/2004.10934.
[14] BARNES C,SHECHTMAN E,FINKELSTEIN A,et al. PatchMatch: a randomized correspondence algorithm for structural image editing[J]. ACM Transactions on Graphics,28(3):24.
[15] WEXLER Y,SHECHTMAN E,IRANI M. Space-time completion of video[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2007,29(3): 463-476.
[16] ROTHER C,KOLMOGOROV V,BLAKE A. “GrabCut”[J]. ACM Transactions on Graphics,2004,23(3): 309-314.
[17] YAO Cong,BAI Xiang,LIU Wenyu,et al. Detecting texts of arbitrary orientations in natural images[C]//Proceedings of 2012 IEEE Conference on Computer Vision and Pattern Recognition. RI: IEEE,2012: 1083-1090.

实景三维模型纹理的敏感目标自动识别与脱密方法

Secret target automatic recognition and decryption method for real scene 3D model texture

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价

[1]	吴厚清, 刘华东, 潘骁骏, 熊成利, 吴迪. 面向市县全域的实景三维建设技术——以浙江省为例[J]. 测绘通报, 2023, 0(7): 154-159.
[2]	史与正, 陈梦华, 黄煜, 张彤蕴, 周宪. 实景三维模型的建筑物单体模型框架搭建[J]. 测绘通报, 2023, 0(6): 161-166.
[3]	张适然, 陈明辉, 黄燕. 基于实景三维的东莞自建住宅提取与特征分析[J]. 测绘通报, 2023, 0(5): 120-124,163.
[4]	蔡军, 温日强, 江伟, 严娇, 卢丽娟. 传统村落航拍图像中民族建筑识别的DeepLabV3+改进算法[J]. 测绘通报, 2023, 0(4): 49-53.
[5]	贾琛, 刘欣怡, 张永军, 祝宪章, 任维成, 何庆, 冯幼贵. 基准线约束的建筑物立面重复纹理检测[J]. 测绘通报, 2023, 0(3): 49-54.
[6]	陈光, 高林营, 曾一笑, 陈良超. 实景三维尺度特征与生态保护红线勘界定标应用研究[J]. 测绘通报, 2023, 0(3): 89-93.
[7]	张英栋, 赵军, 周圣川, 胡振彪, 胡海滨. 结合倾斜影像的实景三维场景增强显示[J]. 测绘通报, 2023, 0(3): 123-127.
[8]	曾政祥, 何晶晶, 张婧. 融合激光点云的城市级高精度建模技术[J]. 测绘通报, 2023, 0(3): 133-138.
[9]	罗振威, 李骁, 刘承承, 张勇. 利用倾斜摄影与激光扫描技术构建城市级实景三维模型[J]. 测绘通报, 2023, 0(12): 116-120.
[10]	刘丽, 魏海霞, 祖为国, 谭金石. 无人机倾斜摄影测量技术在可建设城市屋顶光伏资源调查中的应用[J]. 测绘通报, 2023, 0(12): 142-146.
[11]	李德重, 姚娜, 薛永军, 熊文豪, 王龙秀. 内蒙古自治区自然资源调查监测高精度实景三维建设方法与实践[J]. 测绘通报, 2023, 0(11): 158-162.
[12]	王步云, 李宏伟, 赵姗. 融合点云与全景影像的路侧多目标识别[J]. 测绘通报, 2023, 0(10): 40-46.
[13]	黄明伟, 李梦梦, 陈超, 虞瑶. 实景三维在自然资源监测的应用[J]. 测绘通报, 2023, 0(10): 150-153.
[14]	杨永林, 刘东, 刘洋, 石现, 王双雨, 谭钿. 实景三维建模中的建筑物mesh模型立面修整[J]. 测绘通报, 2023, 0(10): 154-157.
[15]	康停军, 夏义雄, 张新长, 周剑锋. 顾及地面POS信息的空地一体城市三维实景重建[J]. 测绘通报, 2023, 0(1): 8-13.