利用分布式自动化并行处理框架提升空间数据分析效率

doi:10.13474/j.cnki.11-2246.2020.0338

测绘通报 ›› 2020, Vol. 0 ›› Issue (10): 143-147.doi: 10.13474/j.cnki.11-2246.2020.0338

利用分布式自动化并行处理框架提升空间数据分析效率

梁哲恒, 吴宝佑, 谢刚生

广东南方数码科技股份有限公司, 广东广州 510665

收稿日期:2019-12-27 出版日期:2020-10-25 发布日期:2020-10-29
作者简介:梁哲恒(1977-),男,硕士,高级工程师,主要研究方向为GIS软件开发管理。E-mail:zheheng.liang@southgis.com

The efficiency improvement of spatial data analysis by using the distributed automatic parallel processing framework

LIANG Zheheng, WU Baoyou, XIE Gangsheng

South Digital Technology Co., Ltd., Guangzhou 510665, China

Received:2019-12-27 Online:2020-10-25 Published:2020-10-29

摘要/Abstract

摘要： 围绕GIS应用系统在空间数据分析效率提升的方面，本文提出了一套基于分布式自动化并行处理框架的效率提升方法，阐述了如何基于ArcPy、WebAPI、分布式调度、调度控制因子等关键技术，实现分布式自动化并行处理。本文方法有助于便捷、高效地解决大量空间数据分析处理的效率问题。

关键词: ArcPy, WebAPI, 分布式, 并行处理, 空间数据分析

Abstract: Focusing on the efficiency improvement of GIS application system in spatial data analysis, in view of the problem of data analysis and processing efficiency, this paper puts forward a set of efficiency improvement method based on distributed automatic parallel processing framework. It expounds how to realize the distributed automatic parallel processing based on the key technologies such as ArcPy, WebAPI, distributed scheduling and scheduling control factors. It is helpful to solve the efficiency problem of large amount of spatial data analysis and processing conveniently and efficiently.

Key words: ArcPy, WebAPI, distributed, parallel processing, spatial data analysis

中图分类号:

P208

梁哲恒, 吴宝佑, 谢刚生. 利用分布式自动化并行处理框架提升空间数据分析效率[J]. 测绘通报, 2020, 0(10): 143-147.

LIANG Zheheng, WU Baoyou, XIE Gangsheng. The efficiency improvement of spatial data analysis by using the distributed automatic parallel processing framework[J]. Bulletin of Surveying and Mapping, 2020, 0(10): 143-147.

参考文献

[1] 杨霄翼.基于Python的"地理处理"并行方案[J].地理信息世界,2017,24(6):117-121.
[2] 仇阿根,刘纪平,张志然,等.地理要素的分布式空间近似查询处理方法[J].测绘科学,2017,42(7):57-64.
[3] 李德仁.展望大数据时代的地球空间信息学[J].测绘学报,2016,45(4):379-384.
[4] 孙立新,张栩之,吕海洋.基于云计算SME-FFD算法的概率优度虚拟机资源配置[J].计算机工程,2016,42(5):23-29.
[5] 杨政,张朋.标准分幅影像图接边的自动检查[J].科学技术创新,2017(36):79-80.
[6] 朱道强,关海涛.Python在ArcGIS中的应用[J].测绘与空间地理信息,2013,36(7):152-154.
[7] 王尔琪,黄骞,滕寿威.地理空间信息并行处理架构与系统研究[J].测绘与空间地理信息,2013,36(S1):1-6,18.
[8] 彭海波,向洪普.基于Python的空间数据批量处理方法[J].测绘与空间地理信息,2011,34(4):81-82,85,87.
[9] 刘纪平,张福浩,王亮,等.面向大数据的空间信息决策支持服务研究与展望[J].测绘科学,2014,39(5):8-12,17.
[10] 朱剑.基于虚拟云计算架构的GIS服务资源弹性调度应用研究[J].测绘通报,2013(5):92-95,107.
[11] 陈晓斌,葛文,李歆,等.一种空间数据分布式处理方法[J].测绘工程,2013,22(1):4-6.
[12] 曾浩.FDTD及其并行算法在粗糙面和目标复合电磁散射中的应用[D].西安:西安电子科技大学,2010.
[13] 耿风华,陆鑫达.网络并行计算的一种新架构[J].计算机工程,2002(3):4-6.
[14] WANG S, ANSELIN L, BHADURI B, et al. CyberGIS software:a synthetic review and integration roadmap[J]. International Journal of Geographical Information Science, 2013, 27(11):2122-2145.
[15] DOBESOVA Z. Programming language python for data processing[C]//Proceedings of 2011 International Conference on Electrical and Control Engineering(ICECE).Yichang:IEEE,2011.

利用分布式自动化并行处理框架提升空间数据分析效率

The efficiency improvement of spatial data analysis by using the distributed automatic parallel processing framework

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 13

编辑推荐

Metrics

本文评价

[1]	郭双仁, 唐芝青, 唐先龙. 自然资源大数据快速服务平台关键技术的研究与实现[J]. 测绘通报, 2020, 0(8): 131-134,138.
[2]	周琦, 杜晓, 张俊辉, 郑义, 林尚纬, 万咏涛. 并行处理技术在全球海量地理信息数据质量控制中的应用[J]. 测绘通报, 2020, 0(7): 29-33.
[3]	胡珂, 李成名, 沈建明. 分布式时空数据库去中心化负载均衡方法[J]. 测绘通报, 2018, 0(12): 65-68,128.
[4]	张金宝, 吕孝雷, 卢晓军. 结合KSTEST统计检验方法的联合像素时序干涉SAR处理技术[J]. 测绘通报, 2017, 0(8): 84-87.
[5]	孙晶, 高井祥, 史绍雨, 汪汇兵, 艾波. 分布式空间数据库在海量卫星影像管理中的应用[J]. 测绘通报, 2017, 0(5): 56-61.
[6]	孔令礼. 面向智慧城市的大数据中心建设方案设计[J]. 测绘通报, 2017, 0(10): 143-147.
[7]	翟永, 刘磊, 顾学明, 高景强, 赵薇蔚. 大规模空间数据处理模式和系统集成[J]. 测绘通报, 2016, 0(9): 99-102,122.
[8]	刘雄, 李宇, 陈刚. Arcpy支持下的线要素几何自动接边与属性检查[J]. 测绘通报, 2016, 0(8): 114-117.
[9]	龚建辉, 杨正银, 陈中林. 应急遥感影像高性能集群处理系统的设计与实现[J]. 测绘通报, 2016, 0(4): 103-105,109.
[10]	宋炜炜, 金宝轩, 方源敏. 基于规则引擎的空间数据分发服务研究[J]. 测绘通报, 2015, 0(4): 49-52.
[11]	余咏胜, 彭艳丽, 尹言军, 黄兵杰. 基于Arcpy的影像地图自动处理技术研究[J]. 测绘通报, 2015, 0(3): 82-85.
[12]	张蕊李广云王力李明磊. 基于HDFS的海量激光点云数据分块存储方法研究[J]. 测绘通报, 2014, 0(3): 21-24.
[13]	郭明强黄颖谢忠. 分布式环境下海量瓦片数据实时组织与调度策略研究[J]. 测绘通报, 2013, 0(4): 25-28.