NoSQL空间数据管理在省级水利数据共享服务平台中的应用

doi:10.13474/j.cnki.11-2246.2015.387

摘要/Abstract

摘要：

近年来,大型空间信息系统用户交互数据、业务监测数据、遥感影像数据等不断增长。高效的海量空间数据存储管理、迅速准确的检索、简便可靠快速的扩展已成为地学信息科学和水利业务应用领域日益关注的热点问题。本文结合NoSQL和全文检索技术,在江西省水利数据共享平台建设实践中基于MongoDB和Lucene开源软件库设计实现了OGC Web地图服务瓦片数据的存储管理、海量空间矢量数据和元数据的全文检索。平台建设完成后大幅提升了数据库管理和检索的效率,达到了100万条记录模糊检索毫秒级响应的目标,较好地实现了海量水利数据的管理,具有良好联通性和互动性、地理数据丰富的空间分析能力,期望能以此为基础带动江西省水利信息的交流融合,促进江西省水利现代化建设。

关键词: NoSQL, 数据管理, 水利信息化, 水利数据共享平台, MongoDB, Lucene

中图分类号:

P208

胡应龙, 陈杰. NoSQL空间数据管理在省级水利数据共享服务平台中的应用[J]. 测绘通报, 2015, 0(12): 88-92.

HU Yinglong, CHEN Jie. Application of NoSQL Spatial Data Management in Provincial Water Conservancy Data Sharing Service Platform[J]. 测绘通报, 2015, 0(12): 88-92.

参考文献

[1] 胡泽林, 李淼, 张建. 基于Web的海量数据库系统研究与应用[J]. 计算机应用, 2006(S1):70-72.
[2] 陈崇成, 林剑峰, 吴小竹, 等. 基于NoSQL的海量空间数据云存储与服务方法[J]. 地球信息科学学报, 2013(2):166-174.
[3] 牛守明. 遥感海量数据管理系统研究与实现[D]. 济南:山东科技大学, 2005.
[4] 张和生, 张毅, 胡东成. 海量数据管理框架与方法研究[J]. 计算机工程与应用, 2004(11):26-29.
[5] 申德荣, 于戈, 王习特, 等. 支持大数据管理的NoSQL系统研究综述[J]. 软件学报, 2013(8):1786-1803.
[6] 朱来友, 李世勤. 水利信息化势在必行——对江西水利信息化建设的认识[J]. 水利规划与设计, 2004(1):50-54.
[7] 蔡阳. 现代信息技术与水利信息化[J]. 水利水电技术, 2009(8):133-138.
[8] 孙祥鹏, 廖华春, 肖尧轩. 珠江水利信息化顶层设计初探[J]. 人民珠江, 2011(1):49-51.
[9] 许瑛. "十一五"以来江西水利科技主要成就[J]. 江西水利科技, 2010(2):112-116.
[10] 刘政民. 21世纪初江西水利发展战略思考[J]. 江西水利科技, 2001(3):129-137.
[11] 孙晓. 江西水利:在开拓中前进在创新中发展[J]. 中国水利, 2008(24):112-114.
[12] 谢敏, 谢元鉴. 江西省水利地理信息共享服务平台建设的思考[J]. 水利信息化, 2013(2):25-28.
[13] 王勇. 大型水利地理信息系统的建设研究——以江苏省长江河道监测管理系统为例[D]. 南京:河海大学,2007.
[14] 李泽建. 地理信息系统框架研究及其在水利行业中的应用[D]. 昆明:昆明理工大学, 2002.
[15] 郭红燕, 丁树柏, 张友焱, 等. 分布式多源油气勘探数据共享二三维一体化平台研究[J]. 遥感信息, 2011(5):20-26.
[16] 谢冬梅, 胡钢, 沈波, 等. 基于Internet的水利地理信息系统研究[J]. 微处理机, 2007(1):49-52.
[17] 蔡勇, 胡晓荣, 殷丽琼, 等. 基于WebGIS的水利地理信息系统研究与实现[C]//第十三届华东六省一市测绘学会学术交流会.南京:[s.n.],2011.
[18] 李冯筱, 罗高松. NoSQL理论体系及应用[J]. 电信科学, 2012(12):23-30.
[19] 范凯. NoSQL数据库综述[J]. 程序员, 2010(6):76-78.
[20] 刘臣. 非关系数据库CouchDB的应用[J]. 电脑知识与技术, 2013(14):3220-3222.
[21] 郭匡宇. 基于MongoDB的传感器数据分布式存储的研究与应用[D]. 南京:南京邮电大学, 2013.
[22] 唐李洋, 倪志伟, 李应. 基于Cassandra的可扩展分布式反向索引的构建[J]. 计算机科学, 2011(6):187-190.
[23] 卓海艺. 基于HBase的海量数据实时查询系统设计与实现[D]. 北京:北京邮电大学, 2013.
[24] 张景云. 基于Redis的矢量数据组织研究[D]. 南京:南京师范大学, 2013.
[25] 栾志高, 张吉. 内存数据库Tokyo Cabinet在电子商务网站中的应用[J]. 信息与电脑:理论版, 2011(3):92-93.
[26] 陈明. 分布系统设计的CAP理论[J]. 计算机教育, 2013(15):109-112.
[27] 张华强. 关系型数据库与NoSQL数据库[J]. 电脑知识与技术, 2011(20):4802-4804.
[28] 马文杰. 基于CAP理论的海量数据存储研究与应用[D].苏州:苏州大学, 2013.
[29] 刘一梦. 基于MongoDB的云数据管理技术的研究与应用[D]. 北京:北京交通大学, 2012.
[30] 田帅. 一种基于MongoDB和HDFS的大规模遥感数据存储系统的设计与实现[D]. 杭州:浙江大学, 2013.
[31] 陈超, 王亮, 闫浩文, 等. 一种基于NoSQL的地图瓦片数据存储技术[J]. 测绘科学, 2013(1):142-143.
[32] 魏祖宽, 胡娟, 金在弘. WEBGIS混合缓存的应用与研究[J]. 计算机系统应用, 2009(9):144-148.
[33] 刘慧杰, 李英成, 靳海亮. 地图缓存技术显示模式的研究[J]. 地理信息世界, 2012(3):52-55.
[34] 李林, 朱俊丰, 邓仕虎. 跨平台地图缓存一体化的研究与应用[J]. 地理空间信息, 2013(2):74-77.
[35] 王燕. 二三维一体化的WebGIS系统的研究与实现[J]. 现代测绘, 2011(5):46-47.
[36] 谢红, 贠建明. 二三维一体化的防汛指挥地理信息系统建设[J]. 地理空间信息, 2013(4):1-3.
[37] 陈建忠, 饶长春. 国土资源二三维一体化GIS管理平台研究[J]. 国土资源信息化, 2014(1):45-48.
[38] 马柳青. 三维GIS的发展与RealSpace技术[EB/OL].[2015-03-06] . http://www.supermap.com.cn/magazine/page100.html.
[39] 卢光华. 基于Lucene的全文检索研究与应用[D]. 长春:吉林大学, 2009.
[40] 陈洪猛. 全文检索技术的研究与实现[D]. 北京:北京工业大学, 2008.
[41] 孙海, 王乘, 吴栋, 等. 空间信息技术在水利信息管理中的应用[J]. 人民长江, 2007(10):122-125.