2019年地理信息产业科技进步奖已于6月25日出炉,“重庆市土地房屋专业数据库建设关键技术研究项目”荣获二等奖,该项目来源于“重庆市土地房屋类大数据应用与共享服务平台”,由重庆市国土资源和房屋勘测规划院、重庆欣荣土地房屋勘测技术研究院、北京捷泰天域信息技术有限公司与易智瑞(中国)信息技术有限公司共同完成。
重庆市素来有“山城”之称,地形地貌复杂,开发利用难度较大,水土流失分布广,生态环境安全保障压力大,环境质量继续改善的难度增大。根据2015年土地利用现状调查结果,全市国土面积8万多平方公里,数据量之大已经使得传统分析方法在全市资源环境承载力评价和国土空间适宜性评价中捉襟见肘。
为了解决以上难题,重庆市国土资源和房屋勘测规划院,将云计算、大数据等先进的信息化手段应用于国土管理中去,基于Hadoop的大数据环境,使用Spark计算框架,构建重庆市土地房屋类大数据应用与共享服务平台,解决国土资源环境承载力评价及国土空间适宜性评价的关键技术问题;基于智图大数据引擎软件(GeoQ Ida),构建大数据分析模型,并支持分析模型的拖拽式随意组合模式来快速构建工作流,实现业务定制可视化,提高引擎软件的灵活性,从而促进市国土大数据应用落地,更好地支撑市国土房管局开展土地管理工作。
重庆市土地房屋类大数据分析与共享服务平台,首先解决的是千万级图斑的叠加分析计算的问题,这在国土行业数据分析领域有着很高的应用价值。国土行业数据的一个显著特点是图斑多,整个重庆市域一年的土地利用现状数据就有700多万个图斑、永久基本农田140多万,土地规划地类600多万,在图斑量如此巨大的数据上进行GIS分析,采用传统方式是无法实现的,该平台很好的解决了这个问题,使得以前不能算的,现在可以算了,以前算的慢的,现在可以很快得到计算结果,有效支撑了国土规划评价分析、永久基本农田保护、卫片执法数据分析等方面的工作。
重庆市土地房屋类大数据分析与共享服务平台
独创的数据存储结构
重庆市国土房管数据主要包括土地资源、房屋、地质灾害、矿产资源四大类,共47个专业数据库,数据种类繁多,业务专业性强。在数据库设计时充分考虑国土资源数据体量大、种类多,大多计算跟空间信息相关,计算复杂度高等特点,因此需要对存储性能进行优化,保证数据存储的空间节省、访问速度快捷和运算高效。
将分布式数据库与传统数据存储混合使用,一方面处理无限增长的数据存储和数据查询,充分利用集群的能力来进行高速运算和存储;另一方面对现有大量空间数据和日常工作的性能效率进行传统空间数据库的调优,多线程等方式提高空间数据分析速度。大数据存储层,统一采用HDFS分布式文件系统,实现对空间数据的存储。
传统GIS应用与大数据应用混合模式落地
解决传统大数据分析计算对于空间数据无法完美支持的问题,“全市一盘棋”模式升级国土资源环境承载力评价,扫清传统作业无法逾越的障碍,提升效率。针对重庆直辖市全市范围进行集中连片度计算,使用常规GIS软件,分区县进行,基本约1天处理一个区县;较大面积的区县处理耗时较长,超过1天。按平均值,重庆市38个区县,集中连片度计算耗时38人天。基于重庆市土地房屋类大数据应用与共享服务平台进行集中连片度计算,整个重庆市“全市一盘棋”进行处理,通过重庆市土地房屋类大数据应用与共享服务平台,计算出整个重庆市一块优质农田由约30多万个图斑组成,跨约8个区县,并且处理时长缩减1000倍,这是传统作业无法企及的。
重庆市土地集中连片度计算
重庆市土地房屋类大数据应用与共享服务平台自上线以来,递交土地房屋类大数据的空间分析计算及空间统计计算2000余次,完成计算量500余小时。并且,按常规作业耗时进行对比,整体计算时间缩短高达1500倍,大大的提升了工作效率,并减少人工操作的误差。
该平台在重庆市国土空间规划编制中发挥了重要的作用,解决了传统单机模式下处理单个区县的资源承载力评价数据耗时长,要想实现省级数据计算更是难上加难的困扰,并创新性的解决跨区县的数据发现;将大数据空间分析能力应用于“一张图”,提升行政审批的效率,健全电子政务建设。