【技术实现步骤摘要】
本专利技术涉及数据处理，尤其是涉及一种数据处理查询方法、装置、服务器及介质。
技术介绍
1、目前，自然资源领域内，开展业务主要以国土调查数据、林草湿调查数据、国土空间规划数据等行业基础数据作为统一基底，通常存储在传统关系型数据库，包括oracle、postgresql等，数据查询主要采用sql语句。
2、按照国土空间用途管制要求，在进行用地选址时，要执行查询来筛选满足管控要求和业务需求的用地图斑，以“三区三线”、国土空间用途管制要求、业务其他相关需求等为约束条件，对基底数据进行逐条满足要求查询。即采用sql语句将基底数据中所有要素跟每一个约束表中的所有要素进行空间计算与分析，并涉及坐标转换、面积计算、距离条件、缓冲区条件、poi条件查询等，计算量超大，耗时长。例如，基于全国三调数据，查询湘潭市行政区划范围内，满足在城镇开发边界内，不压盖生态保护红线，不压盖永久基本农田，面积大于 1000 km2，小于 30000 km2的图斑，使用sql传统查询方法，耗时约为5h。另外，当个别图层中包括超大要素时，如长江、鄱阳湖等要素，所有要素与之进行计算相交时，将带来超大的计算量，出现时间过长甚至出错崩溃的情况。并且，在进行选址方案比对或业务需求变动时，需要反复改动查询条件，每查询一次将耗时数小时，效率极低。
3、当前的另外一种数据库存储方式是分布式数据库，可以进行分布式并行查询与计算，提供快速检索能力。但分布式数据库通常为了提供容错性和高可靠性，采取冗余存储，可能造成同一图斑分布在不同的存储节点时重复存储产生冗余数据
技术实现思路
1、有鉴于此，本专利技术的目的在于提供一种数据处理查询方法、装置、服务器及介质，针对已建成的关系型数据库，对大规模矢量数据进行分块处理和分布式缓存，解决分布式计算问题，极大的提升了查询速度。
2、第一方面，本专利技术实施例提供了一种数据处理查询方法，所述方法应用于查询引擎，所述查询引擎配置有分布式缓存节点，所述分布式缓存节点用于存储国土瓦片数据，所述国土瓦片数据是对关系型数据库内存储的大规模国土矢量数据进行分块处理得到的，所述国土瓦片数据包括多个要素数据，所述方法包括：
3、接收图斑数据查询请求，所述图斑数据查询请求携带有查询条件，所述查询条件至少包括待查询图斑数据与管控区约束数据之间的空间关系，所述管控区约束数据用于描述国土空间用途管制；
4、基于所述国土瓦片数据的多级索引，从所述分布式缓存节点存储的所述国土瓦片数据中，检索满足所述查询条件的所有目标要素数据；
5、部分图斑被分割成多个要素数据分布在不同的瓦片中，基于预先配置的空间关系与合并逻辑之间的映射关系确定目标合并逻辑，以按照所述目标合并逻辑对所述目标要素数据进行逻辑合并，确定所述目标要素数据所在的原始图斑是否满足查询要求，得到所述图斑数据查询请求对应的图斑数据查询结果。
6、在一种实施方式中，在接收图斑数据查询请求的步骤之前，所述方法还包括：
7、读取关系型数据库存储的国土矢量数据；
8、按照空间范围对所述国土矢量数据进行分块处理得到国土瓦片数据，并构建所述国土瓦片数据对应的多级索引；其中，所述多级索引包括所述国土瓦片数据之间的空间索引，还包括所述国土瓦片数据内包含的要素数据之间的空间索引和属性索引；
9、将所述国土瓦片数据及其对应的所述多级索引，缓存至所述分布式缓存节点。
10、在一种实施方式中，在将所述国土瓦片数据及其对应的所述多级索引，缓存至所述分布式缓存节点的步骤之后，所述方法还包括：
11、对所述分布式缓存节点存储的所述国土瓦片数据进行定期更新；
12、和/或，当监听到所述关系型数据库内存储的所述国土矢量数据发生变化时，对所述分布式缓存节点存储的所述国土瓦片数据进行联动更新。
13、在一种实施方式中，所述空间关系包括：包含关系、合并包含关系、外部关系、相交关系中的一种或多种；
14、所述包含关系为：所述待查询图斑数据位于所述管控区约束数据之内的一个图斑数据上；
15、所述合并包含关系为：所述待查询图斑数据位于所述管控区约束数据之内的多个图斑数据上；
16、所述外部关系为：所述待查询图斑数据位于所述管控区约束数据之外；
17、所述相交关系为：所述待查询图斑数据部分位于所述管控区约束数据之内。
18、在一种实施方式中，所述查询引擎还配置有分布式计算节点，每个所述分布式计算节点均与一个或多个所述分布式缓存节点对应；基于所述国土瓦片数据之间的多级索引，从所述分布式缓存节点存储的所述国土瓦片数据中，检索满足所述查询条件的目标要素数据的步骤，包括：
19、生成每个所述分布式计算节点对应的查询任务；
20、当所述分布式计算节点接收到所述查询任务时，则基于所述国土瓦片数据之间的多级索引，从所述分布式计算节点对应的所述分布式缓存节点存储的所述国土瓦片数据中，检索满足所述查询条件的目标要素数据。
21、在一种实施方式中，所述查询条件还包括业务约束条件；基于所述国土瓦片数据的多级索引，从所述分布式缓存节点存储的所述国土瓦片数据中，检索满足所述查询条件的所有目标要素数据的步骤，还包括：
22、利用所述国土瓦片数据的空间索引，定位至目标国土瓦片数据和所述目标国土瓦片数据所在的目标分布式缓存节点；
23、利用所述国土瓦片数据内包含的要素数据的空间索引和属性索引，从所述目标分布式缓存节点存储的所述国土瓦片数据中，检索满足所述空间关系和所述业务约束条件的所有目标要素数据；其中，所述业务约束条件包括面积条件、距离条件、缓冲区条件、poi条件中的一种或多种。
24、在一种实施方式中，基于预先配置的空间关系与合并逻辑之间的映射关系确定目标合并逻辑，以按照所述目标合并逻辑对所述目标要素数据进行逻辑合并，确定所述目标要素数据所在的原始图斑是否满足查询要求，得到所述图斑数据查询请求对应的图斑数据查询结果的步骤，包括：
25、如果所述空间关系为所述包含关系、合并包含关系或所述外部关系，则对所述目标要素数据进行“与”合并，即，一个图斑被分割后的所有要素数据都是目标要素数据，该图斑满足查询要求，得到所述查询请求对应的图斑数据查询结果；
26、或者，如果所述空间关系为所述相交关系，则对所述目标要素数据进行“或”合并，即，一个图斑被分割后的任意一个要素数据是目标要素数据，该图斑满足查询要求，得到所述查询请求对应的图斑数据查询结果。
27、第二方面，本专利技术实施例还提供一种数据处理查询装置，所述装置应用于查询引擎，所述查询引擎配置有分布式缓存节点，所述分布式缓存节点用于存储国土瓦片数据，所述国土瓦片数据是本文档来自技高网...
【技术保护点】
1.一种数据处理查询方法，其特征在于，所述方法应用于查询引擎，所述查询引擎配置有分布式缓存节点，所述分布式缓存节点用于存储国土瓦片数据，所述国土瓦片数据是对关系型数据库内存储的大规模国土矢量数据进行分块处理得到的，所述国土瓦片数据包括多个要素数据，所述方法包括：
2.根据权利要求1所述的数据处理查询方法，其特征在于，在接收图斑数据查询请求的步骤之前，所述方法还包括：
3.根据权利要求2所述的数据处理查询方法，其特征在于，在将所述国土瓦片数据及其对应的所述多级索引，缓存至所述分布式缓存节点的步骤之后，所述方法还包括：
4.根据权利要求1所述的数据处理查询方法，其特征在于，所述空间关系包括：包含关系、合并包含关系、外部关系、相交关系中的一种或多种；
5.根据权利要求1所述的数据处理查询方法，其特征在于，所述查询引擎还配置有分布式计算节点，每个所述分布式计算节点均与一个或多个所述分布式缓存节点对应；基于所述国土瓦片数据之间的多级索引，从所述分布式缓存节点存储的所述国土瓦片数据中，检索满足所述查询条件的所有目标要素数据的步骤，包括：
...【技术特征摘要】
1.一种数据处理查询方法，其特征在于，所述方法应用于查询引擎，所述查询引擎配置有分布式缓存节点，所述分布式缓存节点用于存储国土瓦片数据，所述国土瓦片数据是对关系型数据库内存储的大规模国土矢量数据进行分块处理得到的，所述国土瓦片数据包括多个要素数据，所述方法包括：
2.根据权利要求1所述的数据处理查询方法，其特征在于，在接收图斑数据查询请求的步骤之前，所述方法还包括：
3.根据权利要求2所述的数据处理查询方法，其特征在于，在将所述国土瓦片数据及其对应的所述多级索引，缓存至所述分布式缓存节点的步骤之后，所述方法还包括：
4.根据权利要求1所述的数据处理查询方法，其特征在于，所述空间关系包括：包含关系、合并包含关系、外部关系、相交关系中的一种或多种；
5.根据权利要求1所述的数据处理查询方法，其特征在于，所述查询引擎还配置有分布式计算节点，每个所述分布式计算节点均与一个或多个所述分布式缓存节点对应；基于所述国土瓦片数据之间的多级索引，从所述分布式缓存节点存储的所述国土瓦片数据中，检索满足所述查询条件的所有目标要素数据的步骤，包括：
6.根据权利要求1所述的数据处理查询方法，其特征在于，所述查询条件还包括业务约束条件；基于所述国...
【专利技术属性】
技术研发人员：宋双双，王宇翔，胡斌，陆泽，杜军英，白晨光，刘星月，田卫方，
申请(专利权)人：航天宏图信息技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。