【技术实现步骤摘要】
本申请涉及大数据，尤其涉及一种轻量化空间数据质检方法、装置、设备及介质。
技术介绍
1、数据质检，是指对数据进行检查、验证和评估，以确保其质量、准确性、完整性和一致性。
2、拓扑关系，是满足拓扑几何学原理的各空间数据间的相互关系，即用点、弧段和多边形所表示的实体之间的邻接、关联、包含和连通关系。比如，点与点之间的邻接关系、点与面之间的包含关系、线与面之间的相离关系、面与面之间的重合关系等。
3、目前，在空间数据的质检流程中，当面对不同的质检需求时，往往需要基于某种拓扑关系，制定一定的规则，以对待质检空间数据进行质检。然而，存在一些空间数据，比如其存储依赖于postgis空间数据库的空间数据，当数据精度过高、质检范围过大时，质检所需的标准数据或参考数据往往因为计算节点(又称为计算单元)的内存不足导致质检任务失败，或者因为空间数据的数据量过大导致质检效率低下。
技术实现思路
1、本申请的目的旨在至少在一定程度上解决上述技术问题之一。
2、为此，本申请提出了一种轻量化空间数据质检方法、装置、设备及介质，通过获取多个第一空间数据；其中，多个第一空间数据具有对应的数据类型；根据数据类型，从预设的模板集合中获取与数据类型对应的区域划分模板；根据区域划分模板，对多个第一空间数据进行第一划分，以得到至少一个第一空间数据集合；对任一第一空间数据集合进行质检，以得到对应的子质检结果；根据各第一空间数据集合的子质检结果，生成多个第一空间数据的目标质检结果。由此，可以基
3、本申请第一方面实施例提出了一种轻量化空间数据质检方法，方法包括：获取多个第一空间数据；其中，所述多个第一空间数据具有对应的数据类型；根据所述数据类型，从预设的模板集合中获取与所述数据类型对应的区域划分模板；根据所述区域划分模板，对所述多个第一空间数据进行第一划分，以得到至少一个第一空间数据集合；对任一所述第一空间数据集合进行质检，以得到对应的子质检结果；根据各所述第一空间数据集合的子质检结果，生成所述多个第一空间数据的目标质检结果。
4、可选地，所述对任一所述第一空间数据集合进行质检，以得到对应的子质检结果，包括：针对任一所述第一空间数据集合，构建对应的空间索引r树；其中，所述空间索引r树包括至少一个叶子节点；对任一所述叶子节点中的第一空间数据进行对比质检，以得到所述叶子节点的第一质检结果；根据各所述叶子节点的第一质检结果，生成所述第一空间数据集合的子质检结果。
5、可选地，所述对任一所述叶子节点中的第一空间数据进行对比质检，以得到所述叶子节点的第一质检结果，包括：针对任一所述叶子节点，将所述叶子节点中的第一空间数据进行第二划分，以得到至少一个第二空间数据集合；根据任一所述第二空间数据集合建立对应的质检子任务；将各所述质检子任务分别分配至对应的计算单元，以使各所述计算单元并行执行对应的质检子任务；根据各所述计算单元的第二质检结果，生成所述叶子节点的第一质检结果。
6、可选地，所述质检子任务用于对应的所述计算单元执行以下操作：根据所述质检子任务对应的第二空间数据集合，从所述叶子节点对应的所述至少一个第二空间数据集合中确定至少一个目标空间数据集合；其中，所述目标空间数据集合用于与所述质检子任务对应的第二空间数据集合进行对比；针对任一所述目标空间数据集合，将所述质检子任务对应的第二空间数据集合与所述目标空间数据集合进行对比质检，以得到第一对比结果；基于各所述第一对比结果，生成所述质检子任务的第二质检结果。
7、可选地，所述针对任一所述叶子节点，将所述叶子节点中的第一空间数据进行第二划分，以得到至少一个第二空间数据集合，包括：针对任一所述叶子节点，获取所述叶子节点中的第一空间数据的第一数据总量；基于各所述计算单元的可承载上限和所述第一数据总量，将所述叶子节点中的第一空间数据进行第二划分，得到所述至少一个第二空间数据集合；其中，任一所述第二空间数据集合中的第一空间数据的第二数据总量不大于对应的计算单元的可承载上限。
8、可选地，所述针对任一所述第一空间数据集合，构建对应的空间索引r树，包括：针对任一所述第一空间数据集合，采用开源栅格空间数据转换库gdal内置的ogr2ogr工具，将所述第一空间数据集合对应的文件转换为spatialite数据库引擎可加载的gpkg数据格式，以构建对应的空间索引r树。
9、可选地，所述区域划分模板包括多个设定区域；所述根据所述区域划分模板，对所述多个第一空间数据进行第一划分，以得到至少一个第一空间数据集合，包括：针对任一所述第一空间数据，从所述区域划分模板中确定所述第一空间数据所属的设定区域；针对任一所述设定区域，基于属于所述设定区域中的第一空间数据，构建对应的第一空间数据集合。
10、可选地，所述第一空间数据为面数据；所述针对任一所述第一空间数据，从所述区域划分模板中确定所述第一空间数据所属的设定区域，包括：针对任一所述面数据，判断所述面数据是否与所述区域划分模板中的至少俩设定区域相交；在确定所述面数据与所述区域划分模板中的至少俩设定区域相交的情况下，将与所述面数据相交的所述至少俩设定区域均确定为所述面数据所属的设定区域。
11、可选地，在所述根据各所述第一空间数据集合的子质检结果，生成所述多个第一空间数据的目标质检结果之后，所述方法还包括：对所述目标质检结果进行去重处理。
12、可选地，所述获取多个第一空间数据，包括：获取待质检空间数据表和参考空间数据表；其中，所述待质检空间数据表包括多个待质检空间数据；所述参考空间数据表用于对所述多个待质检空间数据进行质检；将所述待质检空间数据表和所述参考空间数据表进行融合，以得到融合空间数据表；将所述融合空间数据表中的空间数据作为第一空间数据。
13、本申请实施例的轻量化空间数据质检方法，通过获取多个第一空间数据；其中，多个第一空间数据具有对应的数据类型；根据数据类型，从预设的模板集合中获取与数据类型对应的区域划分模板；根据区域划分模板，对多个第一空间数据进行第一划分，以得到至少一个第一空间数据集合；对任一第一空间数据集合进行质检，以得到对应的子质检结果；根据各第一空间数据集合的子质检结果，生成多个第一空间数据的目标质检结果。由此，可以基于空间数据所属的数据类型，确定需要采用的定制化的区域划分模板，从而可以基于区域划分模板，实现空间数据的划分和轻量化，进一步地，仅对划分后的各空间数据集合中的空间数据进行质检，可以减少质检过程的计算量，极大地降低质检资源，有效提升质检效率，改善用户的使用体验。
14、本申请第二方面实施例提出了一种轻量化空间数据质检装置，所述装置包括：...
【技术保护点】
1.一种轻量化空间数据质检方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述对任一所述第一空间数据集合进行质检，以得到对应的子质检结果，包括：
3.根据权利要求2所述的方法，其特征在于，所述对任一所述叶子节点中的第一空间数据进行对比质检，以得到所述叶子节点的第一质检结果，包括：
4.根据权利要求3所述的方法，其特征在于，所述质检子任务用于对应的所述计算单元执行以下操作：
5.根据权利要求3所述的方法，其特征在于，所述针对任一所述叶子节点，将所述叶子节点中的第一空间数据进行第二划分，以得到至少一个第二空间数据集合，包括：
6.根据权利要求1所述的方法，其特征在于，所述区域划分模板包括多个设定区域；
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述第一空间数据为面数据；
8.一种轻量化空间数据质检装置，其特征在于，所述装置包括：
9.一种电子设备，其特征在于，包括：
10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，
...【技术特征摘要】
1.一种轻量化空间数据质检方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述对任一所述第一空间数据集合进行质检，以得到对应的子质检结果，包括：
3.根据权利要求2所述的方法，其特征在于，所述对任一所述叶子节点中的第一空间数据进行对比质检，以得到所述叶子节点的第一质检结果，包括：
4.根据权利要求3所述的方法，其特征在于，所述质检子任务用于对应的所述计算单元执行以下操作：
5.根据权利要求3所述的方法，其特征在于，所述针对任一所述叶子节点，将所述叶子节点中...
【专利技术属性】
技术研发人员：何金亮，陈泽伟，李旭阳，
申请(专利权)人：杭州数梦工场科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。