基于制造技术

本发明专利技术公开了一种基于

【技术实现步骤摘要】
基于NIFI的空间数据自动化处理方法及装置


[0001]本专利技术属于数据处理
，具体涉及一种基于
NIFI
的空间数据自动化处理方法
、
装置
、
设备及存储介质
。

技术介绍

[0002]目前对于空间数据的处理，多数厂家开发了大量
C/S
架构的空间数据处理软件，使用环境限制严重，且对计算机性能要求较高
。
而随着空间数据在各类
B/S
架构空间数据可视化应用中越来越广泛，基于
B/S
架构的空间数据治理成为空间数据应用的新方向
。
以往的空间数据处理软件虽然也提供了大量的处理工具，但工具之间无法进行直接联通
、
大多只能人工步骤的干预才能完成一个完整的空间数据处理任务，学习使用成本高，且自动化程度低，数据处理效率低下
。
在以往的空间数据处理软件中，空间数据处理工具较为固化，只能适用特定场景
、
特定数据或者是特定参数结构的处理流程，且无法迅速有效的进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于
NIFI
的空间数据自动化处理方法，其特征在于，所述方法包括：利用
NIFI
提供的
Processor
插件分别进行基于
PostGIS、
基于
Geotools
和基于
GDAL
的空间拓展，各空间拓展根据数据类型的不同包括要素级和图层级，所述空间拓展方式包括数据流
、
处理状态和核心逻辑三个方面，其中：数据流：采用
JSON
格式作为数据流基本格式，其中，所述要素级数据流包括常规属性信息和空间数据信息，所述空间数据信息采用
OpenGIS
规范定义的
WKT
格式表达点线面数据，并规定空间数据在
JSON
中的键名为
geom
；所述图层级数据流包括数据库连接信息；处理状态：处理状态是
NiFi
处理器输出结果状态的描述，依据处理器功能的不同，通过继承
RelationShip
构建依据处理器功能不同自定义输出状态，针对各状态命名，优先可读性，用于用户看到状态名即可了解处理器的实际功用；核心逻辑：包括数据接收解析
、
数据运算处理和数据成果输出，其中，数据接收解析具体包括：将接收的字节流转换为
Json
对象，要素集解析为属性数据和空间数据，图层级则解析为数据库连接信息；数据运算处理用于规范入参
、
出参，包括基于
Geotool
和
GDAl
库开发核心逻辑的要素级处理，具体为：入参规定空间数据
、
空间数据类型和坐标参考，出参中包括预定义状态的判断类
、
执行状态以及处理结果的处理和分析类；数据成果输出包括对数据流的组装，其中要素级数据流组装包括对状态
、
属性数据和空间数据的组装，图层级数据流组装包括对状态
、
空间数据连接信息的组装
。2.
根据权利要求1所述的基于
NIFI
的空间数据自动化处理方法，其特征在于，所述图层级数据流包括数据库连接信息中的所述数据库包括空间数据库源
PostGIS。3.
根据权利要求1所述的基于
NIFI
的空间数据自动化处理方法，其特征在于，所述要素级数据流组装和所述图层级数据流组装还包括对
SRID
标识源数据空间参考数据的组装
。4.
根据权利要求1所述的基于
NIFI
的空间数据自动化处理方法，其特征在于，所述预定义状态为表意状态名，包括空间相交判断
Is_Intersection。5.
根据权利要求3所述的基于
NIFI
的空间数据自动化处理方法，其特征在于，针对要素级的核心逻辑流程包括以下步骤：针对数据流入
DataFlow
，根据数据流属性特征获取源数据坐标系
Srid
，根据数据流目录进行数据流解析并判断数据集是否为空间数据，若是，则将数据拆分为属性数据和空间数据
WKT
，若不是，则判断数据为属性数据；对空间数据
WKT
进行数据类型判断，并将判断结果与源数据坐标系
Srid
合并作为空间数据处理参数；空间数据处理包括判断类以及处理和分析类；将属性数据
、
空间数据处理状态
Relation...

【专利技术属性】
技术研发人员：杨宇，
申请(专利权)人：深圳航天智慧城市系统技术研究院有限公司，
类型：发明
国别省市：