一种基于NIFI的终端大数据分发方法、存储介质及系统技术方案

本发明专利技术提供一种基于NIFI的终端大数据分发方法、存储介质及系统，其中的方法包括：从一个数据源中获取数据，根据NIFI数据转换模型对所述数据进行解析，得到与其他数据源格式需求匹配的标准格式数据，将标准格式数据分别发送至对应格式需求的数据源进行存储；建立多个数据处理模型，将不同数据源中的数据分别处理为适于不同终端需求的目标格式数据；将需求频率大于设定频率的目标格式数据进行关系化数据入库，进行分布式集群部署；依据终端需求将目标格式数据分发至对应的目标终端。本发明专利技术能提高终端数据分发过程中的准确性和效率。

【技术实现步骤摘要】
一种基于NIFI的终端大数据分发方法、存储介质及系统
本专利技术涉及大数据处理
，具体涉及一种基于NIFI的终端大数据分发方法、存储介质及系统。
技术介绍
NIFI是基于可视化流程设计的数据分发平台，是大数据的搬运、提取、推送、转换、聚合、分发的开源软件工具，能够与Hadoop生态系统的大数据存储和各种文件、REST服务、SOAP服务、消息服务等联合使用，构成一体化的数据流服务。目前对于终端数据分发只是简单的数据传递保证数据输送到终端，但是数据分发效率和准确度还有待提升。
技术实现思路
本专利技术旨在提供一种基于NIFI的终端大数据分发方法、存储介质及系统，以解决现有技术中终端数据分发时效率和准确率低的技术问题。为实现上述目的，本专利技术采用以下技术方案：本专利技术一些实施例中提供一种基于NIFI的终端大数据分发方法，包括如下步骤：从一个数据源中获取数据，根据NIFI数据转换模型对所述数据进行解析，得到与其他数据源格式需求匹配的标准格式数据，将标准格式数据分别发送至对应格式需求的数据源进本文档来自技高网...

【技术保护点】
1.一种基于NIFI的终端大数据分发方法，其特征在于，包括如下步骤：/n从一个数据源中获取数据，根据NIFI数据转换模型对所述数据进行解析，得到与其他数据源格式需求匹配的标准格式数据，将标准格式数据分别发送至对应格式需求的数据源进行存储；/n建立多个数据处理模型，将不同数据源中的数据分别处理为适于不同终端需求的目标格式数据；/n将需求频率大于设定频率的目标格式数据进行关系化数据入库，进行分布式集群部署；/n依据终端需求将目标格式数据分发至对应的目标终端。/n

【技术特征摘要】
1.一种基于NIFI的终端大数据分发方法，其特征在于，包括如下步骤：
从一个数据源中获取数据，根据NIFI数据转换模型对所述数据进行解析，得到与其他数据源格式需求匹配的标准格式数据，将标准格式数据分别发送至对应格式需求的数据源进行存储；
建立多个数据处理模型，将不同数据源中的数据分别处理为适于不同终端需求的目标格式数据；
将需求频率大于设定频率的目标格式数据进行关系化数据入库，进行分布式集群部署；
依据终端需求将目标格式数据分发至对应的目标终端。


2.根据权利要求1所述的基于NIFI的终端大数据分发方法，其特征在于，还包括如下步骤：
跟踪目标格式数据分发状态，根据所述目标格式数据分发状态对各终端进行流量控制和调整。


3.根据权利要求1所述的基于NIFI的终端大数据分发方法，其特征在于，依据终端需求将目标格式数据分发至对应的目标终端的步骤中：
采用长连接方式将目标格式数据分发至对应的目标终端。


4.根据权利要求1-3任一项所述的基于NIFI的终端大数据分发方法，其特征在于，建立多个数据处理模型，将不同数据源中的数据分别处理为适于不同终端需求的目标格式数据的步骤中，数据处理模型包括：
CollectProcessor模块：通过sftp方式获取所述数据；
TaskConfigProcessor模块：将所述数据转为数据流；
GetFeatureProcessor模块：接收TaskConfigProcessor模块发送的数据流，创建SDE连接，得到图层要素数和最大ObjectID，并写入数据流中；
LayerBlockProcessor模块：接收GetFeatureProcessor模块发送的数据流，根据配置将其拆分成多个任务数据流；
KafkaPublish模块：接收LayerBlockProcesso...

【专利技术属性】
技术研发人员：王玉胜，
申请(专利权)人：山东立信特信息技术有限公司，
类型：发明
国别省市：山东;37