一种农业业务数据处理系统及方法技术方案

本发明专利技术公开一种农业业务数据处理系统及方法，包括数据中台和数据采集装置；数据采集装置用于采集农户侧的农作物数据和农业服务中心的农业数据源信息；利用数据中台对采集的农作物数据以及农业数据源信息进行预处理，生成同一业务场景下的数据源；将同一业务场景下的数据源作为供需求端使用的农业业务数据，响应需求端的农业业务需求。上述方案将多源数据进行逻辑封装，形成数据中台，实现农业业务数据的标准化；利用大数据和数据中台技术打破农产品从种植到销售各业务环节的数据孤岛，整合数据结构，形成数据闭环，将农作物数据获取、农业媒介渠道管理、农产品营销链路、运营状况、财务管理等各种数据串联，有助于形成数据驱动农业发展的新局面。业发展的新局面。业发展的新局面。

【技术实现步骤摘要】
一种农业业务数据处理系统及方法


[0001]本专利技术属于农业
，具体涉及一种农业业务数据处理系统及方法。

技术介绍

[0002]由于很多农户对于新兴信息技术的认知和学习程度有限，导致了现代信息技术在农业产业中普及比较慢，所以当前大多数农户对农业生产过程的监测和数据采集依旧靠人工进行观察和统计，这样就造成数据可能不准确、不及时等问题；在农业数据的分析方面，由于前期数据源的一系列问题，导致后来根据数据分析出的结果也存在很大问题，往往还是靠经验进行估算，不能精确对农业生产做出指导。平台要达到对农业生产数据进行智能采集、智能监控到提升农业产品的销售，从而需要有效对农业各类业务数据进行贯通，提升信息化管理水平，为农业从业者和管理者辅助决策提供数据支撑。

技术实现思路

[0003]为了实现现有技术中的需求，本专利技术提供一种农业业务数据处理系统及方法，整合了数据结构，统一数据出口，形成数据闭环，将农业生产数据的采集、客户获取、农业媒介渠道管理、农产品营销链路、运营状况、财务管理等相关数据进行结合，有助于形成农业发展新局面。针对当下农户对于农业数据采集难、采集不准确、不及时、采集后无法有效分析利用等问题，总结出了智慧农业数据采集的实现路径，从农业实际应用角度出发，以大数据、数据中台技术打破农产品从种植到销售中各环节的数据孤岛，从实际问题中提出具体的业务需求，解决了在复杂网络结构下的农业数据采集和分析不当导致的在各个业务场景下独立存在的问题。有效的使用户在农业生产过程中因数据缺失或者无法获得准确数据而不能增加产量或收入的问题，具有较好的实际应用意义。
[0004]本专利技术通过以下技术手段解决上述技术问题：
[0005]一种农业业务数据处理系统，包括数据中台和数据采集装置；
[0006]所述数据采集装置用于采集农户侧的农作物数据和农业服务中心的农业数据源信息；
[0007]所述数据中台对采集的农作物数据和农业数据源信息进行预处理，生成同一业务场景下的数据源；
[0008]将所述同一业务场景下的数据源作为供需求端使用的农业业务数据农业，响应需求端的农业业务需求；
[0009]其中，所述数据采集装置包括：与农业服务中心依次连接的数据采集模块和数据处理模块，以及设置于农业服务中心与数据采集模块之间的通用接口；
[0010]所述数据采集模块采用通用接口通过通信介质与所述农业服务中心相互通信，根据预先定义的通信协议远程连接农业服务中心和农户侧，采集来自所述农户侧的农作物数据和农业服务中心的农业数据源信息；
[0011]所述数据处理模块，用于对数据采集模块采集的农作物数据以及农业数据源信息
进行预处理，并通过RS485接口与4GDTU通讯模块发送给所述数据中台。
[0012]优选的，所述农业服务中心包括多个独立运行的服务中心，所述服务中心包括多个提供不同业务类型的农业服务。
[0013]优选的，所述数据中台包括：自下而上依次连接的处理层、数据操作层、数据列表层、数据明细层、汇总数据层和数据应用层；
[0014]其中，所述处理层，用于响应需求端的同步请求消息，实时同步数据源列表的增量数据，对所述增量数据进行逻辑封装并储存；
[0015]数据操作层，用于将处理层存储的数据按照不同的业务类型生成业务库，并将业务库的原始数据进行结构化处理后存储到对应的目录；
[0016]数据列表层，用于构建各业务库所需的业务列表；所述业务列表包括：媒体资源数据、客户列表数据、农产品供应商列表数据和各角色人员信息数据；
[0017]数据明细层，用于建立各业务库和业务列表之间的映射关系；
[0018]汇总数据层，用于基于数据明细层定义相应的全局分析指标，形成业务流形式的全量数据；
[0019]数据应用层，用于获取业务流形式的全量数据，基于农业业务需求在全局分析指标中调用个体分析指标，对全量数据进行预测，生成同一业务场景下的数据源。
[0020]进一步地，所述数据操作层包括：分类存储模块，用于根据预先定义的各类农业数据的格式和农作物/家禽正常生长的环境参数范围K(K1
‑
Kn)，以及分析决策集M{Ma，Mb， Mc}；将获得农作物数据和农业数据源信息作为原始数据，对原始数据进行校验，校验后把没有用的数据或者格式类别不正确的数据删除后剩余的数据作为有效数据，并按照其数据类型进行分类存储；
[0021]决策分析模块，用于将有效数据与预先定义的此类数据正常生长的环境参数范围K (K1
‑
Kn)进行比对，若数据在正常范围内，则触发分析决策事件中数据正常事件Ma，并保存相关数据；若数据接近或低于正常参数范围K(K1
‑
Kn)中的K1时，则触发分析决策事件中数据偏低事件Mb，并向农户侧发出信息预警，并将相关数据进行存储，再启动事件 Mb的应急处理方案；若数据接近或高于正常参数范围K(K1
‑
Kn)中的Kn时，则触发分析决策事件中数据偏低事件Mc，并向农户侧发出信息预警，并将相关数据进行存储，启动事件Mc的应急处理方案；
[0022]获取模块，用于获取触发不同分析决策事件的相关数据分别存储到对应的目录。
[0023]进一步地，所述汇总数据层包括：
[0024]分析模块，用于从所述业务库中解析出所述增量数据；
[0025]部署模块，用于部署所述增量数据相应的数据分析应用场景；所述数据分析应用场景，包括业务状况分析、财务状况、人效模型和风险预测。
[0026]进一步地，所述数据应用层包括：
[0027]标准化处理模块，对所述业务流形式的全量数据的初始数字化信息进行标准化处理，滤掉不符合个体分析指标的数据，得到无噪声的数据；
[0028]预测模块，用于基于农业业务需求从全量数据中选取查询字段，建立多个查询字段之间的数据血缘关系模型；
[0029]所述查询字段包括：噪声信息、异常行为、数据源类型和数据源来源信息字段。
[0030]优选的，所述数据采集模块包括：
[0031]同步单元，用于向目标农业服务中心发送同步请求，与所述农业服务中心的源数据库建立同步连接；
[0032]第一数据读取单元，用于采用开源框架工具，读取源数据库二进制日志文件列表中的结构化数据；
[0033]第二数据读取单元，用于采用flume+kafka读取源数据库中的非结构化数据。
[0034]进一步地，所述数据处理模块包括：
[0035]构建单元，用于建立包含结构化/非结构化数据的数据源列表；
[0036]处理单元，用于基于flink开源技术，处理所述数据源列表的增量数据。
[0037]一种农业业务数据处理方法，所述方法包括：
[0038]采集农户侧的农作物数据和农业服务中心的农业数据源信息；
[0039]对采集的农作物数据以及农业数据源信息进行预处理，生成同一业务场景下的数据源；...

【技术保护点】

【技术特征摘要】
1.一种农业业务数据处理系统，其特征在于，包括数据中台和数据采集装置；所述数据采集装置用于采集农户侧的农作物数据和农业服务中心的农业数据源信息；所述数据中台对采集的农作物数据和农业数据源信息进行预处理，生成同一业务场景下的数据源；将所述同一业务场景下的数据源作为供需求端使用的农业业务数据农业，响应需求端的农业业务需求；其中，所述数据采集装置包括：与农业服务中心依次连接的数据采集模块和数据处理模块，以及设置于农业服务中心与数据采集模块之间的通用接口；所述数据采集模块采用通用接口通过通信介质与所述农业服务中心相互通信，根据预先定义的通信协议远程连接农业服务中心和农户侧，采集来自所述农户侧的农作物数据和农业服务中心的农业数据源信息；所述数据处理模块，用于对数据采集模块采集的农作物数据以及农业数据源信息进行预处理，并通过RS485接口与4GDTU通讯模块发送给所述数据中台。2.如权利要求1所述的一种农业业务数据处理系统，其特征在于，所述农业服务中心包括多个独立运行的服务中心，所述服务中心包括多个提供不同业务类型的农业服务。3.如权利要求1所述的一种农业业务数据处理系统，其特征在于，所述数据中台包括：自下而上依次连接的处理层、数据操作层、数据列表层、数据明细层、汇总数据层和数据应用层；其中，所述处理层，用于响应需求端的同步请求消息，实时同步数据源列表的增量数据，对所述增量数据进行逻辑封装并储存；数据操作层，用于将处理层存储的数据按照不同的业务类型生成业务库，并将业务库的原始数据进行结构化处理后存储到对应的目录；数据列表层，用于构建各业务库所需的业务列表；所述业务列表包括：媒体资源数据、客户列表数据、农产品供应商列表数据和各角色人员信息数据；数据明细层，用于建立各业务库和业务列表之间的映射关系；汇总数据层，用于基于数据明细层定义相应的全局分析指标，形成业务流形式的全量数据；数据应用层，用于获取业务流形式的全量数据，基于农业业务需求在全局分析指标中调用个体分析指标，对全量数据进行预测，生成同一业务场景下的数据源。4.如权利要求3所述的一种农业业务数据处理系统，其特征在于，所述数据操作层包括：分类存储模块，用于根据预先定义的各类农业数据的格式和农作物/家禽正常生长的环境参数范围K(K1
‑
Kn)，以及分析决策集M{Ma，Mb，Mc}；将获得农作物数据和农业数据源信息作为原始数据，对原始数据进行校验，校验后把没有用的数据或者格式类别不正确的数据删除后剩余的数据作为有效数据，并按照其数据类型...

【专利技术属性】
技术研发人员：赵恒章，李伟，田守霞，李本科，张增春，
申请(专利权)人：赵恒章，
类型：发明
国别省市：