【技术实现步骤摘要】
一种用于农业数据分析处理的数据中台系统
[0001]本专利技术属于大数据
，尤其涉及一种用于农业数据分析处理的数据中台系统。
技术介绍
[0002]农业数据分析处理的主要技术是数据中台系统。通常情况下，数据中台系统同步所属农业产品后台数据，存储于数据中台，根据自定义业务逻辑对该农业数据进行挖掘、分析、处理获取结果数据集，并对结果数据集进行封装，为农业领域从事人员提供可视化查询、查看入口，从而为其运营决策提供数据支持。
[0003]现有技术中，在实现数据分析时，通过数据关键词信息进行编码加工处理，如果数据源来源复杂，数据特征不一，可能会出现各不同数据源的数据分别分析，无法整合处理，造成不同业务系统之间数据割裂的问题。
[0004]目前国内各农业系统由于业务模式不同，数据生成方式复杂多样，造成数据存储格式不同，数据之间难以交互共享，常规存储模式无法应对大数据量的存储要求，造成数据分开存储，导致数据分散；常规计算模式无法高效的对大数据量农业数进行分析计算，不便于挖掘数据价值，造成农业数据的资源浪费。
【技术保护点】
【技术特征摘要】
1.一种用于农业数据分析处理的数据中台系统,其特征在于，所述系统包括数据采集模块和数据存储模块；所述数据采集模块从多种数据源采集数据得到数据信息，根据自定义的映射关系将所述数据信息映射为格式化数据，将所述格式化数据存储于所述数据存储模块中；所述数据存储模块对所述格式化数据进行分布式存储和数据备份存储，实现服务器集群之间的存储资源共享。2.根据权利要求1所述的系统，其特征在于，所述系统包括数据录入模块；所述数据录入模块支持自定义二维表表头、多种数据录入方式以及对录入数据的自动校验，通过设置字段主键值防止数据重复录入。3.根据权利要求2所述的系统，其特征在于，所述系统包括编码模块；所述编码模块支持多种编码语言对数据进行分析处理，所述编码模块对数据存储模块中的数据按照数据仓库分层架构及具体业务逻辑使用编码语言进行处理、存储；所述编码语言包括hive。4.根据权利要求3所述的系统，其特征在于，所述数据仓库分层架构包括：贴源层：用于存放数据录入模块录入的数据以及通过数据采集模块从其他数据源采集的数据，每个数据在贴源层中形成一张单独的数据表；基础层：用于按照主题通过hive脚本对贴源层的表进行数据清洗并汇集成业务主题，存入基础层的主题表中；汇聚层：用于结合标签体系，将基础层中已经汇聚成主题的表加上主题相关的自定义统计项，结合形成汇聚层表；应用层：用于存放根据基础层主题数据及汇聚层的标签体系数据，经过自定义逻辑处理后，为经营决策提供数据支持的结果集数据。5.根据权利要求3所述的系统，其特征在于，所述编码模块内置多种编码...
【专利技术属性】
技术研发人员：陈先锋，狄玉坤，张颖，曹建龙，张林奎，毕旭东，
申请(专利权)人：中化现代农业有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。