一种农产品价格大数据监测与可视化系统及方法技术方案

本发明专利技术涉及一种农产品价格大数据监测与可视化系统及方法，属于农业大数据技术领域，数据采集模块采集第一预设区域各第二预设区域每种农产品的历史批发价格后存储至数据存储模块，数据质量管控模块对价格信息库中的历史批发价格进行预处理，并提取待预测日期的时间特征，数据挖掘分析模块根据连续多个预处理后的历史批发均价和待预测日期的时间特征确定待预测农产品待预测日期的批发均价，数据可视化模块选取可视化工具，最终发送至信息推送终端进行可视化展示，实现了农产品价格的监测与可视化展示。与可视化展示。与可视化展示。

【技术实现步骤摘要】
一种农产品价格大数据监测与可视化系统及方法


[0001]本专利技术涉及农业大数据
，特别是涉及一种农产品价格大数据监测与可视化系统及方法。

技术介绍

[0002]农业是为人类提供生存必需品的生产部门，同时也是国民经济中其他部门成为独立生产部门的前提及其发展的基础。农产品价格能够影响农业生产者对农业生产的投入，进而对农业发展产生重要影响。对农产品价格进行数据挖掘分析，从中提取有价值的信息(规律)，能够为农业生产和销售策略的制定与调整提供有效的决策依据，从而促进和推动农业经济的发展。
[0003]当前，大数据正快速发展为发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。随着物联网、云计算、移动互联、LBS、遥感与地理信息技术的飞速发展，农业数据呈海量爆发趋势，农业农村逐渐成为大数据产生和应用的重要领域。
[0004]农产品价格信息是农产品市场变化的“风向标”和“温度计”，实时监测农产品价格信息，不仅可以帮助广大农民及时了解全面的农价信息，从而在生产和销售过程中做出合理的决策，切实提升农民收入，还可以为农业管理机构提供有效的决策支撑，为解决突发性问题提供依据和建议。现有的农产品价格信息监测系统具有采集数据种类单一、覆盖范围小、信息获取困难、共享不足等问题。同时，价格信息大多未进行深度加工及挖掘分析。因此，构建一套全新架构的农产品价格监测与分析预测系统十分必要。

技术实现思路

[0005]本专利技术的目的是提供一种农产品价格大数据监测与可视化系统及方法，以实现农产品价格的监测与可视化展示。
[0006]为实现上述目的，本专利技术提供了如下方案：
[0007]一种农产品价格大数据监测与可视化系统，所述系统包括：数据采集模块、数据存储模块、数据质量管控模块、数据挖掘分析模块、数据可视化模块和信息推送终端；
[0008]数据采集模块与数据存储模块连接，所述数据采集模块用于采集第一预设区域中每个第二预设区域的每种农产品的历史批发价格；所述历史批发价格包括历史批发日价格、历史批发周价格和历史批发月价格；
[0009]数据存储模块与数据质量管控模块连接，所述数据存储模块用于构建农产品种类库和价格信息库，将农产品名称存储至农产品种类库，并将所述历史批发价格存储至价格信息库；所述价格信息库包括日价格信息库、周价格信息库和月价格信息库；所述数据质量管控模块用于对价格信息库中的历史批发价格进行预处理，并将预处理后的历史批发价格存储至价格信息库；
[0010]数据挖掘分析模块与数据质量管控模块连接，所述数据质量管控模块还用于根据待预测农产品和待预测日期从数据存储模块中获取待预测农产品在待预测日期之前的连
续多个预处理后的历史批发均价，并提取待预测日期的时间特征；所述数据挖掘分析模块用于根据连续多个预处理后的历史批发均价和待预测日期的时间特征确定待预测农产品待预测日期的批发均价；
[0011]数据可视化模块分别与数据质量管控模块和信息推送终端连接，所述数据可视化模块用于根据待预测农产品待预测日期的批发均价、连续多个历史批发均价和日期选取可视化工具，并将待预测农产品待预测日期的批发均价、连续多个历史批发日均价和日期映射至选取的可视化工具后发送至信息推送终端进行可视化展示。
[0012]可选的，所述数据采集模块包括：
[0013]采集单元，用于确定待预测农产品的采集数据源，采用爬虫系统从所述采集数据源每日采集各第二预设区域待预测农产品在每个批发市场的多个历史批发日价格，并加入数据采集池；
[0014]搭建单元，用于基于流式计算，搭建流式采集分析系统；
[0015]流式采集单元，用于利用流式采集分析系统从数据采集池中采集数据；
[0016]类型获取单元，用于获取流式采集分析系统中各个模块之间的第一接口数据及第一接口数据的类型；
[0017]统计单元，用于统计每种类型特征值在第一预定时间段内的第一范围；
[0018]第二接口数据获取单元，用于获取流式采集系统中各个模块之间的第二接口数据；
[0019]判断单元，用于判断第二接口数据的特征值是否在第一范围内，若在第一范围内采用时间滑动窗口进行汇聚分析，否则从流式系统中获取另外一个分析计算引擎进行单独处理；
[0020]分析单元，用于判断采集数据源是否计算分析完毕，获得判断结果；
[0021]结束单元，用于若判断结果表示是，则结束退出，获得所需的各第二预设区域待预测农产品连续多日的历史批发日价格；
[0022]循环单元，用于若判断结果表示否，则返回步骤“获取流式采集分析系统中各个模块之间的第一接口数据及其类型”；
[0023]计算单元，用于根据各第二预设区域待预测农产品连续多日的历史批发日价格，计算第一预设区域待预测农产品连续多日的历史批发日均价。
[0024]可选的，所述数据挖掘分析模块，具体包括：
[0025]样本划分单元，用于利用预设滑动窗口长度的滑动窗口将历年的历史批发日均价样本划分为多个日均价样本序列；
[0026]时间特征获取单元，用于获取每个日均价样本序列中最后一个历史批发日均价的时间特征；
[0027]样本数据集构成单元，用于将每个日均价样本序列中最后一个历史批发日均价作为标签，每个日均价样本序列中最后一个历史批发日均价以外的所有历史批发日均价和最后一个历史批发日均价的时间特征作为输入量，构成日均价样本数据集；
[0028]数据集划分单元，用于将日均价样本数据集划分为训练集和验证集；
[0029]训练单元，用于利用训练集训练极端随机树模型，获得训练后的极端随机树模型；
[0030]优化单元，用于利用验证集优化训练后的极端随机树模型，获得优化后的极端随
机树模型；
[0031]应用单元，用于将连续多日的历史批发日均价和待预测日期的时间特征一起作为输入量，输入训练好的极端随机树模型中，输出待预测农产品待预测日期的批发日均价。
[0032]可选的，所述数据挖掘分析模块还包括：
[0033]训练误差获得单元，用于根据所述训练集，利用训练后的极端随机树模型，获得训练误差；
[0034]置信区间输出单元，用于基于预设置信水平，将训练误差输入广义自回归条件异方差模型，输出预设置信水平下的置信区间。
[0035]一种应用于前述的农产品价格大数据监测与可视化系统的农产品价格大数据监测与可视化方法，所述方法包括：
[0036]采用基于流式计算的农业大数据自动采集方法采集第一预设区域待预测农产品连续多日的历史批发日均价；
[0037]提取待预测农产品待预测日的时间特征；所述时间特征包括待预测日为一周中的星期几、一个月中的第几周、一年中的第几个月和第几季度；
[0038]将连续多日的历史批发日均价和待预测日的时间特征一起作为输入量，输入训练好的极端随机树模型中，输出待预测农产品待预测日的批发日均价；
[0039]将待预测农产品待预本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种农产品价格大数据监测与可视化系统，其特征在于，所述系统包括：数据采集模块、数据存储模块、数据质量管控模块、数据挖掘分析模块、数据可视化模块和信息推送终端；数据采集模块与数据存储模块连接，所述数据采集模块用于采集第一预设区域中每个第二预设区域的每种农产品的历史批发价格；所述历史批发价格包括历史批发日价格、历史批发周价格和历史批发月价格；数据存储模块与数据质量管控模块连接，所述数据存储模块用于构建农产品种类库和价格信息库，将农产品名称存储至农产品种类库，并将所述历史批发价格存储至价格信息库；所述价格信息库包括日价格信息库、周价格信息库和月价格信息库；所述数据质量管控模块用于对价格信息库中的历史批发价格进行预处理，并将预处理后的历史批发价格存储至价格信息库；数据挖掘分析模块与数据质量管控模块连接，所述数据质量管控模块还用于根据待预测农产品和待预测日期从数据存储模块中获取待预测农产品在待预测日期之前的连续多个预处理后的历史批发均价，并提取待预测日期的时间特征；所述数据挖掘分析模块用于根据连续多个预处理后的历史批发均价和待预测日期的时间特征确定待预测农产品待预测日期的批发均价；数据可视化模块分别与数据质量管控模块和信息推送终端连接，所述数据可视化模块用于根据待预测农产品待预测日期的批发均价、连续多个历史批发均价和日期选取可视化工具，并将待预测农产品待预测日期的批发均价、连续多个历史批发日均价和日期映射至选取的可视化工具后发送至信息推送终端进行可视化展示。2.根据权利要求1所述的农产品价格大数据监测与可视化系统，其特征在于，所述数据采集模块包括：采集单元，用于确定待预测农产品的采集数据源，采用爬虫系统从所述采集数据源每日采集各第二预设区域待预测农产品在每个批发市场的多个历史批发日价格，并加入数据采集池；搭建单元，用于基于流式计算，搭建流式采集分析系统；流式采集单元，用于利用流式采集分析系统从数据采集池中采集数据；类型获取单元，用于获取流式采集分析系统中各个模块之间的第一接口数据及第一接口数据的类型；统计单元，用于统计每种类型特征值在第一预定时间段内的第一范围；第二接口数据获取单元，用于获取流式采集系统中各个模块之间的第二接口数据；判断单元，用于判断第二接口数据的特征值是否在第一范围内，若在第一范围内采用时间滑动窗口进行汇聚分析，否则从流式系统中获取另外一个分析计算引擎进行单独处理；分析单元，用于判断采集数据源是否计算分析完毕，获得判断结果；结束单元，用于若判断结果表示是，则结束退出，获得所需的各第二预设区域待预测农产品连续多日的历史批发日价格；循环单元，用于若判断结果表示否，则返回步骤“获取流式采集分析系统中各个模块之间的第一接口数据及其类型”；
计算单元，用于根据各第二预设区域待预测农产品连续多日的历史批发日价格，计算第一预设区域待预测农产品连续多日的历史批发日均价。3.根据权利要求1所述的农产品价格大数据监测与可视化系统，其特征在于，所述数据挖掘分析模块，具体包括：样本划分单元，用于利用预设滑动窗口长度的滑动窗口将历年的历史批发日均价样本划分为多个日均价样本序列；时间特征获取单元，用于获取每个日均价样本序列中最后一个历史批发日均价的时间特征；样本数据集构成单元，用于将每个日均价样本序列中最后一个历史批发日均价作为标签，每个日均价样本序列中最后一个历史批发日均价以外的所有历史批发日均价和最后一个历史批发日均价的时间特征作为输入量，构成日均价样本数据集；数据集划分单元，用于将日均价样本数据集划分为训练集和验证集；训练单元，用于利用训练集训练极端随机树模型，获得训练后的极端随机树模型；优化单元，用于利用验证集优化训练后的极端随机树模型，获得优化后的极端随机树模型；应用单元，用于将连续多日的历史批发日均价和待预测日期的时间特征一起作为输入量，输入训练好的极端随机树模型中，输出待预测农产品待预测日期的批发日均价。4.根据权利要求3所述的农产品价格大数据监测与可视化系统，其特征在于，所述数据挖掘分析模块还包括：训练误差获得单元，用于根据所述训练集，利用训练后的极端随机树模型，获得训练误差；置信区间输出单元，用于基于预设置信水平，将训练误差输入广义自回归条件异方差模型，输出预设置信水平下的置信区间。5.一种应用于权利要求1
‑
4任一项所述的农产品价格大数据监测与可视化系统的农产品价格大数据监测与可视化方法，其特征在于，所述方法包括：采用基于流式计算的农业大数据自动采集方法采集第一预设区域待预测农产品连续多日的历史批发日均价；提取待预测农产品待预测日的时间特征；所述时间特征包括待预测日为一周中的星期几、一个月中的第几周、一年中的第几个月和第几季度；将连续多日的历史批发日均价和待预测日的时间特征一起作为输入量，输入训练好的极端随机树模型中，输出待预测农产品待预测日的批发日均价；将待预...

【专利技术属性】
技术研发人员：张伟，欧吉顺，周楚新，吴德才，朱新文，
申请(专利权)人：南京绿色科技研究院有限公司，
类型：发明
国别省市：