基于多源异构的农产品电商大数据智能采集与集成系统技术方案

本发明专利技术涉及一种基于多源异构的农产品电商大数据智能采集与集成系统，包括农业价格采集子系统、农业价格分析子系统和农业价格展示子系统，所述农业价格采集子系统通过数据挖掘和数据爬虫获取电商的多源异构农产品数据，经农业价格分析子系统采用情感分析算法和价格预测算法，计算得到用户情感信息和价格变化趋势信息，由农业价格展示子系统通过可视化图表进行展示与现有技术相比，本发明专利技术具有数据来源更加全面，把握市场动向提供决策依据、提高农产品价格走势的预测结果的准确性，允许用户自由安排数据看板，有助于用户获取重点关注的信息等优点。息等优点。息等优点。

【技术实现步骤摘要】
基于多源异构的农产品电商大数据智能采集与集成系统


[0001]本专利技术涉及计算机应用
，尤其是涉及一种基于多源异构的农产品电商大数据智能采集与集成系统。

技术介绍

[0002]现有的农业价格数据平台，已具有基本的价格展示和查询功能。用户可以在这些平台查找特定农产品的价格数据以及历史价格变化趋势，部分平台还提供不同农产品价格数据及其变化趋势之间的对比。
[0003]但是，现有农业价格数据平台的数据来源大多是线下批发市场的数据，而鲜有线上价格数据。现有农业价格数据平台仅仅对所搜集数据进行简单的展示，缺少进一步的分析，用户无法从这些平台中得到对农业市场和消费者的进一步洞察；展示的数据大多为价格，而缺少其他相关的信息，数据维度单一。另外，现有农业价格数据平台只允许用户浏览信息，用户无法从中便捷的获取所需要的数据。
[0004]因此，现有技术的缺陷是，已有农业价格数据平台数据来源不全面，没有将电商平台大数据纳入系统，所展示的数据维度较为单一，没有对所获取的价格数据利用大数据分析方法进行分析和处理；尚未与用户需求相匹配，用户无法便捷高效地浏览与获取农业农产品价格数据和相关信息，从而难以掌握农业农产品市场动态。

技术实现思路

[0005]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于多源异构的农产品电商大数据智能采集与集成系统，推测各产品价格的变化趋势，提供丰富多样的可视化图表，更好的为用户提供全方面的农业营销信息支持。
[0006]本专利技术的目的可以通过以下技术方案来实现：
[0007]一种基于多源异构的农产品电商大数据智能采集与集成系统，包括农业价格采集子系统、农业价格分析子系统和农业价格展示子系统，所述农业价格采集子系统通过数据挖掘和数据爬虫获取电商的多源异构农产品数据，经农业价格分析子系统采用情感分析算法和价格预测算法，计算得到用户情感信息和价格变化趋势信息，由农业价格展示子系统通过可视化图表进行展示。
[0008]所述农业价格采集子系统一方面通过数据挖掘和网络爬虫技术，得到多个电商平台的农产品价格、农资价格和农机价格的历史数据并定时更新，另一方面获取线下农产品、农资农机调研调查数据、农业经营主体和商户调查数据，最终形成多源异构电商大数据数据库。
[0009]所述多源异构农产品数据包括商品名称、商品品类、商品价格和买家评论信息。
[0010]所述用户情感信息包括通过情感分析算法计算得到的农业产品电商平台用户画像、农产品电商平台受欢迎程度和重点关键词。
[0011]所述农业价格分析子系统包括价格播报模块、价格查询模块、推荐搜索模块、分析
对比模块、价格预测模块、词句识别模块和商品词云图模块。
[0012]所述价格播报模块的功能包括简要展示用户所在地相关的农产品、农资和农机价格信息。
[0013]所述价格查询模块的功能包括显示用户所查询的特定产品的价格信息、电商平台热度和产品关键词。
[0014]所述推荐搜索模块的功能包括提供多个与用户所在地相关的农产品、农资、农机关键词，检测到用户点击后会跳转至对应的价格查询页面。
[0015]所述分析对比模块的功能包括对农产品价格数据进行不同维度的对比。
[0016]所述价格预测模块的功能包括通过价格预测算法，基于农产品的历史价格数据，计算出其价格变化趋势信息，并输出各价格变化趋势信息的概率。
[0017]进一步地，所述价格预测模块内嵌于分析对比模块，变化趋势信息包括上升、下降或持平。
[0018]所述词句识别模块根据买家评论信息，通过情感分析算法识别出情感极性类别并输出相应的置信度。
[0019]进一步地，所述词句识别模块的功能还包括检测买家评论信息的真实程度。
[0020]所述商品词云图模块的功能包括根据选择的特定种类农产品、农资或农机产品，依据该种类商品在数据库中储存的评论文本数据，结合农产品、农资农机消费者特点，自动抽取评论文本中的观点和情绪，按照出现频率的高低进行排序并展示，同时会以词云的方式展示。
[0021]所述农业价格展示子系统包括看板展示模块、看板添加模块和看板输出模块。
[0022]所述看板展示模块的功能包括提供创建多个数据看板并自定义看板中的图表，提高用户获取信息的效率。
[0023]所述看板添加模块的功能包括创建包括多个图表的看板，所述图表的类型包括柱状图、折线图、饼图、指标卡和商品评价关键词词云。
[0024]所述看板输出模块的功能包括根据收到的看板输出指令，将对应的看板输出为图片或者PDF格式文档，方便用户在别处引用图表。
[0025]与现有技术相比，本专利技术具有以下有益效果：
[0026]1.本专利技术数据来源更加全面，不仅获取线下农产品价格数据，还进一步获取了线上电商平台农产品、农资、农机多源异构大数据，提高了农产品数据的全面性。
[0027]2.本专利技术将情感分析、价格预测算法应用到农业领域，结合农产品、农资农机市场特点，给出更符合农业市场特点的情感极性、价格预测和主管评论观点数据，为政府人员把握农产品、农资农机市场产品特点，把握市场动向提供决策依据，有效提高了农产品价格走势的预测结果的准确性。
[0028]3.本专利技术将农产品、农资农机大数据以更加丰富的形式呈现，并允许用户自由安排数据看板，有助于用户获取重点关注的信息。
附图说明
[0029]图1为本专利技术的结构示意图；
[0030]图2为本专利技术多源异构农产品数据的数据来源示意图。
具体实施方式
[0031]下面结合附图和具体实施例对本专利技术进行详细说明。本实施例以本专利技术技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围不限于下述的实施例。
[0032]实施例
[0033]如图1所示，一种基于多源异构的农产品电商大数据智能采集与集成系统，包括农业价格采集子系统、农业价格分析子系统和农业价格展示子系统，农业价格采集子系统通过数据挖掘和数据爬虫获取电商的多源异构农产品数据，经农业价格分析子系统采用情感分析算法和价格预测算法，计算得到用户情感信息和价格变化趋势信息，由农业价格展示子系统通过可视化图表进行展示。
[0034]如图2所示，农业价格采集子系统一方面通过数据挖掘和网络爬虫技术，得到多个电商平台的农产品价格、农资价格和农机价格的历史数据并定时更新，另一方面获取线下农产品、农资农机调研调查数据、农业经营主体和商户调查数据，最终形成多源异构电商大数据数据库。
[0035]一方面利用数据挖掘和网络爬虫技术，获取各电商平台农产品、农资、农机价格的历史数据，同时定时更新最新数据，
[0036]多源异构农产品数据包括商品名称、商品品类、商品价格和买家评论信息，本实施例中，还包括商品日期。
[0037]用户情感信息包括通过情感分析算法计算得到的农业产品电商平台用户画像、农产品电商平台受欢迎程度和重点关键词。...

【技术保护点】

【技术特征摘要】
1.一种基于多源异构的农产品电商大数据智能采集与集成系统，其特征在于，包括农业价格采集子系统、农业价格分析子系统和农业价格展示子系统，所述农业价格采集子系统通过数据挖掘和数据爬虫获取电商的多源异构农产品数据，经农业价格分析子系统采用情感分析算法和价格预测算法，计算得到用户情感信息和价格变化趋势信息，由农业价格展示子系统通过可视化图表进行展示。2.根据权利要求1所述的一种基于多源异构的农产品电商大数据智能采集与集成系统，其特征在于，所述农业价格采集子系统通过数据挖掘和网络爬虫技术，得到多个电商平台的农产品价格、农资价格和农机价格的历史数据并定时更新，形成多源异构电商大数据数据库。3.根据权利要求1所述的一种基于多源异构的农产品电商大数据智能采集与集成系统，其特征在于，所述多源异构农产品数据包括商品名称、商品品类、商品价格和买家评论信息。4.根据权利要求1所述的一种基于多源异构的农产品电商大数据智能采集与集成系统，其特征在于，所述用户情感信息包括通过情感分析算法计算得到的农业产品电商平台用户画像、农产品电商平台受欢迎程度和重点关键词。5.根据权利要求1所述的一种基于多源异构的农产品电商大数据智能采集与集成...

【专利技术属性】
技术研发人员：王莉，朱小栋，李振潮，王雯萱，
申请(专利权)人：上海理工大学，
类型：发明
国别省市：