用于农产品精准销售的大数据分析系统及分析方法技术方案

本发明专利技术揭示了一种用于农产品精准销售的大数据分析系统及分析方法，系统包括大数据基础平台模块、数据采集模块、数据预处理模块以及数据处理模块，方法包括大数据基础平台步骤、数据采集步骤、数据预处理步骤以及数据处理步骤。本发明专利技术以大数据平台为基础，实现了数据信息的存储与分析，对用户进行了完备的客户画像，并最终达到了精准销售的目的。

Large Data Analysis System and Analysis Method for Precision Sale of Agricultural Products

【技术实现步骤摘要】
用于农产品精准销售的大数据分析系统及分析方法
本专利技术涉及一种数据分析系统及相对应的数据分析方法，具体涉及一种用于农产品精准销售的大数据分析系统及分析方法，属于计算机数据平台构建及数据平台分析领域。
技术介绍
近年来，我国的经济、科技水平得到了快速的发展提高，为农业现代化的实现积聚了丰厚的物质条件和技术基础。在以大数据、物联网、云计算、人工智能等为代表的新一代信息技术的推动下，“互联网+农业”正成为推动我国农业产业转型升级的新动力。现阶段，农业领域内的数据类型和数据量都在持续性地剧烈增长，从而给农业大数据的获取、集成、存储及处理等方面带来了巨大的挑战。也正因如此，如何从大量的农业数据信息中有针对性地获取所需的数据信息，并将其运用于实际的生产生活中，也就成为了本领域内技术人员亟待解决的问题。目前，随着云计算、大数据等重要技术的发展和成熟，为农业数据存储、分析提供了一种技术解决方案。具体而言，农产品销售平台是农业大数据生成的主要方式，也是推动互联网农业发展的重要数据来源。互联网农业在大数据平台中的应用十分广泛，其主要数据的来源包括商品信息、用户信息及用户行为日志信息等。综上所述，如何构建出一种基于农产品的大数据精准销售平台，并在该平台的基础上进行数据信息的处理分析，从而实现精准销售的目的，也就成为了本领域内技术人员共同的研究目标。
技术实现思路
鉴于现有技术存在上述缺陷，本专利技术的目的是提出一种用于农产品精准销售的大数据分析系统及分析方法，具体如下：一种用于农产品精准销售的大数据分析系统，包括：大数据基础平台模块，用于收集和存储互联网中的数据信息；数据采集模块，用于从所述大数据基础平台模块内提取出特征数据信息并形成特征数据集；数据预处理模块，用于对所述数据集中的数据信息进行预处理；数据处理模块，用于对经过预处理后的数据集中的数据信息进行分析处理，并最终输出分析结果；所述数据处理模块具体包括，离线数据分析模块，用于通过L-BFGS迭代训练得到训练模型，评估用户下一阶段的消费情况，实时数据分析模块，用于分析用户感兴趣的商品，利用Apriori关联度进行分析，获取推荐的商品列表、完成定制化推荐。优选地，所述大数据基础平台模块具体包括：Flume日志采集单元，用于监控数据路径并获取路径中的数据；Kafka消息队列单元，用于离线数据及实时数据的获取；Spark单元，用于获取实时数据，将所获取的数据通过数据流进行处理并将处理后的数据存储于Hbase中；HDFS单元，用于储存离线数据并使用Hive对所储存的数据进行分析。优选地，所述数据预处理模块具体包括：一致性检测单元，用于对数据信息进行初步过滤，根据每个变量的合理取值范围及相互关系检查数据信息是否合规；无效值过滤单元，用于对用户日志访问信息中的错误访问进行去除并做到用户行为分析；ETL操作单元，用于进行数据转换，实现数据的进一步清洗，操作方式包括日志格式的转换，字段的添加与删减以及固定格式的转储。优选地，所述特征数据信息包括商品信息、用户信息以及用户日志访问信息；所述商品信息包括商品编号、商品类别以及商品详情；所述用户信息包括用户姓名、联系方式以及用户地址。一种用于农产品精准销售的大数据分析方法，包括如下步骤：S1、大数据基础平台步骤，构建大数据基础平台，收集和存储互联网中的数据信息；S2、数据采集步骤，从所述大数据基础平台内提取出特征数据信息并形成特征数据集；S3、数据预处理步骤，对所述数据集中的数据信息进行预处理；S4、数据处理步骤，对经过预处理后的数据集中的数据信息进行分析处理，并最终输出分析结果；所述数据处理步骤具体包括，S41、离线数据分析子步骤，通过L-BFGS迭代训练得到训练模型，评估用户下一阶段的消费情况，S42、实时数据分析子步骤，分析用户感兴趣的商品，利用Apriori关联度进行分析，获取推荐的商品列表、完成定制化推荐。优选地，S1所述大数据基础平台步骤具体包括：S11、Flume日志采集步骤，监控数据路径并获取路径中的数据；S12、Kafka消息队列步骤，获取离线数据及实时数据；S13、Spark步骤，获取实时数据，将所获取的数据通过数据流进行处理并将处理后的数据存储于Hbase中；S14、HDFS步骤，储存离线数据并使用Hive对所储存的数据进行分析。优选地，S3所述数据预处理步骤具体包括：S31、一致性检测步骤，对数据信息进行初步过滤，根据每个变量的合理取值范围及相互关系检查数据信息是否合规；S32、无效值过滤步骤，对用户日志访问信息中的错误访问进行去除并做到用户行为分析；S33、ETL操作步骤，进行数据转换，实现数据的进一步清洗，操作方式包括日志格式的转换，字段的添加与删减以及固定格式的转储。优选地，所述特征数据信息包括商品信息、用户信息以及用户日志访问信息；所述商品信息包括商品编号、商品类别以及商品详情；所述用户信息包括用户姓名、联系方式以及用户地址。优选地，S41所述离线数据分析子步骤具体包括：S411、根据历史数据信息，以3a天为窗口，a天为滑动步长进行数据分析，获取三个特征，即登陆记录比、页面转化率比以及购买记录比；S412、分别设置三个a天的权重，越靠近预测接段的时间段权重越大；S413、对特征数据集进行划分，将其按照预设比重划分为训练集与测试集；S414、使用训练集，通过L-BFGS迭代训练得到训练模型；S415、使用测试集测试已经过训练的所述训练模型；S416、进行数据评估、得到评估值；S417、重复S412~S416，使所述训练模型的评估值达到预期值；S418、得到最终的评估结果并依此评估下一阶段消费水平。优选地，S42所述实时数据分析子步骤具体包括：S421、将用户群划分为新用户及历史用户；S422、根据购买商品的Topn对新用户进行筛选推荐；S423、根据用户的购买清单，进行Apriori关联度分析，对历史用户进行筛选推荐；S424、使用对应编号代替商品，简化数据分析操作及保存过程；S425、使用Apriori方法找到频繁项集并生成候选项集；S426、检查频繁项集内的每个元素是否都是频繁的，构建K+1项候选集列表；S427、挖掘关联规则，获取推荐列表；S428、结合新用户及历史用户的推荐结果，完成对用户的定制化推荐。与现有技术相比，本专利技术的优点主要体现在以下几个方面：本专利技术所提出的一种用于农产品精准销售的大数据分析系统及分析方法，以大数据平台为基础，实现了数据信息的存储与分析，对用户进行了完备的客户画像，并最终达到了精准销售的目的。此外，本专利技术也为同领域内的其他相关问题提供了参考，可以以此为依据进行拓展延伸，运用于与大数据精准销售有关的其他技术方案中，具有十分广阔的应用前景。以下便结合实施例附图，对本专利技术的具体实施方式作进一步的详述，以使本专利技术技术方案更易于理解、掌握。附图说明图1为本专利技术的系统结构示意图；图2为本专利技术中大数据基础平台模块的结构示意图；图3为本专利技术中数据采集步骤的流程示意图；图4为本专利技术中数据预处理步骤的流程示意图；图5为本专利技术中离线数据分析子步骤的流程示意图；图6为L-BFGS算法的分析流程示意图；图7为本专利技术中实时数据分析子步骤的流程示意图。具体实施方式针对现有技术中所存在的诸多问题，本专利技术提本文档来自技高网...

【技术保护点】
1.一种用于农产品精准销售的大数据分析系统，其特征在于，包括：大数据基础平台模块，用于收集和存储互联网中的数据信息；数据采集模块，用于从所述大数据基础平台模块内提取出特征数据信息并形成特征数据集；数据预处理模块，用于对所述数据集中的数据信息进行预处理；数据处理模块，用于对经过预处理后的数据集中的数据信息进行分析处理，并最终输出分析结果；所述数据处理模块具体包括，离线数据分析模块，用于通过L‑BFGS迭代训练得到训练模型，评估用户下一阶段的消费情况，实时数据分析模块，用于分析用户感兴趣的商品，利用Apriori关联度进行分析，获取推荐的商品列表、完成定制化推荐。

【技术特征摘要】
1.一种用于农产品精准销售的大数据分析系统，其特征在于，包括：大数据基础平台模块，用于收集和存储互联网中的数据信息；数据采集模块，用于从所述大数据基础平台模块内提取出特征数据信息并形成特征数据集；数据预处理模块，用于对所述数据集中的数据信息进行预处理；数据处理模块，用于对经过预处理后的数据集中的数据信息进行分析处理，并最终输出分析结果；所述数据处理模块具体包括，离线数据分析模块，用于通过L-BFGS迭代训练得到训练模型，评估用户下一阶段的消费情况，实时数据分析模块，用于分析用户感兴趣的商品，利用Apriori关联度进行分析，获取推荐的商品列表、完成定制化推荐。2.根据权利要求1所述的用于农产品精准销售的大数据分析系统，其特征在于，所述大数据基础平台模块具体包括：Flume日志采集单元，用于监控数据路径并获取路径中的数据；Kafka消息队列单元，用于离线数据及实时数据的获取；Spark单元，用于获取实时数据，将所获取的数据通过数据流进行处理并将处理后的数据存储于Hbase中；HDFS单元，用于储存离线数据并使用Hive对所储存的数据进行分析。3.根据权利要求1所述的用于农产品精准销售的大数据分析系统，其特征在于，所述数据预处理模块具体包括：一致性检测单元，用于对数据信息进行初步过滤，根据每个变量的合理取值范围及相互关系检查数据信息是否合规；无效值过滤单元，用于对用户日志访问信息中的错误访问进行去除并做到用户行为分析；ETL操作单元，用于进行数据转换，实现数据的进一步清洗，操作方式包括日志格式的转换，字段的添加与删减以及固定格式的转储。4.根据权利要求1所述的用于农产品精准销售的大数据分析系统，其特征在于：所述特征数据信息包括商品信息、用户信息以及用户日志访问信息；所述商品信息包括商品编号、商品类别以及商品详情；所述用户信息包括用户姓名、联系方式以及用户地址。5.一种用于农产品精准销售的大数据分析方法，其特征在于，包括如下步骤：S1、大数据基础平台步骤，构建大数据基础平台，收集和存储互联网中的数据信息；S2、数据采集步骤，从所述大数据基础平台内提取出特征数据信息并形成特征数据集；S3、数据预处理步骤，对所述数据集中的数据信息进行预处理；S4、数据处理步骤，对经过预处理后的数据集中的数据信息进行分析处理，并最终输出分析结果；所述数据处理步骤具体包括，S41、离线数据分析子步骤，通过L-BFGS迭代训练得到训练模型，评估用户下一阶段的消费情况，S42、实时数据分析子步骤，分析用户感兴趣的商品，利用Apriori关联度进行分析，获取推荐的商品列表、完成定制化推荐。6.根据权利要求5所述的用于农产品精准销售的大...

【专利技术属性】
技术研发人员：李朋起，赵学健，孙知信，胡冰，孙哲，
申请(专利权)人：南京邮电大学，南京邮电大学盐城大数据研究院有限公司，
类型：发明
国别省市：江苏,32