一种汽车车型网络价格监测系统技术方案

本申请公开了一种汽车车型网络价格监测系统，数据采集模块通过爬虫技术从汽车网站采集汽车车型网络价格数据并存储至预置数据库；数据同步模块将预置数据库的网络价格数据同步到Hadoop大数据平台的分布式文件系统HDFS；数据预处理模块将HDFS的汽车车型网络价格数据加载到Hive表，对Hive表中的汽车车型网络价格数据依次进行异常值过滤、重复值过滤、车型型号匹配和汇总，得到预处理后的汽车车型网络价格数据；数据计算模块根据预置计算规则对预处理后的汽车车型网络价格数据进行计算；可视化模块对计算结果进行可视化，解决了现有的汽车车型价格的获取和处理采用人工处理，存在数据采集和处理时间长，处理效率低的技术问题。

【技术实现步骤摘要】
一种汽车车型网络价格监测系统
本申请涉及数据处理
，尤其涉及一种汽车车型网络价格监测系统。
技术介绍
目前，汽车市场竞争日益激烈，越来越多的汽车品牌进入市场，给企业新产品定价决策的制定带来了风险和不确定性。现有技术中，企业或用户主要是通过人工浏览相关汽车信息网站来获取汽车车型价格，人工录入到数据表中，再进行数据汇总和分析，存在数据采集和处理时间长，处理效率低的技术问题。
技术实现思路
本申请提供了一种汽车车型网络价格监测系统，用于解决现有的汽车车型价格的获取和处理采用人工处理，存在数据采集和处理时间长，处理效率低的技术问题。有鉴于此，本申请第一方面提供了一种汽车车型网络价格监测系统，包括：数据采集模块，用于基于网络爬虫技术从各汽车网站采集各汽车车型网络价格数据，将所述汽车车型网络价格数据存储至预置数据库；数据同步模块，用于将所述预置数据库中的所述汽车车型网络价格数据同步到Hadoop大数据平台的分布式文件系统HDFS；数据预处理模块，用于将所述HDFS中的所述汽车车型网络价格数据加载到Hive表，对所述Hive表中的所述汽车车型网络价格数据依次进行异常值过滤、重复值过滤、车型型号匹配和汇总，得到预处理后的汽车车型网络价格数据；数据计算模块，用于根据预置计算规则对所述预处理后的汽车车型网络价格数据进行相关计算，得到计算结果；可视化模块，用于对所述计算结果进行可视化。可选的，所述数据采集模块具体用于：基于网络爬虫技术从各汽车网站采集各汽车车型网络价格数据，将所述汽车车型网络价格数据存储至预置数据库，并更新采集状态表；其中，所述采集状态表用于监测汽车网站的各所述汽车车型网络价格数据是否完成采集或是否完成同步。可选的，所述数据同步模块具体用于：根据所述采集状态表，确定所述预置数据库中未同步的汽车车型网络价格数据；将所述未同步的汽车车型网络价格数据同步到Hadoop大数据平台的分布式文件系统HDFS，并更新所述采集状态表。可选的，还包括：异常监测模块，用于对采集各所述汽车车型网络价格数据的过程进行监测，当监测到采集数据异常时，发送告警信息给所述数据采集模块。可选的，所述数据计算模块，包括：网络优惠计算子模块，用于基于所述预处理后的汽车车型网络价格数据计算各车型汽车的最大网络优惠或网络优惠平均值；相应的，所述可视化模型，具体用于对各车型汽车在第一预置时间段内的所述最大网络优惠或所述网络优惠平均值进行可视化，得到各车型汽车在所述第一预置时间段内的所述最大网络优惠的走势图或所述网络优惠平均值的走势图。可选的，所述数据计算模块，还包括：折扣率计算子模块，用于基于所述预处理后的汽车车型网络价格数据计算各车型汽车的折扣率；相应的，所述可视化模型，具体用于对各车型汽车在第二预置时间段内的所述折扣率进行可视化，得到各车型汽车在所述第二预置时间段内的所述折扣率的走势图。可选的，还包括：报价决策模块，用于对所述预处理后的汽车车型网络价格数据进行数据分析，得到各车型汽车的价格信息，使得汽车厂商根据各车型汽车的所述价格信息获取竞争车型汽车的所述价格信息，并制定所述汽车厂商的汽车的网络价格，所述价格信息包括最高价格、最低价格、平均价格、价格的中位数或价格的众数。可选的，还包括：不规范报价监测模块，用于监测所述预处理后的汽车车型网络价格数据，当所述预处理后的汽车车型网络价格数据高于第一预置阈值或低于第二预置阈值时，对所述预处理后的汽车车型网络价格数据进行不规范报价标记。可选的，所述数据计算模块，还包括：占比计算子模块，用于计算各车型汽车的不规范报价的占比；相应的，所述可视化模块，具体用于对各车型汽车的所述不规范报价的占比进行可视化。可选的，所述可视化模块具体用于：根据汽车车型或区域对各车型汽车的所述不规范报价的占比进行可视化。从以上技术方案可以看出，本申请具有以下优点：本申请提供了一种汽车车型网络价格监测系统，包括：数据采集模块，用于基于网络爬虫技术从各汽车网站采集各汽车车型网络价格数据，将汽车车型网络价格数据存储至预置数据库；数据同步模块，用于将预置数据库中的汽车车型网络价格数据同步到Hadoop大数据平台的分布式文件系统HDFS；数据预处理模块，用于将HDFS中的汽车车型网络价格数据加载到Hive表，对Hive表中的汽车车型网络价格数据依次进行异常值过滤、重复值过滤、车型型号匹配和汇总，得到预处理后的汽车车型网络价格数据；数据计算模块，用于根据预置计算规则对预处理后的汽车车型网络价格数据进行相关计算，得到计算结果；可视化模块，用于对计算结果进行可视化。本申请中的汽车车型网络价格监测系统，通过数据采集模块基于网络爬虫技术从各汽车网站采集汽车车型网络价格数据，并存储至预置数据库中，避免了人工采集和录入汽车车型网络价格数据，提高了数据采集效率；数据同步模块将各汽车车型网络价格数据同步到分布式文件系统HDFS，方便统一存储和处理大批量数据；数据预处理模块将HDFS中的汽车车型网络价格数据加载到Hive表，对Hive表中的汽车车型网络价格数据依次进行异常值过滤、重复值过滤、车型型号匹配和汇总，基于大数据平台对大批量的汽车车型网络价格数据进行过滤、匹配和汇总等预处理，提高了数据的处理效率，保证了数据的准确性；数据计算模块根据预置计算规则对预处理后的汽车车型网络价格数据进行相关计算并通过可视化模块对计算结果进行可视化，方便对各车型汽车的汽车车型网络价格数据进行监测和查询，从而解决了现有的汽车车型价格的获取和处理采用人工处理，存在数据采集和处理时间长，处理效率低的技术问题。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。图1为本申请实施例提供的一种汽车车型网络价格监测系统的一个结构示意图；图2为本申请实施例提供的一种汽车车型网络价格监测系统的另一个结构示意图。具体实施方式本申请提供了一种汽车车型网络价格监测系统，用于解决现有的汽车车型价格的获取和处理采用人工处理，存在数据采集和处理时间长，处理效率低的技术问题。为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。为了便于理解，请参阅图1，本申请提供的一种汽车车型网络价格监测系统的一个实施例，包括：数据采集模块100，用于基于网本文档来自技高网...

【技术保护点】
1.一种汽车车型网络价格监测系统，其特征在于，包括：/n数据采集模块，用于基于网络爬虫技术从各汽车网站采集各汽车车型网络价格数据，将所述汽车车型网络价格数据存储至预置数据库；/n数据同步模块，用于将所述预置数据库中的所述汽车车型网络价格数据同步到Hadoop大数据平台的分布式文件系统HDFS；/n数据预处理模块，用于将所述HDFS中的所述汽车车型网络价格数据加载到Hive表，对所述Hive表中的所述汽车车型网络价格数据依次进行异常值过滤、重复值过滤、车型型号匹配和汇总，得到预处理后的汽车车型网络价格数据；/n数据计算模块，用于根据预置计算规则对所述预处理后的汽车车型网络价格数据进行相关计算，得到计算结果；/n可视化模块，用于对所述计算结果进行可视化。/n

【技术特征摘要】
1.一种汽车车型网络价格监测系统，其特征在于，包括：
数据采集模块，用于基于网络爬虫技术从各汽车网站采集各汽车车型网络价格数据，将所述汽车车型网络价格数据存储至预置数据库；
数据同步模块，用于将所述预置数据库中的所述汽车车型网络价格数据同步到Hadoop大数据平台的分布式文件系统HDFS；
数据预处理模块，用于将所述HDFS中的所述汽车车型网络价格数据加载到Hive表，对所述Hive表中的所述汽车车型网络价格数据依次进行异常值过滤、重复值过滤、车型型号匹配和汇总，得到预处理后的汽车车型网络价格数据；
数据计算模块，用于根据预置计算规则对所述预处理后的汽车车型网络价格数据进行相关计算，得到计算结果；
可视化模块，用于对所述计算结果进行可视化。


2.根据权利要求1所述的汽车车型网络价格监测系统，其特征在于，所述数据采集模块具体用于：
基于网络爬虫技术从各汽车网站采集各汽车车型网络价格数据，将所述汽车车型网络价格数据存储至预置数据库，并更新采集状态表；
其中，所述采集状态表用于监测汽车网站的各所述汽车车型网络价格数据是否完成采集或是否完成同步。


3.根据权利要求2所述的汽车车型网络价格监测系统，其特征在于，所述数据同步模块具体用于：
根据所述采集状态表，确定所述预置数据库中未同步的汽车车型网络价格数据；
将所述未同步的汽车车型网络价格数据同步到Hadoop大数据平台的分布式文件系统HDFS，并更新所述采集状态表。


4.根据权利要求1所述的汽车车型网络价格监测系统，其特征在于，还包括：
异常监测模块，用于对采集各所述汽车车型网络价格数据的过程进行监测，当监测到采集数据异常时，发送告警信息给所述数据采集模块。


5.根据权利要求1所述的汽车车型网络价格监测系统，其特征在于，所述数据计算模块，包括：
网络优惠计算子模块，用于基于所述预处理后的汽车车型网络价格数据...

【专利技术属性】
技术研发人员：孙一帅，李奏换，龚鹤皋，陈楚豪，郭建铮，梁维新，
申请(专利权)人：广州威尔森信息科技有限公司，
类型：发明
国别省市：广东;44