本发明专利技术公开了一种汽修保养电商平台数据动态定时页面数据采集方法，本发明专利技术通过在建立的页面数据采集模型中的采集模块在对汽修保养电商平台网页数据采集时的采集周期内设置多次数据采集，并且每次数据采集的采集频率成倍数变化，对每个周期内的多次采集的数据进行整合，使得采集到的汽修保养电商平台网页数据更加精确，本发明专利技术通过对采集的数据通过数据处理模块进行数据处理以及分类，处理后的数据通过数据分析模块对数据进行对比分析，形成可视化报告，方便工作人员的观看，以及通过数据可视化模块对数据分析模块对采集到异常数据发出异常报告，方便工作人员后续为网站的维护处理。
【技术实现步骤摘要】
本专利技术涉及数据采集，具体是一种汽修保养电商平台数据动态定时页面数据采集方法。
技术介绍
1、电子商务市场的迅猛发展对我国经济发展起到了重要的作用，庞大的消费群体和成熟的互联网技术成为电子商务爆发式增长的最强动力，现在垂直电商平台根据社会需要得到越来越大的发展，汽修保养电商平台也是其中之一，成为专业垂直的电商平台，为了解电商平台的。
2、但是，现在对汽修保养电商平台数据动态定时页面数据采集时，一般是通过设置采集周期对网页数据进行采集，采集产生的数据完整性不是很高，某些改变的数据漏采的风险较高，针对上述问题，提出了一种汽修保养电商平台数据动态定时页面数据采集方法。
技术实现思路
1、本专利技术的目的在于提供一种汽修保养电商平台数据动态定时页面数据采集方法，以解决上述
技术介绍
中提出的问题。
2、为实现上述目的，本专利技术提供如下技术方案：
3、一种汽修保养电商平台数据动态定时页面数据采集方法，包括以下步骤：
4、s1：建立页面数据采集模型；
5、s2：页面数据采集模型在数据采集时，设置采集周期，并在在一个周期内设置两个及其以上的采集次数，和每次采集的采集频率；
6、s3：页面数据采集模型在进行下一个周期数据采集的同时，并对上一个周期内采集的数据进行对比整合，形成一个周期内的数据；
7、s4：对汽修保养电商平台中的每个店铺采集的数据进行建立档案，和汽修保养电商平台采集的所有数据进行分类整理；
>8、s5：对每个周期的数据与前面周期采集的数据进行对比分析，并上传储存在数据库中，形成每天的采集的数据。9、作为本专利技术进一步的方案：所述s1中的页面数据采集模型根据汽修保养电商平台的页面解析规则和数据抽取规则建立的。
10、作为本专利技术再进一步的方案：所述s2中的数据采集周期为10-20min。
11、作为本专利技术再进一步的方案：所述s2中的采集频率分别为n、an、......xpn(n、a、x、p均为正整数)，x为采集周期内的采集次数。
12、作为本专利技术再进一步的方案：所述s3中对不同频率采集的数据进行提取，根据采集的时间点建立周期内的数据链。
13、作为本专利技术再进一步的方案：所述s1中的页面数据采集模型包括采集模块、数据整合模块、数据处理模块、数据分析模块、数据查询模块、数据可视化模块以及数据输送模块；
14、所述采集模块对汽修保养电商平台数据进行采集；
15、所述数据整合模块对单周期内的采集的数据进行整合，形成一个周期的采集数据；
16、所述数据处理模块对汽修保养电商平台中的每个店铺采集的数据进行建立档案，和汽修保养电商平台采集的所有数据进行分类整理；
17、所述数据分析模块对每个周期内的数据进行分析，并对每个周期内的数据进行同比和环比；
18、所述数据查询模块可根据汽修保养电商平台页面数据的关键词进行查询；
19、所述数据可视化模块对产生的数据建立相关的表格，形成可视化的报告；
20、所述数据输送模块用于处理后的采集数据的传输，并按时间依次储存。
21、作为本专利技术再进一步的方案：所述采集模块对采集周期、每个采集周期内采集次数和每次的采集频率。
22、作为本专利技术再进一步的方案：所述采集周期为10-20min。
23、作为本专利技术再进一步的方案：所述每个采集周期内采集次数为两次及两次以上，采集频率分别为n、an、......xpn(n、a、x、p均为正整数)，x为采集模块在采集周期内的采集次数。
24、作为本专利技术再进一步的方案：所述数据分析模块对采集到异常数据时通过数据可视化模块发出异常报告。
25、与现有技术相比，本专利技术的有益效果是：
26、1.本专利技术通过在建立的页面数据采集模型中的采集模块在对汽修保养电商平台网页数据采集时的采集周期内设置多次数据采集，并且每次数据采集的采集频率成倍数变化，对每个周期内的多次采集的数据进行整合，使得采集到的汽修保养电商平台网页数据更加精确。
27、2.本专利技术通过对采集的数据通过数据处理模块进行数据处理以及分类，处理后的数据通过数据分析模块对数据进行对比分析，形成可视化报告，方便工作人员的观看，以及通过数据可视化模块对数据分析模块对采集到异常数据发出异常报告，方便工作人员后续为网站的维护处理。
本文档来自技高网...
【技术保护点】
1.一种汽修保养电商平台数据动态定时页面数据采集方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种汽修保养电商平台数据动态定时页面数据采集方法，其特征在于：所述S1中的页面数据采集模型根据汽修保养电商平台的页面解析规则和数据抽取规则建立的。
3.根据权利要求1所述的一种汽修保养电商平台数据动态定时页面数据采集方法，其特征在于：所述S2中的数据采集周期为10-20min。
4.根据权利要求1所述的一种汽修保养电商平台数据动态定时页面数据采集方法，其特征在于：所述S2中的采集频率分别为N、aN、......xpN(N、a、x、p均为正整数)，x为采集周期内的采集次数。
5.根据权利要求1所述的一种汽修保养电商平台数据动态定时页面数据采集方法，其特征在于：所述S3中对不同频率采集的数据进行提取，根据采集的时间点建立周期内的数据链。
6.根据权利要求1所述的一种汽修保养电商平台数据动态定时页面数据采集方法，其特征在于：所述S1中的页面数据采集模型包括采集模块、数据整合模块、数据处理模块、数据分析模块、数据查询模块、数据可视化模块以及数据输送模块；
7.根据权利要求6所述的一种汽修保养电商平台数据动态定时页面数据采集方法，其特征在于：所述采集模块对采集周期、每个采集周期内采集次数和每次的采集频率。
8.根据权利要求7所述的一种汽修保养电商平台数据动态定时页面数据采集方法，其特征在于：所述采集周期为10-20min。
9.根据权利要求6所述的一种汽修保养电商平台数据动态定时页面数据采集方法，其特征在于：所述每个采集周期内采集次数为两次及两次以上，采集频率分别为N、aN、......xpN(N、a、x、p均为正整数)，x为采集模块在采集周期内的采集次数。
10.根据权利要求6所述的一种汽修保养电商平台数据动态定时页面数据采集方法，其特征在于：所述数据分析模块对采集到异常数据时通过数据可视化模块发出异常报告。
...
【技术特征摘要】
1.一种汽修保养电商平台数据动态定时页面数据采集方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种汽修保养电商平台数据动态定时页面数据采集方法，其特征在于：所述s1中的页面数据采集模型根据汽修保养电商平台的页面解析规则和数据抽取规则建立的。
3.根据权利要求1所述的一种汽修保养电商平台数据动态定时页面数据采集方法，其特征在于：所述s2中的数据采集周期为10-20min。
4.根据权利要求1所述的一种汽修保养电商平台数据动态定时页面数据采集方法，其特征在于：所述s2中的采集频率分别为n、an、......xpn(n、a、x、p均为正整数)，x为采集周期内的采集次数。
5.根据权利要求1所述的一种汽修保养电商平台数据动态定时页面数据采集方法，其特征在于：所述s3中对不同频率采集的数据进行提取，根据采集的时间点建立周期内的数据链。
6.根据权利要求1所述的一种汽修保养电商平台数据动态定时页面数...
【专利技术属性】
技术研发人员：王继仑，
申请(专利权)人：济南政联汽配在线网络科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。