一种确定数据获取频率的方法及装置制造方法及图纸

本申请提供了一种确定数据获取频率的方法及装置，应用于大数据平台，所述方法包括：获取业务系统中已产生的每个业务数据的产生时间；根据所述每个业务数据的产生时间，确定用于反映不同时间段内的业务数据产生量的第一规律；根据所述第一规律确定所述大数据平台从所述业务系统获取所述业务数据的频率。通过该方法，大数据平台可以动态调整其从业务数据系统获取业务数据的频率，实现了计算资源的合理分配，提高了数据处理的效率。

【技术实现步骤摘要】
一种确定数据获取频率的方法及装置
本申请涉及计算机领域，尤其涉及是一种确定数据获取频率的方法及装置。
技术介绍
目前，随着大数据技术的兴起，各种大数据平台已应用到日常的业务系统中。其中，业务系统可以产生海量的业务数据，大数据平台可以从业务系统中，以一定的频率获取业务数据进行处理。然而，现有技术中，大数据平台设定的获取业务数据的频率是固定的，但不同时间段业务系统产生的业务数据量却不一样；每个时间段都以相同的频率获取业务数据，会造成一系列的问题。例如，当业务系统产生业务数据量较大时，会出现大量业务数据排队等待被大数据平台处理的现象，导致业务数据处理时间过长；当业务系统产生业务数据量较少时，会出现浪费大数据平台计算资源的现象。因此，如何动态调整大数据平台获取业务数据的频率是急需解决的问题。
技术实现思路
本申请提供一种确定数据获取频率的方法及装置，应用大数据平台，用于解决现有技术中，大数据平台以固定频率获取业务数据，以至于分配资源不合理、数据处理效率低下的问题。通过该方法，大数据平台可以动态调整其从业务数据系统获取业务数据本文档来自技高网...

【技术保护点】
1.一种确定数据获取频率的方法，其特征在于，应用于大数据平台，所述方法包括：/n获取业务系统中已产生的每个业务数据的产生时间；/n根据所述每个业务数据的产生时间，确定用于反映不同时间段内的业务数据产生量的第一规律；/n根据所述第一规律确定所述大数据平台从所述业务系统获取所述业务数据的频率。/n

【技术特征摘要】
1.一种确定数据获取频率的方法，其特征在于，应用于大数据平台，所述方法包括：
获取业务系统中已产生的每个业务数据的产生时间；
根据所述每个业务数据的产生时间，确定用于反映不同时间段内的业务数据产生量的第一规律；
根据所述第一规律确定所述大数据平台从所述业务系统获取所述业务数据的频率。


2.如权利要求1所述的方法，其特征在于，包括：
当所述第一规律表征在第一时间段内业务数据量大于第一阈值时，所述频率大于第一预设频率；或，
当所述第一规律表征在第二时间段内业务数据量小于第二阈值时，所述频率小于第二预设频率；
第一阈值时大于第二阈值，第一预设频率大于第二预设频率。


3.如权利要求1所述的方法，其特征在于，所述根据所述第一规律确定所述大数据平台从所述业务系统获取业务数据的频率，包括：
根据所述第一规律表征的每个时间段内的业务数据产生量，确定在所述每个时间段内所述大数据平台从所述业务系统获取业务数据的频率。


4.如权利要求3所述的方法，其特征在于，包括：
确定当前时间处于第三时间段内；
根据所述第三时间段对应的频率，从所述业务系统获取所述业务数据。


5.如权利要求4所述的方法，其特征在于，所述从所述业务系统获取业务数据之后，所述方法还包括：
根据预设清洗算法对所述业务数据进行清洗，得到目标数据；
将所述目标数据存储到目标数据库。


6.一种确定数据获取频率的装置，其特征在于，包括：
获取模块，用于获取业务系统中已产生的每个业务数据的产生时间；<...

【专利技术属性】
技术研发人员：袁香宇，林浩生，王博，张康龙，尹雪枫，吕沙沙，聂双燕，王肖，刘旭，韦佳琪，
申请(专利权)人：珠海格力电器股份有限公司，珠海联云科技有限公司，
类型：发明
国别省市：广东;44