数据处理方法、装置、系统、存储介质、设备和程序产品制造方法及图纸

技术编号:43090175 阅读:13 留言:0更新日期:2024-10-26 09:37
本申请提供一种数据处理方法、装置、系统、存储介质、设备和程序产品。数据处理方法包括:读取并确定从缓存数据区读取数据的第一读取时长;在第一读取时长中存在超过预设读取时长阈值的目标读取时长的情况下,对目标读取时长对应的目标缓存数据区进行至少一次区域化分,得到多个子缓存数据区;读取并将子缓存数据区中的数据,以及缓存数据区中除目标缓存数据区以外的其他缓存数据区中的数据上传给质量分析装置。在本申请的数据处理方法中,根据第一读取时长是否超过预设读取时长阈值选择性对其区域划分,同时读取区域划分得到的多个子缓存数据区的数据,有效提高数据采集的效率,从而提高数据质量分析的时效性和质量分析结果的可参考性。

【技术实现步骤摘要】

本申请涉及计算机,尤其涉及一种数据处理方法、装置、系统、存储介质、设备和程序产品


技术介绍

1、数据质量监测是数据生态中重要的一环,其中,数据处理又十分关键,当前市场实现数据处理的过程中,主要是通过遍历、扫描等完成数据采集。

2、然而,当进行数据质量监测的数据的量级达到一定程度,会导致数据采集的耗时过长,从而大大降低数据质量监测的时效性和数据质量监测结果的可参考性。

3、因此,如何提高数据质量监测中数据处理的效率,成为亟待解决的问题。


技术实现思路

1、本申请实施例在于提供一种数据处理方法、装置、系统、存储介质、设备和程序产品通过选择性将缓存数据区划分为多个子缓存数据区,进而采集缓存数据区或同时采集子缓存数据区的数据用于后续的质量分析,以加大数据采集的效率,从而有效提高数据质量监测的时效性。

2、第一方面,本申请实施例提供一种数据处理方法,数据处理方法包括:读取至少一个缓存数据区的数据,并确定从每一缓存数据区读取数据的每一第一读取时长;在至少一个第一读取时长中存在超过预设本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,所述数据处理方法包括:

2.根据权利要求1所述的数据处理方法,其特征在于,对所述目标读取时长对应的目标缓存数据区进行至少一次区域化分,得到至少两个子缓存数据区,包括:

3.根据权利要求2所述的数据处理方法,其特征在于,所述方法还包括:

4.根据权利要求1所述的数据处理方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的数据处理方法,其特征在于,对所述目标读取时长对应的目标缓存数据区进行至少一次区域化分,得到至少两个子缓存数据区,包括:

6.根据权利要求1至5任一项所述的数据处理方法,其特...

【技术特征摘要】

1.一种数据处理方法,其特征在于,所述数据处理方法包括:

2.根据权利要求1所述的数据处理方法,其特征在于,对所述目标读取时长对应的目标缓存数据区进行至少一次区域化分,得到至少两个子缓存数据区,包括:

3.根据权利要求2所述的数据处理方法,其特征在于,所述方法还包括:

4.根据权利要求1所述的数据处理方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的数据处理方法,其特征在于,对所述目标读取时长对应的目标缓存数据区进行至少一次区域化分,得到至少两个子缓存数据区,包括:

6.根据权利要求1至5任一项所述的数据处理方法,其特征在于,所述质量分析结果包括数据质量指标,数据质量指标用于质量分析装置生成校验文件,所...

【专利技术属性】
技术研发人员:刘嘉凝赵树茂
申请(专利权)人:中移上海信息通信科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1