【技术实现步骤摘要】
本申请涉及计算机,尤其涉及一种数据处理方法、装置、系统、存储介质、设备和程序产品。
技术介绍
1、数据质量监测是数据生态中重要的一环,其中,数据处理又十分关键,当前市场实现数据处理的过程中,主要是通过遍历、扫描等完成数据采集。
2、然而,当进行数据质量监测的数据的量级达到一定程度,会导致数据采集的耗时过长,从而大大降低数据质量监测的时效性和数据质量监测结果的可参考性。
3、因此,如何提高数据质量监测中数据处理的效率,成为亟待解决的问题。
技术实现思路
1、本申请实施例在于提供一种数据处理方法、装置、系统、存储介质、设备和程序产品通过选择性将缓存数据区划分为多个子缓存数据区,进而采集缓存数据区或同时采集子缓存数据区的数据用于后续的质量分析,以加大数据采集的效率,从而有效提高数据质量监测的时效性。
2、第一方面,本申请实施例提供一种数据处理方法,数据处理方法包括:读取至少一个缓存数据区的数据,并确定从每一缓存数据区读取数据的每一第一读取时长;在至少一个第一读
...【技术保护点】
1.一种数据处理方法,其特征在于,所述数据处理方法包括:
2.根据权利要求1所述的数据处理方法,其特征在于,对所述目标读取时长对应的目标缓存数据区进行至少一次区域化分,得到至少两个子缓存数据区,包括:
3.根据权利要求2所述的数据处理方法,其特征在于,所述方法还包括:
4.根据权利要求1所述的数据处理方法,其特征在于,所述方法还包括:
5.根据权利要求4所述的数据处理方法,其特征在于,对所述目标读取时长对应的目标缓存数据区进行至少一次区域化分,得到至少两个子缓存数据区,包括:
6.根据权利要求1至5任一项所述
...【技术特征摘要】
1.一种数据处理方法,其特征在于,所述数据处理方法包括:
2.根据权利要求1所述的数据处理方法,其特征在于,对所述目标读取时长对应的目标缓存数据区进行至少一次区域化分,得到至少两个子缓存数据区,包括:
3.根据权利要求2所述的数据处理方法,其特征在于,所述方法还包括:
4.根据权利要求1所述的数据处理方法,其特征在于,所述方法还包括:
5.根据权利要求4所述的数据处理方法,其特征在于,对所述目标读取时长对应的目标缓存数据区进行至少一次区域化分,得到至少两个子缓存数据区,包括:
6.根据权利要求1至5任一项所述的数据处理方法,其特征在于,所述质量分析结果包括数据质量指标,数据质量指标用于质量分析装置生成校验文件,所...
【专利技术属性】
技术研发人员:刘嘉凝,赵树茂,
申请(专利权)人:中移上海信息通信科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。