一种数据处理方法、系统、设备及计算机可读存储介质技术方案

技术编号:23148811 阅读:62 留言:0更新日期:2020-01-18 13:22
本申请公开了一种数据处理方法、系统、设备及计算机可读存储介质,获取待处理数据集及对应的数据待处理方式;在待处理数据集中选取一个未处理数据作为目标数据,并确定目标数据对应的目标处理方式;判断自身是否存储有与目标数据及目标处理方式对应的处理结果;若是,则直接将处理结果作为目标数据的目标处理结果;若否,则按照目标处理方式对目标数据进行处理,得到目标处理结果,对应保存目标数据、目标处理方式及目标处理结果;重复执行在待处理数据集中选取一个未处理数据作为目标数据及以后的步骤,直至得到待处理数据集的处理结果集;提高了对数据的处理效率。本申请提供的数据处理系统、设备及计算机可读存储介质也解决了相应技术问题。

A data processing method, system, equipment and computer readable storage medium

【技术实现步骤摘要】
一种数据处理方法、系统、设备及计算机可读存储介质
本申请涉及计算机
,更具体地说,涉及一种数据处理方法、系统、设备及计算机可读存储介质。
技术介绍
当前,随着信息时代以及智慧时代的到来,数据量的爆炸式增长和数据价值的凸显使得计算力变得愈发重要。通常,在计算机设备中,认为计算力的高低受到CPU(centralprocessingunit,中央处理器)、内存和I/O资源的影响,那么,如何在CPU、内存和I/O资源受限的情况下进一步提高对数据的处理效率,提高计算机设备的计算力,便是一个需要解决的问题。综上所述,如何提高对数据的处理效率是目前本领域技术人员亟待解决的问题。
技术实现思路
本申请的目的是提供一种数据处理方法,其能在一定程度上解决如何提高对数据的处理效率的技术问题。本申请还提供了一种数据处理系统、设备及计算机可读存储介质。为了实现上述目的,本申请提供如下技术方案:一种数据处理方法,包括:获取待处理数据集及对应的数据待处理方式;在所述待处理数据集中选取一个未处理数据作为目标数据本文档来自技高网...

【技术保护点】
1.一种数据处理方法,其特征在于,包括:/n获取待处理数据集及对应的数据待处理方式;/n在所述待处理数据集中选取一个未处理数据作为目标数据,并确定所述目标数据对应的数据待处理方式为目标处理方式;/n判断自身是否存储有与所述目标数据及所述目标处理方式对应的处理结果;/n若是,则直接将所述处理结果作为所述目标数据的目标处理结果;/n若否,则按照所述目标处理方式对所述目标数据进行处理,得到所述目标处理结果,对应保存所述目标数据、所述目标处理方式及所述目标处理结果;/n重复执行所述在所述待处理数据集中选取一个未处理数据作为目标数据及以后的步骤,直至得到所述待处理数据集的处理结果集。/n

【技术特征摘要】
1.一种数据处理方法,其特征在于,包括:
获取待处理数据集及对应的数据待处理方式;
在所述待处理数据集中选取一个未处理数据作为目标数据,并确定所述目标数据对应的数据待处理方式为目标处理方式;
判断自身是否存储有与所述目标数据及所述目标处理方式对应的处理结果;
若是,则直接将所述处理结果作为所述目标数据的目标处理结果;
若否,则按照所述目标处理方式对所述目标数据进行处理,得到所述目标处理结果,对应保存所述目标数据、所述目标处理方式及所述目标处理结果;
重复执行所述在所述待处理数据集中选取一个未处理数据作为目标数据及以后的步骤,直至得到所述待处理数据集的处理结果集。


2.根据权利要求1所述的方法,其特征在于,所述判断自身是否存储有与所述目标数据及所述目标处理方式对应的处理结果,包括:
判断自身是否存储有所述目标数据;
若自身存储有所述目标数据,则判断自身存储的数据处理方式与所述目标处理方式引用的外部数据是否一致;
若所述数据处理方式与所述目标处理方式引用的外部数据一致,则判定自身存储有与所述目标数据及所述目标处理方式对应的所述处理结果。


3.根据权利要求1所述的方法,其特征在于,所述判断自身是否存储有与所述目标数据及所述目标处理方式对应的处理结果之前,还包括:
判断所述目标处理方式是否与所述待处理数据集的自身属性相关;
若否,则执行所述判断自身是否存储有与所述目标数据及所述目标处理方式对应的处理结果的步骤,若是,则直接按照所述目标处理方式对所述待处理数据集进行处理。


4.根据权利要求1所述的方法,其特征在于,所述对应保存所述目标数据、所述目标处理方式及所述目标处理结果之前,还包括:
累积对所述待处理数据集的处理时长;
判断所述处理时长是否小于预设时长,若是,则执行所述对应保存所述目标数据、所述目标处理方式及所述目标处理结果的步骤,若否,则结束。


5.根据权利要求1所述的方法,其特征在于,所述对应保存所述目标数据、所述目标处理方式及所述目标处理结果之前,还包括:
统计...

【专利技术属性】
技术研发人员:秦朝阳
申请(专利权)人:北京浪潮数据技术有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1