数据处理方法、计算设备、存储设备和存储介质技术

本发明专利技术涉及一种大数据技术，揭露了一种数据处理方法、计算设备、存储设备及计算机可读存储介质。本发明专利技术计算设备发送多笔第一数据至第一存储设备，供第一存储设备对第一数据进行分组，得到若干个第一数据队列；在第一存储设备中查询所有满足预设查询条件的第一数据队列，当查询到时，将查询到的所有第一数据队列进行分组，以得到若干个第一分组，对各个第一分组进行数据处理，得到各个第一分组对应的第二数据，并将各笔第二数据存储至第一存储设备；将各笔第二数据进行分组，得到若干个第二分组，对各个第二分组进行数据处理，得到各个第二分组对应的第三数据，并将各笔第三数据存储至第二存储设备。本发明专利技术提高了计算设备的数据处理效率。

【技术实现步骤摘要】
数据处理方法、计算设备、存储设备和存储介质
本专利技术涉及数据处理
，特别涉及一种数据处理方法、计算设备、存储设备和计算机可读存储介质。
技术介绍
计算设备在处理各类系统产生的大量数据时，通常需要将一数据处理步骤中产生的中间结果数据暂存至存储设备中，并在后续的数据处理步骤中从该存储设备中读取该中间结果数据进行进一步数据处理操作。在此过程中，存储设备和计算设备之间通常会产生大量的读写操作。而计算设备在读取存储设备中的数据时，一般采取的是轮询的方式查询待读取的数据，当存储设备存储的数据过多且数据重复无序时，计算设备从存储设备中查询及读取数据的速度非常缓慢，从而导致计算设备处理数据的效率低下。因此，如何提高计算设备的数据处理效率已经成为一个亟待解决的技术问题。
技术实现思路
鉴于以上内容，本专利技术的主要目的是提供一种数据处理方法、计算设备、存储设备以及计算机可读存储介质，旨在提高数据处理效率的问题。首先，为实现上述目的，本专利技术提出一种数据处理方法，应用于计算设备，该方法包括：发送步骤：发送多笔第一数据至第一存储设备，供第一存储设备对所述多笔第一数据进行分组，得到若干个第一数据队列；查询步骤：在第一存储设备中查询所有满足预设查询条件的第一数据队列，当查询到时，转入第一处理步骤；第一处理步骤：将查询到的所有第一数据队列进行分组，以得到若干个第一分组，对各个所述第一分组进行数据处理，得到各个所述第一分组对应的第二数据，并将各笔第二数据存储至第一存储设备；第二处理步骤：将各笔第二数据进行分组，得到若干个第二分组，对各个所述第二分组进行数据处理，得到各个所述第二分组对应的第三数据，并将各笔第三数据存储至第二存储设备。优选地，各个所述第一数据队列预先设置有第一时间标识信息，所述预设查询条件包括第一数据队列的第一时间标识信息对应的时间值位于预先确定的第一时间区间中。优选地，所述第一处理步骤包括：设置多个第二时间区间，并确定各个所述第一数据队列的第一时间标识信息对应的时间值所属的第二时间区间；根据预先确定的第一分组规则，将查询到的所有第一数据队列进行分组，以得到若干个第一分组，所述预先确定的第一分组规则包括：将第一时间标识信息对应的时间值同属于一个第二时间区间的第一数据队列划分至同一第一分组；对各个第一分组进行数据处理，得到各个所述第一分组对应的第二数据，并分别为各笔第二数据设置对应的第二时间标识信息。优选地，所述第二处理步骤包括：设置多个第三时间区间，并确定各笔第二数据的第二时间标识信息对应的时间值所属的第三时间区间；根据预先确定的第二分组规则，将所述第二数据进行分组，以得到若干个第二分组，所述预先确定的第二分组规则包括：将第二时间标识信息对应的时间值同属于一个第三时间区间的第二数据划分至同一第二分组；对各个第二分组进行数据处理，得到各个所述第二分组对应的第三数据，并分别为各个第三数据设置对应的第三时间标识信息，并将各笔所述第三数据及对应的第三时间标识信息存储至第二存储设备中。为实现上述目的，本专利技术提出一种数据处理方法，应用于存储设备，该方法包括：接收计算设备发送的多笔第一数据，按照预先确定的分组规则对第一数据进行分组得到若干个第一数据队列；根据所述计算设备发送的携带查询条件的查询请求查询得到所有满足预设查询条件的第一数据队列，并将查询到的第一数据队列反馈给所述计算设备。优选地，所述预先确定的分组规则包括：每间隔预设时长，对在所述预设时长内接收到的第一数据按照接收时间顺序进行排序，得到所述预设时长对应的第一数据队列，并为所述第一数据队列设置时间标识信息，直至接收到计算设备发送的所有第一数据时，停止分组操作。本专利技术提出一种计算设备，所述计算设备包括存储器和处理器，所述存储器上存储有第一数据处理程序，所述第一数据处理程序被所述处理器执行时实现如下步骤：发送步骤：发送多笔第一数据至第一存储设备，供第一存储设备对所述多笔第一数据进行分组，得到若干个第一数据队列；查询步骤：在第一存储设备中查询所有满足预设查询条件的第一数据队列，当查询到时，转入第一处理步骤；第一处理步骤：将查询到的所有第一数据队列进行分组，以得到若干个第一分组，对各个所述第一分组进行数据处理，得到各个所述第一分组对应的第二数据，并将各笔第二数据存储至第一存储设备；第二处理步骤：将各笔第二数据进行分组，得到若干个第二分组，对各个所述第二分组进行数据处理，得到各个所述第二分组对应的第三数据，并将各笔第三数据存储至第二存储设备。优选地，各个所述第一数据队列预先设置有第一时间标识信息，所述预设查询条件包括第一数据队列的第一时间标识信息对应的时间值位于预先确定的第一时间区间中。优选地，所述第一处理步骤包括：设置多个第二时间区间，并确定各个所述第一数据队列的第一时间标识信息对应的时间值所属的第二时间区间；根据预先确定的第一分组规则，将查询到的所有第一数据队列进行分组，以得到若干个第一分组，所述预先确定的第一分组规则包括：将第一时间标识信息对应的时间值同属于一个第二时间区间的第一数据队列划分至同一第一分组；对各个第一分组进行数据处理，得到各个所述第一分组对应的第二数据，并分别为各笔第二数据设置对应的第二时间标识信息。优选地，所述第二处理步骤包括：设置多个第三时间区间，并确定各笔第二数据的第二时间标识信息对应的时间值所属的第三时间区间；根据预先确定的第二分组规则，将所述第二数据进行分组，以得到若干个第二分组，所述预先确定的第二分组规则包括：将第二时间标识信息对应的时间值同属于一个第三时间区间的第二数据划分至同一第二分组；对各个第二分组进行数据处理，得到各个所述第二分组对应的第三数据，并分别为各个第三数据设置对应的第三时间标识信息，并将各笔所述第三数据及对应的第三时间标识信息存储至第二存储设备中。本专利技术提出一种存储设备，所述存储设备包括存储器和处理器，所述存储器上存储有第二数据处理程序，所述第二数据处理程序被所述处理器执行时实现如下步骤：接收计算设备发送的多笔第一数据，按照预先确定的分组规则对第一数据进行分组得到若干个第一数据队列；根据所述计算设备发送的携带查询条件的查询请求查询得到所有满足预设查询条件的第一数据队列，并将查询到的第一数据队列反馈给所述计算设备。优选地，所述预先确定的分组规则包括：每间隔预设时长，对在所述预设时长内接收到的第一数据按照接收时间顺序进行排序，得到所述预设时长对应的第一数据队列，并为所述第一数据队列设置时间标识信息，直至接收到计算设备发送的所有第一数据时，停止分组操作。此外，为实现上述目的，本专利技术还提出一种计算机可读存储介质，所述计算机可读存储介质存储有第一数据处理程序，所述第一数据处理程序可被至少一个处理器执行，以使所述至少一个处理器执行如下步骤：发送步骤：发送多笔第一数据至第一存储设备，供第一存储设备对所述多笔第一数据进行分组，得到若干个第一数据队列；查询步骤：在第一存储设备中查询所有满足预设查询条件的第一数据队列，当查询到时，转入第一处理步骤；第一处理步骤：将查询到的所有第一数据队列进行分组，以得到若干个第一分组，对各个所述第一分组进行数据处理，得到各个所述第一分组对应的第二数据，并将各笔第二数据存储至第一存储设备；第二处理步骤：将各笔第本文档来自技高网...

【技术保护点】
1.一种数据处理方法，应用于计算设备，其特征在于，所述方法包括:发送步骤：发送多笔第一数据至第一存储设备，供第一存储设备对所述多笔第一数据进行分组，得到若干个第一数据队列；查询步骤：在第一存储设备中查询所有满足预设查询条件的第一数据队列，当查询到时，转入第一处理步骤；第一处理步骤：将查询到的所有第一数据队列进行分组，以得到若干个第一分组，对各个所述第一分组进行数据处理，得到各个所述第一分组对应的第二数据，并将各笔第二数据存储至第一存储设备；第二处理步骤：将各笔第二数据进行分组，得到若干个第二分组，对各个所述第二分组进行数据处理，得到各个所述第二分组对应的第三数据，并将各笔第三数据存储至第二存储设备。

【技术特征摘要】
1.一种数据处理方法，应用于计算设备，其特征在于，所述方法包括:发送步骤：发送多笔第一数据至第一存储设备，供第一存储设备对所述多笔第一数据进行分组，得到若干个第一数据队列；查询步骤：在第一存储设备中查询所有满足预设查询条件的第一数据队列，当查询到时，转入第一处理步骤；第一处理步骤：将查询到的所有第一数据队列进行分组，以得到若干个第一分组，对各个所述第一分组进行数据处理，得到各个所述第一分组对应的第二数据，并将各笔第二数据存储至第一存储设备；第二处理步骤：将各笔第二数据进行分组，得到若干个第二分组，对各个所述第二分组进行数据处理，得到各个所述第二分组对应的第三数据，并将各笔第三数据存储至第二存储设备。2.如权利要求1所述的数据处理方法，其特征在于，各个所述第一数据队列预先设置有第一时间标识信息，所述预设查询条件包括第一数据队列的第一时间标识信息对应的时间值位于预先确定的第一时间区间中。3.如权利要求2所述的数据处理方法，其特征在于，所述第一处理步骤包括：设置多个第二时间区间，并确定各个所述第一数据队列的第一时间标识信息对应的时间值所属的第二时间区间；根据预先确定的第一分组规则，将查询到的所有第一数据队列进行分组，以得到若干个第一分组，所述预先确定的第一分组规则包括：将第一时间标识信息对应的时间值同属于一个第二时间区间的第一数据队列划分至同一第一分组；对各个第一分组进行数据处理，得到各个所述第一分组对应的第二数据，并分别为各笔第二数据设置对应的第二时间标识信息。4.如权利要求3所述的数据处理方法，其特征在于，所述第二处理步骤包括：设置多个第三时间区间，并确定各笔第二数据的第二时间标识信息对应的时间值所属的第三时间区间；根据预先确定的第二分组规则，将所述第二数据进行分组，以得到若干个第二分组，所述预先确定的第二分组规则包括：将第二时间标识信息对应的时...

【专利技术属性】
技术研发人员：钟文琴，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44