数据处理方法及其装置、存储介质制造方法及图纸

本发明专利技术公开了一种数据处理方法及其装置、存储介质。其中，数据处理方法包括：接收数据流，其中，所述数据流包括多个待处理数据，所述待处理数据包括维度信息；间隔预设时间对所述数据流进行切片，得到多个数据流分片；将所述多个数据流分片缓存于磁盘；将各个所述数据流分片中的所述待处理数据从所述磁盘提取至内存；在所述内存中对具有相同的所述维度信息的所述待处理数据进行第一合并处理，得到目标数据集。根据本发明专利技术实施例的方案，通过减少目标数据集的数据量，进一步减少直接使用内存读取数据流中的待处理数据的情况，从而达到提高内存的利用率的目的。存的利用率的目的。存的利用率的目的。

【技术实现步骤摘要】
数据处理方法及其装置、存储介质


[0001]本专利技术涉及大数据
，尤其是一种数据处理方法及其装置、存储介质。

技术介绍

[0002]随着万物互联时代到来，传感器、智能手机、可穿戴设备以及智能家电等设备成为万物互联的一部分，并产生海量的数据。在传统的对数据的离线计算中，一般先将数据保存到存储介质，然后按照一定调度策略批量处理这些数据。然而，读取大量的数据需要消耗大量的内存资源，如何提高内存的利用率是一大技术难题。

技术实现思路

[0003]以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
[0004]本专利技术实施例提供了一种数据处理方法及其装置、存储介质，能够提高内存的利用率。
[0005]第一方面，本专利技术实施例提供了一种数据处理方法，包括：接收数据流，其中，所述数据流包括多个待处理数据，所述待处理数据包括维度信息；间隔预设时间对所述数据流进行切片，得到多个数据流分片；将所述多个数据流分片缓存于磁盘；将各个所述数据流分片中的所述待处理数据从所述磁盘提取至内存；在所述内存中对具有相同的所述维度信息的所述待处理数据进行第一合并处理，得到目标数据集。
[0006]第二方面，本专利技术实施例还提供了一种数据处理装置，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上第一方面所述的数据处理方法。
[0007]第三方面，本专利技术实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如上第一方面所述的数据处理方法。
[0008]本专利技术实施例包括：接收数据流，其中，数据流包括多个待处理数据，待处理数据包括维度信息；间隔预设时间对数据流进行切片，得到多个数据流分片；将多个数据流分片缓存于磁盘；将各个数据流分片中的待处理数据从磁盘提取至内存；在内存中对具有相同的维度信息的待处理数据进行第一合并处理，得到目标数据集。根据本专利技术实施例的方案，数据流分片缓存于磁盘，节省了内存的存储成本；将各个数据流分片中的待处理数据从磁盘提取至内存，在内存中对具有相同的维度信息的待处理数据进行第一合并处理，得到目标数据集，减少利用内存直接读取数据流的情况，数据流分片经过合并后数量变少，从而减少目标数据集的数据量，进一步减少直接使用内存读取数据流中的待处理数据的情况，达到提高内存的利用率的目的。
[0009]本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
[0010]附图用来提供对本专利技术技术方案的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术的技术方案，并不构成对本专利技术技术方案的限制。
[0011]图1是本专利技术一个实施例提供的数据处理方法的流程图；
[0012]图2是图1中步骤S130的具体方法的流程图；
[0013]图3是图1中步骤S150的具体方法的流程图；
[0014]图4是图3中步骤S152的具体方法的流程图；
[0015]图5是图3中步骤S153的具体方法的流程图；
[0016]图6是本专利技术另一个实施例提供的数据处理方法的流程图；
[0017]图7是图1中步骤S140的具体方法的流程图；
[0018]图8是图1中步骤S130的具体方法的另一个实施例的流程图；
[0019]图9是本专利技术又一个实施例提供的数据处理方法的流程图；
[0020]图10是图1中步骤S140的具体方法的另一个实施例的流程图；
[0021]图11是本专利技术另一个实施例提供的数据处理方法的待处理数据结构示例图；
[0022]图12是本专利技术另一个实施例提供的数据处理方法的待处理数据示例图；
[0023]图13是本专利技术又一个实施例提供的数据处理方法的待处理数据示例图；
[0024]图14是本专利技术再另外一个实施例提供的数据处理方法的待处理数据示例图；
[0025]图15是本专利技术一个具体实施例提供的数据处理方法的数据流的实例图。
具体实施方式
[0026]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。
[0027]需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
[0028]本专利技术提供了一种数据处理方法及其装置、存储介质，其中，数据处理方法包括：接收数据流，其中，数据流包括多个待处理数据，待处理数据包括维度信息；间隔预设时间对数据流进行切片，得到多个数据流分片；将多个数据流分片缓存于磁盘；将各个数据流分片中的待处理数据从磁盘提取至内存；在内存中对具有相同的维度信息的待处理数据进行第一合并处理，得到目标数据集。根据本专利技术实施例的方案，数据流分片缓存于磁盘，节省了内存的存储成本；将各个数据流分片中的待处理数据从磁盘提取至内存，在内存中对具有相同的维度信息的待处理数据进行第一合并处理，得到目标数据集，减少利用内存直接读取数据流的情况，数据流分片经过合并后数量变少，从而减少目标数据集的数据量，进一步减少直接使用内存读取具有大量数据的数据集的情况，达到提高内存的利用率的目的。
[0029]下面结合附图，对本专利技术实施例作进一步阐述。
[0030]如图1所示，图1是本专利技术一个实施例提供的数据处理方法的流程图，该数据处理方法可以包括但不限于有步骤S110、步骤S120、步骤S130、步骤S140、步骤S150。
[0031]步骤S110：接收数据流，其中，数据流包括多个待处理数据，待处理数据包括维度
信息。
[0032]本步骤中，待处理数据可以是相关技术中的任意数据，可以是具有键值对的网络数据，也可以是关系数据库中的关系数据。维度信息可以是人为划分的数据中的字段对应的数据信息，在一个可选的实施方式中，参照图11，一共有n个字段以及m条数据，其中，数据11至数据1n指的是一条完整的待处理数据，字段指的是字段名称，长度指的是该字段的数据的长度，将字段1和字段2作为维度，则维度信息包括数据11至数据m1、数据12至数据m2。或者，参照图13，一共有五条数据，可以预设用户编号字段的数据以及小区编号字段的数据为维度信息，即是说，维度信息包括数据1中的44600001和25681、数据2中的44600002和25682、数据3中的44600001和25682、数据4中的44600002和25684、数据5中的44600003和25683，或者，参照图14，共四条数据，可以预设业务类型编号字段的数据以及本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，包括：接收数据流，其中，所述数据流包括多个待处理数据，所述待处理数据包括维度信息；间隔预设时间对所述数据流进行切片，得到多个数据流分片；将所述多个数据流分片缓存于磁盘；将各个所述数据流分片中的所述待处理数据从所述磁盘提取至内存；在所述内存中对具有相同的所述维度信息的所述待处理数据进行第一合并处理，得到目标数据集。2.如权利要求1所述的数据处理方法，其特征在于，所述将所述多个数据流分片缓存于磁盘，包括：根据所述维度信息对各个所述数据流分片中的待处理数据进行排序；将所述多个排序后的数据流分片缓存于磁盘。3.如权利要求2所述的数据处理方法，其特征在于，所述数据流分片中的待处理数据经过排序，所述在所述内存中对具有相同的所述维度信息的所述待处理数据进行第一合并处理，得到目标数据集，包括：遍历各个所述数据流分片中的待处理数据；根据所述维度信息获取所述待处理数据；根据所述待处理数据的数量信息得到目标数据；根据所述目标数据得到目标数据集。4.如权利要求3所述的数据处理方法，其特征在于，所述根据所述排序以及所述维度信息获取所述待处理数据，包括：当所述排序为根据所述维度信息由小到大排序，获取所述维度信息最小的所述待处理数据；或者，当所述排序为根据所述维度信息由大到小排序，获取所述维度信息最大的所述待处理数据。5.根据权利要求3所述的数据处理方法，其特征在于，所述根据所述待处理数据的数量信息得到目标数据，包括：当所述待处理数据的数量大于一个，对所述待处理数据合并得到目标数据；或者，当所述待处理数据的数量等于一个，将所述待处理数据确定为目标数据。6.如权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：获取各个所述...

【专利技术属性】
技术研发人员：杨伟伟，占义忠，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：