数据并行处理方法、装置、计算机设备及可读存储介质制造方法及图纸

本发明专利技术实施例公开了一种数据并行处理方法、装置、计算机设备及可读存储介质，所述方法包括：获取实时待处理数据；生成与待处理数据对应的唯一标识信息；根据预设计算模型拆分待处理数据，以得到对应待处理数据的多条子数据，其中，每条子数据均关联对应所述待处理数据的血缘元数据，各所述血缘元数据包括所述唯一标识信息；根据预设分组规则，将全部子数据分配给不同的数据处理器进行并行计算；根据预设的有序字典和所述血缘元数据，合并各数据处理器反馈的处理结果，以得到对应所述待处理数据的目标处理结果。本申请通过在数据拆分、计算和合并过程中关联血缘元数据，并按照分组建模的方式，实现了快速、有序的并行处理大规模的实时数据。的实时数据。的实时数据。

【技术实现步骤摘要】
数据并行处理方法、装置、计算机设备及可读存储介质


[0001]本专利技术涉及数据处理领域，尤其涉及一种数据并行处理方法、装置、计算机设备及可读存储介质。

技术介绍

[0002]在现有的实时数据处理引擎中，通常采用并行处理的方法来处理数据，现有的实时数据处理引擎通常会根据所述实时数据的拆分顺序进行编号处理，并根据编号顺序对处理结果进行合并。
[0003]现有的实时数据处理引擎主要有两大问题：其一是同一类型数据的计算前后可能会有严格的时序要求，例如，用户的操作时序为登录
‑
浏览
‑
添加购物车
‑
下单
‑
登出，对应五条操作日志具有固定的时序。而当前的实时数据处理引擎如果放到不同的计算单元中并行执行时，数据处理结果的时序无法得到保证。如果将统一类型的数据在分组时全部交给一个计算单元执行，又往往会阻塞计算单元的处理进度。
[0004]其二是，现有的实时数据处理引擎在处理大模式的并行计算问题时往往将大量数据的字段存放在一个计算单元中进行计算，从而造成单条数据的计算时间长而阻塞后续数据的处理。
[0005]因此，亟需一种能够快速处理实时数据的数据并行处理方法来解决实时数据处理引擎在实际运行中的问题。

技术实现思路

[0006]为了解决上述技术问题，本申请实施例提供了一种数据并行处理方法、装置、计算机设备及可读存储介质，具体方案如下：
[0007]第一方面，本申请实施例提供了一种数据并行处理方法，所述方法包括：r/>[0008]获取实时待处理数据；
[0009]生成与所述待处理数据对应的唯一标识信息；
[0010]根据预设计算模型拆分所述待处理数据，以得到对应所述待处理数据的多条子数据，其中，每条子数据均关联对应所述待处理数据的血缘元数据，各所述血缘元数据包括所述唯一标识信息；
[0011]根据预设分组规则，将全部子数据分配给不同的数据处理器进行并行计算；
[0012]根据预设的有序字典和所述血缘元数据，合并各数据处理器反馈的处理结果，以得到对应所述待处理数据的目标处理结果。
[0013]根据本申请实施例的一种具体实施方式，根据预设计算模型拆分所述待处理数据，以得到对应所述待处理数据的多条子数据的步骤，包括：
[0014]获取所述待处理数据关联的待处理任务，所述待处理任务包括数据输入输出模式和映射计算逻辑；
[0015]根据所述数据输入输出模式和所述映射计算逻辑生成具备分组序号的多个数据
处理器的并行计算模型；
[0016]根据所述并行计算模型对所述待处理数据进行划分，以得到所述待处理数据的属性分组组数以及多条具有属性分组序号的子数据。
[0017]根据本申请实施例的一种具体实施方式，根据预设分组规则，将全部子数据分配给不同的数据处理器进行并行计算的步骤，包括：
[0018]根据所述并行计算模型将计算逻辑相互依赖的子数据分配至同一个子数据组；
[0019]根据各子数据组对应的计算逻辑和各数据处理器的分组序号将全部子数据分配至不同的数据处理器，以使各数据处理器进行并行计算。
[0020]根据本申请实施例的一种具体实施方式，根据预设计算模型拆分所述待处理数据，以得到对应所述待处理数据的多条子数据的步骤，还包括：
[0021]为每一条子数据关联对应的血缘元数据，所述血缘元数据包括所属待处理数据的唯一标识、所述子数据对应的属性分组序号和所属待处理数据的分组组数。根据本申请实施例的一种具体实施方式，根据预设的有序字典和所述血缘元数据，合并各数据处理器反馈的处理结果，以得到对应所述待处理数据的目标处理结果的步骤，包括：
[0022]将各数据处理器反馈的处理结果集合至预设的有序字典，所述有序字典为具有预设存储容量的存储空间；
[0023]按照待处理数据的属性分组序号排列顺序以及分组组数对有序字典中的处理结果进行合并，以得到所述目标处理结果。
[0024]根据本申请实施例的一种具体实施方式，根据预设的有序字典和所述血缘元数据，合并各数据处理器反馈的处理结果，以得到对应所述待处理数据的目标处理结果的步骤，还包括：
[0025]若所述有序字典中的处理结果占用的存储空间超过预设容量阈值，合并所述有序字典中次序最前的处理结果。
[0026]第二方面，本申请实施例还提供了一种数据并行处理装置，所述装置包括：
[0027]获取模块，用于获取实时待处理数据；
[0028]生成模块，用于生成与所述待处理数据对应的唯一标识信息；
[0029]数据拆分模块，用于根据预设计算模型拆分所述待处理数据，以得到对应所述待处理数据的多条子数据，其中，每条子数据均关联对应所述待处理数据的血缘元数据，各所述血缘元数据包括所述唯一标识信息；
[0030]并行计算模块，用于根据预设分组规则，将全部子数据分配给不同的数据处理器进行并行计算；
[0031]数据合并模块，用于根据预设的有序字典和所述血缘元数据，合并各数据处理器反馈的处理结果，以得到对应所述待处理数据的目标处理结果。
[0032]根据本申请实施例的一种具体实施方式，所述数据拆分模块，具体用于获取所述待处理数据关联的待处理任务，所述待处理任务包括数据输入输出模式和映射计算逻辑；
[0033]根据所述数据输入输出模式和所述映射计算逻辑生成具备分组序号的多个数据处理器的并行计算模型；
[0034]根据所述并行计算模型对所述待处理数据进行划分，以得到所述待处理数据的属性分组组数以及多条具有属性分组序号的子数据。
[0035]第三方面，本申请实施例还提供了一种计算机设备，包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行第一方面所述的数据并行处理方法。
[0036]第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序在处理器上运行时执行第一方面所述的数据并行处理方法。
[0037]本申请实施例提供了一种数据并行处理方法、装置、计算机设备及可读存储介质，所述方法包括：获取实时待处理数据；生成与所述待处理数据对应的唯一标识信息；根据预设计算模型拆分所述待处理数据，以得到对应所述待处理数据的多条子数据，其中，每条子数据均关联对应所述待处理数据的血缘元数据，各所述血缘元数据包括所述唯一标识信息；根据预设分组规则，将全部子数据分配给不同的数据处理器进行并行计算；根据预设的有序字典和所述血缘元数据，合并各数据处理器反馈的处理结果，以得到对应所述待处理数据的目标处理结果。通过本申请的数据并行处理方法，能够快速、有序的并行处理大规模的实时数据。
附图说明
[0038]为了更清楚地说明本专利技术的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对本专利技术保护范围本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据并行处理方法，其特征在于，所述方法包括：获取实时待处理数据；生成与所述待处理数据对应的唯一标识信息；根据预设计算模型拆分所述待处理数据，以得到对应所述待处理数据的多条子数据，其中，每条子数据均关联对应所述待处理数据的血缘元数据，各所述血缘元数据包括所述唯一标识信息；根据预设分组规则，将全部子数据分配给不同的数据处理器进行并行计算；根据预设的有序字典和所述血缘元数据，合并各数据处理器反馈的处理结果，以得到对应所述待处理数据的目标处理结果。2.根据权利要求1所述的方法，其特征在于，根据预设计算模型拆分所述待处理数据，以得到对应所述待处理数据的多条子数据的步骤，包括：获取所述待处理数据关联的待处理任务，所述待处理任务包括数据输入输出模式和映射计算逻辑；根据所述数据输入输出模式和所述映射计算逻辑生成具备分组序号的多个数据处理器的并行计算模型；根据所述并行计算模型对所述待处理数据进行划分，以得到所述待处理数据的属性分组组数以及多条具有属性分组序号的子数据。3.根据权利要求2所述的方法，其特征在于，根据预设分组规则，将全部子数据分配给不同的数据处理器进行并行计算的步骤，包括：根据所述并行计算模型将计算逻辑相互依赖的子数据分配至同一个子数据组；根据各子数据组对应的计算逻辑和各数据处理器的分组序号将全部子数据分配至不同的数据处理器，以使各数据处理器进行并行计算。4.根据权利要求2所述的方法，其特征在于，根据预设计算模型拆分所述待处理数据，以得到对应所述待处理数据的多条子数据的步骤，还包括：为每一条子数据关联对应的血缘元数据，所述血缘元数据包括所属待处理数据的唯一标识、所述子数据对应的属性分组序号和所属待处理数据的分组组数。5.根据权利要求4所述的方法，其特征在于，根据预设的有序字典和所述血缘元数据，合并各数据处理器反馈的处理结果，以得到对应所述待处理数据的目标处理结果的步骤，包括：将各数据处理器反馈的处理结果集合至预设的有序字典，所述有序字典为具有预设存储...

【专利技术属性】
技术研发人员：顾敬潇，潘永高，黄胜，
申请(专利权)人：树根互联股份有限公司，
类型：发明
国别省市：