一种数据处理的方法、装置、存储介质及电子设备制造方法及图纸

本说明书公开了一种数据处理的方法、装置、存储介质及电子设备。首先，获取数据处理模型对应的算子运算关系图，算子运算关系图用于表示所述数据处理模型所包含的各算子之间的运算关系。其次，根据算子运算关系图，确定各算子。而后，从各算子中确定存在运算关系的算子，作为目标算子，并根据各目标算子按照不同的数据处理方式对输入张量进行数据处理时所消耗的运算资源，从各目标算子在对输入张量进行数据处理时所采用的各数据处理方式中筛选出目标方式。最后，当接收到待处理数据时，将待处理数据输入到数据处理模型中，以按照目标方式，通过数据处理模型对待处理数据进行数据处理。本方法可以提高对神经网络模型的训练效率。本方法可以提高对神经网络模型的训练效率。本方法可以提高对神经网络模型的训练效率。

【技术实现步骤摘要】
一种数据处理的方法、装置、存储介质及电子设备


[0001]本说明书涉及计算机
，尤其涉及一种数据处理的方法、装置、存储介质及电子设备。

技术介绍

[0002]目前，通过大量的数据对复杂的神经网络模型进行训练需要大量的时间。而为了减少神经网络模型训练的时间，通常采用分布式训练方法。分布式训练方法包括：数据并行、模型并行等。数据并行是指将数据拆分成多份，分别由多个相同的神经网络模型进行运算，再将最后的结果进行整合。模型并行是指将神经网络模型拆分成多个子模型，将相同的数据输入到多个子模型进行运算，再将最后的结果进行整合。但是，由于数据并行需要部署多个相同的神经网络模型，导致无法应用于大型神经网络模型。而模型并行需要各子模型之间传输数据，从而导致运算资源的浪费。因此，现有的分布式训练方法对神经网络模型的训练效率较低。
[0003]因此，如何提高对神经网络模型的训练效率，则是一个亟待解决的问题。

技术实现思路

[0004]本说明书提供一种数据处理的方法、装置、存储介质及电子设备，以部分的解决现有技术存在的上述问题。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理的方法，其特征在于，包括：获取数据处理模型对应的算子运算关系图，所述算子运算关系图用于表示所述数据处理模型所包含的各算子之间的运算关系；根据所述算子运算关系图，确定各算子；从各算子中确定存在运算关系的算子，作为目标算子，并根据各目标算子按照不同的数据处理方式对输入张量进行数据处理时所消耗的运算资源，从所述各目标算子在对输入张量进行数据处理时所采用的各数据处理方式中筛选出目标方式；当接收到待处理数据时，将所述待处理数据输入到所述数据处理模型中，以按照所述目标方式，通过所述数据处理模型对所述待处理数据进行数据处理。2.如权利要求1所述的方法，其特征在于，所述数据处理方式包括：按列切分方式，所述按列切分方式是通过算子将输入张量沿着纵向对称轴进行切分，得到切分后的张量，对所述切分后的张量进行运算，得到运算结果，并对所述运算结果进行拼接，得到输出张量的数据处理方式。3.如权利要求1所述的方法，其特征在于，所述数据处理方式包括：按行切分方式，所述按行切分方式是通过算子将输入张量沿着横向对称轴进行切分，得到切分后的张量，对所述切分后的张量进行运算，得到运算结果，并对所述运算结果进行拼接，得到输出张量的数据处理方式。4.如权利要求1所述的方法，其特征在于，所述数据处理方式包括：复制方式，所述复制方式是通过算子将输入张量进行复制，得到与输入张量相同的输出张量的数据处理方式。5.如权利要求1所述的方法，其特征在于，所述数据处理方式包括：局部分解方式，所述局部分解方式是通过算子将输入张量进行分解，得到形状相同且元素不同的分解后的张量，对所述分解后的张量进行运算，得到运算结果，并对所述运算结果进行相同位置的元素相加，得到输出张量的数据处理方式。6.如权利要求1所述的方法，其特征在于，所述运算关系包括：单向运算关系，所述单向运算关系用于表示至少三个算子组成的一条单向的运算关系；根据各目标算子按照不同的数据处理方式对输入张量进行数据处理时所消耗的运算资源，从所述各目标算子在对输入张量进行数据处理时所采用的各数据处理方式中筛选出目标方式，具体包括：若各目标算子之间的运算关系为单向运算关系，则根据各目标算子按照不同的数据处理方式对输入张量进行数据处理时所消耗的运算资源，从所述各目标算子在对输入张量进行数据处理时所采用的各数据处理方式中，筛选出对输入张量进行数据处理时所消耗的运算资源最小的数据处理方式，作为目标方式。7.如权利要求1所述的方法，其特征在于，所述运算关系包括：多向运算关系，所述多向运算关系用于表示至少三个算子组成的至少两条单向的运算关系；根据各目标算子按照不同的数据处理方式对输入张量进行数据处理时所消耗的运算资源，从所述各目标算子在对输入张量进行数据处理时所采用的各数据处理方式中筛选出目标方式，具体包括：若各目标算子之间的运算关系为多向运算关系，则针对每条单向的运算关系，根据在该条单向的运算关系中的各目标算子按照不同的数据处理方式对输入张量进行数据处理
时所消耗的运算资源，从所述各目标算子在对输入张量进行数据处理时所采用的各数据处理方式中，筛选出在该条单向的运算关系中的对输入张量进行数据处理时所消耗的运算资源最小的数据处理方式；根据各条单向的运算关系中的对输入张量进行数据处理时所消耗的运算资源最小的数据处理方式，确定目标方式。8.如权利要求1所述的方法，其特征在于，所述运算关系包括：树结构运算关系，所述树结构运算关系用于表示至少三个算子组成的树结构的运算关系，所述树结构运算关系包括：根节点以及叶子节点；根据各目标算子按照不同的数据处理方式对输入张量进行数据处理时所消耗的运算资源，从所述各目标算子在对输入张量进行数据处理时所采用的各数据处理方式中筛选出目标方式，具体包括：若各目标算子之间的运算关系为树结构运算关系，则根据各叶子节点按照不同的数据处理方式对所述根节点输入的输入张量进行数据处理时所消耗的运算资源，从所述叶子节点在对所述根节点输入的输入张量进行数据处理时所采用的各数据处理方式中，筛选出对所述根节点输入的输入张量进行数据处理时所消耗的运算资源最小的数据处理方式，作为目标方式。9.如权利要求8所述的方法，其特征在于，所述树结构运算关系...

【专利技术属性】
技术研发人员：王宏升，陈光，
申请(专利权)人：之江实验室，
类型：发明
国别省市：