一种数据处理的方法、装置、存储介质及电子设备制造方法及图纸

本说明书公开了一种数据处理的方法、装置、存储介质及电子设备。该数据处理的方法包括：获取初始处理模型，并确定初始处理模型中包含的各目标模型算子，针对每个目标模型算子，根据各处理步骤对该模型算子进行拆分，得到该模型算子包含的各子模型算子，根据每个子模型算子和未被拆分的目标模型算子对应的计算顺序，将各子模型算子以及未被拆分的各目标模型算子进行融合，得到至少一个融合算子，根据各融合算子确定优化后处理模型并部署，在接收到数据处理请求后，将获取到的待处理数据输入所述优化后处理模型，以通过所述优化后处理模型对所述待处理数据进行数据处理。模型对所述待处理数据进行数据处理。模型对所述待处理数据进行数据处理。

【技术实现步骤摘要】
一种数据处理的方法、装置、存储介质及电子设备


[0001]本说明书涉及计算机
，尤其涉及一种数据处理的方法、装置、存储介质及电子设备。

技术介绍

[0002]随着深度学习技术的不断发展，深度学习算法被广泛应用在诸如图像处理、自然语言处理、语音识别等领域。但是随着深度学习模型规模的不断地增大，其计算量、占用的空间以及内存访问量也随之快速地增加，远远超出了硬件的处理能力。这就需要对深度学习模型进行优化，以使其与硬件的处理能力相匹配。
[0003]然而，深度学习模型是由计算密集型算子和访存密集型算子组合而成的，随着计算架构的不断进化，访存效率成为深度学习模型训练和推理过程中的瓶颈。随着深度学习模型体量的增大，对内存的访存次数也会随之增加，而访存次数越多，所消耗的时间也就越长，从而降低整个模型的运算效率。
[0004]因此，如何有效减少模型对内存的访问次数，提高模型整体的运算效率，是一个亟待解决的问题。

技术实现思路

[0005]本说明书提供一种数据处理的方法、装置、介质及设备，以部分的解决现有技术存在的上述问题。
[0006]本说明书采用下述技术方案：本说明书提供了一种数据处理的方法，包括：获取初始处理模型，并确定所述初始处理模型中包含的各目标模型算子；针对每个目标模型算子，若确定在执行该目标模型算子对应的数据处理过程时至少涉及两个数据处理步骤，则根据各处理步骤对该模型算子进行拆分，得到该模型算子包含的各子模型算子；根据每个子模型算子和未被拆分的目标模型算子对应的计算顺序，以融合后得到的各融合算子在数据处理过程中对存储设备的访存次数小于所述各目标算子在数据处理过程中对存储设备的访存次数为目标，将各子模型算子以及未被拆分的各目标模型算子进行融合，得到至少一个融合算子；根据各融合算子确定优化后处理模型并部署，在接收到数据处理请求后，将获取到的待处理数据输入所述优化后处理模型，以通过所述优化后处理模型对所述待处理数据进行数据处理。
[0007]可选地，所述目标模型算子包括：归一化算子、激活算子、池化算子以及卷积算子中的至少一种。
[0008]可选地，针对每个目标模型算子，若确定在执行该目标模型算子对应的数据处理过程时至少涉及两个数据处理步骤，则根据各处理步骤对该模型算子进行拆分，得到该模
型算子包含的各子模型算子，具体包括：根据执行所述归一化算子时涉及的对数据的均值和方差进行计算的处理步骤，确定所述归一化算子包含的均值方差算子，以及，根据确定出的均值和方差对所述数据进行归一化处理的处理步骤，确定所述归一化算子包含的子归一化算子；将所述均值方差算子以及所述子归一化算子作为所述归一化算子的子模型算子。
[0009]可选地，针对每个目标模型算子，若确定在执行该目标模型算子对应的数据处理过程时至少涉及两个数据处理步骤，则根据各处理步骤对该模型算子进行拆分，得到该模型算子包含的各子模型算子，具体包括：根据执行所述池化算子时涉及的对数据进行行向池化处理的处理步骤，确定所述池化算子包含的行向池化算子，以及，根据对确定出的行向池化结果进行列向池化处理的处理步骤，确定所述池化算子包含的列向池化算子；将所述行向池化算子以及所述列向池化算子作为所述池化算子的子模型算子。
[0010]可选地，根据每个子模型算子和未被拆分的目标模型算子对应的计算顺序，以融合后得到的各融合算子在数据处理过程中对存储设备的访存次数小于所述各目标算子在数据处理过程中对存储设备的访存次数为目标，将各子模型算子以及未被拆分的各目标模型算子进行融合，得到至少一个融合算子，具体包括：将所述子归一化算子、所述激活算子以及所述行向池化算子进行融合，得到第一融合算子，以及，将所述列向池化算子、所述卷积算子以及所述均值方差算子进行融合，得到第二融合算子。
[0011]可选地，通过所述优化后处理模型对所述待处理数据进行数据处理，具体包括：获取待处理数据；将所述待处理数据输入所述优化后处理模型，通过所述第一融合算子，确定所述待处理数据对应的行向池化结果；将所述行向池化结果输入所述第二融合算子，以通过所述第二融合算子确定所述待处理数据对应的数据处理结果。
[0012]可选地，获取待处理数据，具体包括：从存储设备中读取预设数量的待处理数据，并将所述待处理数据存储在本地的缓存中。
[0013]可选地，将所述待处理数据输入所述优化后处理模型，通过所述第一融合算子，确定所述待处理数据对应的行向池化结果，具体包括：确定所述待处理数据对应的均值和方差；通过所述第一融合算子，根据所述均值和方差对所述待处理数据进行归一化处理，得到归一化数据；通过指定的激活函数，对所述归一化数据进行激活处理，得到激活后数据；对所述激活后数据进行行向池化处理，得到所述待处理数据对应的行向池化结果。
[0014]可选地，对所述激活后数据进行行向池化处理，得到所述待处理数据对应的行向池化结果，具体包括：针对所述激活后数据的每一步行向池化，若该步行向池化对应的部分激活后数据
已经在上一步行向池化时进行过池化，则根据上一步所述部分激活后数据进行行向池化的池化结果，确定该步行向池化对应的行向池化结果。
[0015]可选地，将所述行向池化结果输入所述第二融合算子，以通过所述第二融合算子确定所述待处理数据对应的数据处理结果，具体包括：通过所述第二融合算子，对所述行向池化结果进行列向池化处理，得到列向池化结果；对所述列向池化结果进行卷积计算，得到所述待处理数据对应的数据处理结果。
[0016]可选地，通过所述第二融合算子，对所述行向池化结果进行列向池化处理，得到列向池化结果，具体包括：针对所述行向池化结果的每一步列向池化，若该步列向池化对应的部分行向池化结果已经在上一步列向池化时进行过池化，则根据上一步对所述部分行向池化结果进行列向池化的池化结果，确定该步列向池化对应的列向池化结果。
[0017]可选地，所述方法还包括：通过所述第二融合算子，对所述列向池化结果进行至少一轮卷积计算；针对每轮卷积计算，根据该轮卷积计算对应的卷积结果，确定该轮卷积计算对应卷积结果的均值以及方差，作为局部均值和局部方差；根据每轮卷积计算对应的卷积结果，确定所述待处理数据对应的数据处理结果，以及，根据每轮卷积计算对应的局部均值和局部方差，确定所述待处理数据对应的全局均值和全局方差，以将所述全局均值和所述全局方差作为下一个归一化算子或第一融合算子的输入。
[0018]本说明书提供一种数据处理的装置，包括：获取模块，获取初始处理模型，并确定所述初始处理模型中包含的各目标模型算子；拆分模块，针对每个目标模型算子，若确定在执行该目标模型算子对应的数据处理过程时至少涉及两个数据处理步骤，则根据各处理步骤对该模型算子进行拆分，得到该模型算子包含的各子模型算子；融合模块，根据每个子模型算子和未被拆分的目标模型算子对应的计算顺序，以融合后得到的各融合算子在数据处理过程中对存储设备的访存次数小于所述各目标算子在数据处理过程中对存储设备的访存次数为目标，将各子模型算子以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理的方法，其特征在于，包括：获取初始处理模型，并确定所述初始处理模型中包含的各目标模型算子；针对每个目标模型算子，若确定在执行该目标模型算子对应的数据处理过程时至少涉及两个数据处理步骤，则根据各处理步骤对该模型算子进行拆分，得到该模型算子包含的各子模型算子；根据每个子模型算子和未被拆分的目标模型算子对应的计算顺序，以融合后得到的各融合算子在数据处理过程中对存储设备的访存次数小于所述各目标算子在数据处理过程中对存储设备的访存次数为目标，将各子模型算子以及未被拆分的各目标模型算子进行融合，得到至少一个融合算子；根据各融合算子确定优化后处理模型并部署，在接收到数据处理请求后，将获取到的待处理数据输入所述优化后处理模型，以通过所述优化后处理模型对所述待处理数据进行数据处理。2.如权利要求1所述的方法，其特征在于，所述目标模型算子包括：归一化算子、激活算子、池化算子以及卷积算子中的至少一种。3.如权利要求2所述的方法，其特征在于，针对每个目标模型算子，若确定在执行该目标模型算子对应的数据处理过程时至少涉及两个数据处理步骤，则根据各处理步骤对该模型算子进行拆分，得到该模型算子包含的各子模型算子，具体包括：根据执行所述归一化算子时涉及的对数据的均值和方差进行计算的处理步骤，确定所述归一化算子包含的均值方差算子，以及，根据确定出的均值和方差对所述数据进行归一化处理的处理步骤，确定所述归一化算子包含的子归一化算子；将所述均值方差算子以及所述子归一化算子作为所述归一化算子的子模型算子。4.如权利要求3所述的方法，其特征在于，针对每个目标模型算子，若确定在执行该目标模型算子对应的数据处理过程时至少涉及两个数据处理步骤，则根据各处理步骤对该模型算子进行拆分，得到该模型算子包含的各子模型算子，具体包括：根据执行所述池化算子时涉及的对数据进行行向池化处理的处理步骤，确定所述池化算子包含的行向池化算子，以及，根据对确定出的行向池化结果进行列向池化处理的处理步骤，确定所述池化算子包含的列向池化算子；将所述行向池化算子以及所述列向池化算子作为所述池化算子的子模型算子。5.如权利要求4所述的方法，其特征在于，根据每个子模型算子和未被拆分的目标模型算子对应的计算顺序，以融合后得到的各融合算子在数据处理过程中对存储设备的访存次数小于所述各目标算子在数据处理过程中对存储设备的访存次数为目标，将各子模型算子以及未被拆分的各目标模型算子进行融合，得到至少一个融合算子，具体包括：将所述子归一化算子、所述激活算子以及所述行向池化算子进行融合，得到第一融合算子，以及，将所述列向池化算子、所述卷积算子以及所述均值方差算子进行融合，得到第二融合算子。6.如权利要求5所述的方法，其特征在于，通过所述优化后处理模型对所述待处理数据进行数据处理，具体包括：获取待处理数据；将所述待处理数据输入所述优化后处理模型，通过所述第一融合算子，确定所述待处
理数据对应的行向池化结果；将所述行向池化结果输入所述第二融合算子，以通过所述第二融合算子确定所述待处理数据对应的数据处理结果。7.如权利要求6所述的方法，其特征在于，获取待处理数据，具体包括：从存储设备中读取预设数量的待处理数据，并将所述待处理数据存储在本地的缓存中。8.如权利要求6所述的方法，其特征在于，将所述待处理数据输入所述优化后处理模型，通过所述第一融合算子，确定所述待处理数据对应的行向池化结果，具体包括：确定所述待处理数据对应的均值和方差；通过所述第一融合算子，根据所述均值和方差对所述待处理数据进行归一化处理，得到归一化数据；通过指定的激活函数，对所述归一化数据进行激活处...

【专利技术属性】
技术研发人员：刘振德，张丽娜，张吴越，王彤，刘鹏，王维东，
申请(专利权)人：浙江大学，
类型：发明
国别省市：