数据处理方法、装置、设备及计算机可读存储介质制造方法及图纸

本公开实施例公开了数据处理方法、装置、设备及计算机可读存储介质。该方法包括：获取第一数据类型的待处理数据，基于第一分段方式对待处理数据进行分段量化，得到第二数据类型的目标数据，第二数据类型为数据精度小于第一数据类型的1bit整数型，利用深度学习网络对目标数据进行处理，得到深度学习网络的至少一个网络层的处理结果；至少一个网络层中的目标网络参数是基于第二分段方式对网络参数进行分段量化得到的1bit整数型。通过本公开，提高了深度学习网络对数据的处理效率。深度学习网络对数据的处理效率。深度学习网络对数据的处理效率。

【技术实现步骤摘要】
数据处理方法、装置、设备及计算机可读存储介质


[0001]本公开涉及计算机
，尤其涉及一种数据处理方法、装置、设备及计算机可读存储介质。

技术介绍

[0002]深度学习模型广泛应用在计算机视觉、自然语言处理等领域中，极大地推动了安防、语言识别和机器翻译等行业的发展。通过对大量已标注数据进行训练学习，深度学习模型可以实现对图片、语言等信息的识别与理解。
[0003]深度学习模型具有强大的功能，但是深度学习模型通常会占用大量的计算资源，并且在处理任务时会耗费大量的计算时间。

技术实现思路

[0004]本公开实施例提供一种数据处理方法、装置、设备及计算机可读存储介质，能够提高深度学习网络对数据的处理效率。
[0005]本公开实施例的技术方案是这样实现的：
[0006]本公开实施例提供一种数据处理方法，包括：获取第一数据类型的待处理数据；基于第一分段方式对所述待处理数据进行分段量化，得到第二数据类型的目标数据；其中，所述第二数据类型为数据精度小于所述第一数据类型的1bit整数型；利用深度学习网络对所述目标数据进行处理，得到所述深度学习网络的至少一个网络层的处理结果；所述至少一个网络层中的目标网络参数是基于第二分段方式对网络参数进行分段量化得到的1bit整数型。
[0007]上述方法中，所述待处理数据包括以下至少一种：图像信息、语音信息、基于所述图像信息得到的中间信息和基于所述语音信息得到的中间信息。
[0008]上述方法中，所述第一分段方式包括：基于第一预设分段阈值分段的第一预设值和第二预设值；所述第一预设值和所述第二预设值为1bit整数型；所述基于第一分段方式对所述待处理数据进行分段量化，得到第二数据类型的目标数据，包括：在所述待处理数据大于所述第一预设分段阈值的情况下，将所述待处理数据分段量化为所述第一预设值的所述目标数据；在所述待处理数据等于所述第一预设分段阈值的情况下，将所述待处理数据分段量化为所述第二预设值的所述目标数据。
[0009]上述方法中，所述利用深度学习网络对所述目标数据进行处理，得到所述深度学习网络的至少一个网络层的处理结果，包括：利用所述深度学习网络的当前网络层的目标网络参数，与所述目标数据进行相乘，得到2bit的输出结果；基于所述第一分段方式，对所述输出结果进行分段量化后，得到第二数据类型的子处理结果；对所述子处理结果与所述深度学习网络的下一个网络层的目标网络参数继续进行处理，直至完成了所述至少一个网络层的处理的情况下，得到所述处理结果。
[0010]上述方法还包括：获取所述第一数据类型的训练样本数据；基于所述第一分段方
式对所述训练样本数据进行分段量化，得到第二数据类型的目标训练数据；以及基于所述第二分段方式对初始深度学习网络的至少一个网络层的网络参数进行分段量化，得到第二数据类型的训练网络参数；利用所述初始深度学习网络的所述训练网络参数对所述目标训练数据进行处理，得到当前训练结果；基于所述当前训练结果和所述训练样本数据对应的真实结果，对所述初始深度学习网络的所述训练网络参数进行持续训练，直至得到的损失小于等于预设损失阈值的情况下，确定包含目标网络参数的所述深度学习网络。
[0011]上述方法中，所述基于所述当前训练结果和所述训练样本数据对应的真实结果，对所述初始深度学习网络的训练网络参数进行持续训练，直至得到的损失小于等于预设损失阈值的情况下，确定包含目标网络参数的所述深度学习网络，包括：基于所述当前训练结果与所述训练样本数据对应的真实结果进行损失计算，得到第一数据类型的当前损失；在所述当前损失大于所述预设损失阈值的情况下，基于所述当前损失，确定每一个网络层的所述训练网络参数的梯度值；所述梯度值为所述第一数据类型；基于所述第二分段方式对所述梯度值进行分段量化，得到第二数据类型的当前梯度值；采用所述当前梯度值，对对应的每一个网络层的所述训练网络参数进行更新，直至得到目标网络参数的情况下，完成对所述初始深度学习网络的训练网络参数的持续训练，得到所述深度学习网络；其中，所述目标网络参数对所述目标训练数据进行处理后，得到的损失小于等于所述预设损失阈值。
[0012]上述方法中，所述第二分段方式包括：基于第二预设分段阈值分段的第三预设值和第四预设值；所述第三预设值和所述第四预设值为1bit整数型；所述基于所述第二分段方式对初始深度学习网络的至少一个网络层的网络参数进行分段量化，得到第二数据类型的训练网络参数，包括：在所述初始深度学习网络的至少一个网络层的网络参数大于所述第二预设分段阈值的情况下，将所述网络参数分段量化为所述第三预设值的所述训练网络参数；在所述初始深度学习网络的至少一个网络层的网络参数小于所述第二预设分段阈值的情况下，将所述网络参数分段量化为所述第四预设值的所述训练网络参数。
[0013]上述方法中，所述第一数据类型为多bit浮点型。
[0014]本公开实施例提供一种数据处理装置，包括：获取单元，用于获取第一数据类型的待处理数据；量化单元，用于基于第一分段方式对所述待处理数据进行分段量化，得到第二数据类型的目标数据；其中，所述第二数据类型为数据精度小于所述第一数据类型的1bit整数型；处理单元，用于利用深度学习网络对所述目标数据进行处理，得到所述深度学习网络的至少一个网络层的处理结果；所述至少一个网络层中的目标网络参数是基于第二分段方式对网络参数进行分段量化得到的1bit整数型。
[0015]上述装置中，所述待处理数据包括以下至少一种：图像信息、语音信息、基于所述图像信息得到的中间信息和基于所述语音信息得到的中间信息。
[0016]上述装置中，所述第一分段方式包括：基于第一预设分段阈值分段的第一预设值和第二预设值；所述第一预设值和所述第二预设值为1bit整数型；所述量化单元，还用于在所述待处理数据大于所述第一预设分段阈值的情况下，将所述待处理数据分段量化为所述第一预设值的所述目标数据；在所述待处理数据等于所述第一预设分段阈值的情况下，将所述待处理数据分段量化为所述第二预设值的所述目标数据。
[0017]上述装置中，所述处理单元，还用于利用所述深度学习网络的当前网络层的目标网络参数，与所述目标数据进行相乘，得到2bit的输出结果；基于所述第一分段方式，对所
述输出结果进行分段量化后，得到第二数据类型的子处理结果；对所述子处理结果与所述深度学习网络的下一个网络层的目标网络参数继续进行处理，直至完成了所述至少一个网络层的处理的情况下，得到所述处理结果。
[0018]上述装置中，所述获取单元，还用于获取所述第一数据类型的训练样本数据；所述量化单元，还用于基于所述第一分段方式对所述训练样本数据进行分段量化，得到第二数据类型的目标训练数据；以及基于所述第二分段方式对初始深度学习网络的至少一个网络层的网络参数进行分段量化，得到第二数据类型的训练网络参数；所述装置还包括：训练单元，用于利用所述初始深度学习网络的所述训练网络参数对所述目标训练数据进行处理，得到当前训练结果；基于所述当前本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取第一数据类型的待处理数据；基于第一分段方式对所述待处理数据进行分段量化，得到第二数据类型的目标数据；其中，所述第二数据类型为数据精度小于所述第一数据类型的1bit整数型；利用深度学习网络对所述目标数据进行处理，得到所述深度学习网络的至少一个网络层的处理结果；所述至少一个网络层中的目标网络参数是基于第二分段方式对网络参数进行分段量化得到的1bit整数型。2.根据权利要求1所述的方法，其特征在于，所述待处理数据包括以下至少一种：图像信息、语音信息、基于所述图像信息得到的中间信息和基于所述语音信息得到的中间信息。3.根据权利要求1或2所述的方法，其特征在于，所述第一分段方式包括：基于第一预设分段阈值分段的第一预设值和第二预设值；所述第一预设值和所述第二预设值为1bit整数型；所述基于第一分段方式对所述待处理数据进行分段量化，得到第二数据类型的目标数据，包括：在所述待处理数据大于所述第一预设分段阈值的情况下，将所述待处理数据分段量化为所述第一预设值的所述目标数据；在所述待处理数据等于所述第一预设分段阈值的情况下，将所述待处理数据分段量化为所述第二预设值的所述目标数据。4.根据权利要求1或2所述的方法，其特征在于，所述利用深度学习网络对所述目标数据进行处理，得到所述深度学习网络的至少一个网络层的处理结果，包括：利用所述深度学习网络的当前网络层的目标网络参数，与所述目标数据进行相乘，得到2bit的输出结果；基于所述第一分段方式，对所述输出结果进行分段量化后，得到第二数据类型的子处理结果；对所述子处理结果与所述深度学习网络的下一个网络层的目标网络参数继续进行处理，直至完成了所述至少一个网络层的处理的情况下，得到所述处理结果。5.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：获取所述第一数据类型的训练样本数据；基于所述第一分段方式对所述训练样本数据进行分段量化，得到第二数据类型的目标训练数据；以及基于所述第二分段方式对初始深度学习网络的至少一个网络层的网络参数进行分段量化，得到第二数据类型的训练网络参数；利用所述初始深度学习网络的所述训练网络参数对所述目标训练数据进行处理，得到当前训练结果；基于所述当前训练结果和所述训练样本数据对应的真实结果，对所述初始深度学习网络的所述训练网络参数进行持续训练，直至得到的损失小于等于预设损失阈值的情况下，确定包含目标网络参数的所述深度学习网络。6.根据权利要求5所述的方法，其特征在于，所述基于所述当前训练结果和所述训练样...

【专利技术属性】
技术研发人员：王长春，郭少鹏，袁坤，闫俊杰，
申请(专利权)人：深圳市商汤科技有限公司，
类型：发明
国别省市：