视觉图像分类模型的训练方法、装置及电子设备制造方法及图纸

本申请公开了一种视觉图像分类模型的训练方法、装置及电子设备。该方法包括：对数据提供方所提供的图像样本及待训练模型的神经网络层对应的初始模型参数进行秘密分享处理，得到每个神经网络层对应的输出数据，图像样本为数据提供方对采集到的视觉图像进行同态加密后得到的样本；对每个神经网络层的输出数据进行反向梯度计算，得到每个神经网络层的梯度数据；对每个神经网络层的梯度数据进行重构处理，得到每个神经网络层对应的模型更新参数；基于每个神经网络层对应的模型更新参数对待训练模型进行训练，得到视觉图像分类模型。本申请所提供的方案提高了视觉图像数据和视觉图像分类模型的隐私性。图像分类模型的隐私性。图像分类模型的隐私性。

【技术实现步骤摘要】
视觉图像分类模型的训练方法、装置及电子设备


[0001]本申请属于数据安全领域，尤其涉及一种视觉图像分类模型的训练方法、装置及电子设备。

技术介绍

[0002]神经网络模型是由大量的、简单的处理单元广泛地互相连接而形成的复杂网络系统，其在各个领域得到了广泛应用，例如，在计算机视觉领域，使用视觉图像分类模型可实现图像识别。
[0003]在实际应用中，视觉图像分类模型的训练需要大规模的视觉图像作为数据支撑。通常，用于视觉图像分类模型训练的训练数据需要通过多方采集，而视觉图像中包含的信息量要多于其他数据，非法人员更容易从视觉图像中获取涉及个人私密数据或商业机密敏感数据，因此，在对视觉图像分类模型进行训练时需保证视觉图像数据的数据安全。此外，为提高视觉图像分类模型的安全性，也许对视觉图像分类模型的模型参数进行隐私保护。
[0004]在相关技术中，通常采用联邦学习、全同态加密、安全多方计算等方式来实现视觉图像数据的隐私保护或者视觉图像分类模型的隐私保护。然而上述方案无法同时实现视觉图像数据和视觉图像分类模型的隐私保护，从而降低了视觉图像分类模型的隐私性。

技术实现思路

[0005]本申请实施例提供一种视觉图像分类模型的训练方法、装置及电子设备，能够提高视觉图像数据和视觉图像分类模型的隐私性。
[0006]第一方面，本申请实施例提供一种视觉图像分类模型的训练方法，该方法包括：对数据提供方所提供的图像样本以及待训练模型的神经网络层所对应的初始模型参数进行秘密分享处理，得到每个神经网络层所对应的输出数据，其中，图像样本为数据提供方对采集到的视觉图像进行同态加密后所得到的样本，每个神经网络层所对应的输出数据作为下一神经网络层的输入数据；对每个神经网络层的输出数据进行反向梯度计算，得到每个神经网络层的梯度数据；对每个神经网络层的梯度数据进行重构处理，得到每个神经网络层所对应的模型更新参数；基于每个神经网络层所对应的模型更新参数对待训练模型进行训练，得到视觉图像分类模型。
[0007]第二方面，本申请实施例提供了一种视觉图像分类模型的训练装置，该装置包括：数据分享模块，用于对数据提供方所提供的图像样本以及待训练模型的神经网络层所对应的初始模型参数进行秘密分享处理，得到每个神经网络层所对应的输出数据，其中，图像样本为数据提供方对采集到的视觉图像进行同态加密后所得到的样本，每个神经网络层所对应的输出数据作为下一神经网络层的输入数据；梯度计算模块，用于对每个神经网络层的输出数据进行反向梯度计算，得到每个神经网络层的梯度数据；梯度重构模块，用于对每个神经网络层的梯度数据进行重构处理，得到每个神经网络层所对应的模型更新参数；模型训练模块，用于基于每个神经网络层所对应的模型更新参数对待训练模型进行训练，得到
视觉图像分类模型。
[0008]第三方面，本申请实施例提供了一种电子设备，该电子设备包括：处理器以及存储有计算机程序指令的存储器；处理器执行计算机程序指令时实现如第一方面所述的视觉图像分类模型的训练方法。
[0009]第四方面，本申请实施例提供了一种计算机存储介质，该计算机可读存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如第一方面所述的方法。
[0010]第五方面，本申请实施例提供了一种计算机程序产品，计算机程序产品中的指令由电子设备的处理器执行时，使得电子设备执行如第一方面所述的方法。
[0011]本申请实施例的视觉图像分类模型的训练方法、装置及电子设备，其中，该方法包括：对数据提供方所提供的图像样本及待训练模型的神经网络层对应的初始模型参数进行秘密分享处理，得到每个神经网络层对应的输出数据，图像样本为数据提供方对采集到的视觉图像进行同态加密后得到的样本；对每个神经网络层的输出数据进行反向梯度计算，得到每个神经网络层的梯度数据；对每个神经网络层的梯度数据进行重构处理，得到每个神经网络层对应的模型更新参数；基于每个神经网络层对应的模型更新参数对待训练模型进行训练，得到视觉图像分类模型。
[0012]基于上述方案，本申请在使用数据提供方所提供的图像样本进行模型训练之前，对数据提供方所采集到的视觉图像进行同态加密处理，在对待训练模型进行模型训练的过程中，模型训练方使用加密后的图像样本进行模型训练，从而对数据提供方的图像样本进行了隐私保护，降低了数据泄露的风险。另外，在确定待训练模型的每个神经网络层的模型参数的过程中，数据提供方并不会获取模型参数的明文，从而降低了待训练模型的模型参数泄露的风险，提高了视觉图像分类模型的隐私性。
附图说明
[0013]为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0014]图1是本申请一个实施例提供的视觉图像分类模型的训练方法的流程示意图；图2是本申请一个实施例提供的线性层的前向传播的示意图；图3是本申请一个实施例提供的线性层的反向传播的示意图；图4是本申请一个实施例提供的视觉图像分类模型的训练效果示意图；图5是本申请另一个实施例提供的视觉图像分类模型的训练装置的结构示意图；图6是本申请又一个实施例提供的电子设备的结构示意图。
具体实施方式
[0015]下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
[0016]需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0017]在描述本申请所提供的视觉图像分类模型的训练方法之前，首先对本申请的专利技术构思进行说明。
[0018]训练神经网络模型需要以大规模数据作为支撑，而在目前的机器学习应用中，尤其是在视觉图像分类模型的训练中，训练视觉图像分类模型的数据集通常通过数据采集和数据标注来确定，而数据的采集和标注过程需要消耗数据提供方的资源，从而使得数据集本身具有一定价值，也使得想要利用多方数据集以训练模型的模型训练方难以直接以明文的方式获取各方数据。另一方面，各数据提供方所收集的图像、文本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视觉图像分类模型的训练方法，其特征在于，包括：对数据提供方所提供的图像样本以及待训练模型的神经网络层所对应的初始模型参数进行秘密分享处理，得到每个神经网络层所对应的输出数据，其中，所述图像样本为所述数据提供方对采集到的视觉图像进行同态加密后所得到的样本，所述每个神经网络层所对应的输出数据作为下一神经网络层的输入数据；对所述每个神经网络层的输出数据进行反向梯度计算，得到所述每个神经网络层的梯度数据；对所述每个神经网络层的梯度数据进行重构处理，得到所述每个神经网络层所对应的模型更新参数；基于所述每个神经网络层所对应的模型更新参数对所述待训练模型进行训练，得到视觉图像分类模型。2.根据权利要求1所述的方法，其特征在于，对数据提供方所提供的图像样本以及待训练模型所包含的神经网络层的初始模型参数进行秘密分享处理，得到每个神经网络层所对应的输出数据，包括：对所述图像样本与第一神经网络层的上一神经网络层的模型输出数据进行同态加法计算，得到所述上一神经网络层的初始输出数据，其中，所述第一神经网络层为所述待训练模型的前向传播过程中，所述待训练模型中除首个神经网络层之外的任一神经网络层，所述第一神经网络层为线性层，所述线性层的模型参数为可训练的参数；基于所述初始模型参数中的权重参数对所述初始输出数据进行同态加密计算，得到所述数据提供方对应的输出结果；对所述初始模型参数中的偏差值参数与所述第一神经网络层对应的第一随机张量进行同态加法计算，得到模型训练方对应的输出结果，其中，所述模型训练方用于训练所述视觉图像分类模型；基于所述数据提供方对应的输出结果与所述模型训练方对应的输出结果确定所述第一神经网络层对应的输出数据。3.根据权利要求2所述的方法，其特征在于，对所述每个神经网络层的输出数据进行反向梯度计算，得到所述每个神经网络层的梯度数据，包括：根据第二神经网络层的类型确定所述初始模型参数中的偏差值参数的计算维度，其中，所述第二神经网络层为所述待训练模型的反向传播过程中，所述待训练模型中除首个神经网络层之外的任一神经网络层，所述第二神经网络层为线性层；基于所述计算维度对所述偏差值参数进行求和计算，得到所述第二神经网络层所对应的偏差值更新梯度；获取所述数据提供方对第三神经网络层所对应的数据提供方的输出结果的数据同态密文进行反向梯度计算所得到的数据密文梯度，其中，所述第三神经网络层为所述第二神经网络层的上一神经网络层；对所述第三神经网络层所对应的模型训练方对应的输出结果的模型同态密文进行反向梯度计算，得到模型密文梯度；基于所述偏差值更新梯度、所述数据密文梯度、所述模型密文梯度确定所述第二神经网络层的梯度数据。
4.根据权利要求3所述的方法，其特征在于，对所述每个神经网络层的梯度数据进行重构处理，得到所述每个神经网络层所对应的模型更新参数，包括：基于所述数据同态密文、所述数据密文梯度、所述模型同态密文、所述模型密文梯度以及所述第二神经网络层所对应...

【专利技术属性】
技术研发人员：宋一民，蔡超超，刘轩奇，刘卓涛，单进勇，
申请(专利权)人：北京数牍科技有限公司，
类型：发明
国别省市：