数据处理方法、自学习系统及电子设备技术方案

本申请实施例提供一种数据处理方法、自学习系统及电子设备。其中，数据处理方法包括：基于带标签的第一图像样本，对自学习模型进行监督训练得到第一损失；基于无标签的第二图像样本，对自学习模型进行无监督训练得到第二损失；获取监督训练过程中自学习模型的目标模型层对应的第一输出数据及无监督训练过程中目标模型层对应的第二输出数据；根据第一输出数据及第二输出数据确定第三损失；基于第一损失、第二损失及第三损失，对自学习模型进行优化处理；其中，所述自学习模型用于处理图像。本申请实施例提供的技术方案，有助于克服因源域与目标域概率分布不同造成的学习效果差的问题，提高自学习模型的域自适应学习效果，且具有较好的性能。

【技术实现步骤摘要】
数据处理方法、自学习系统及电子设备
本申请涉及计算机
，尤其涉及一种数据处理方法、自学习系统及电子设备。
技术介绍
传统的机器学习算法中,通常假设训练样本和测试样本来自同一概率分布,然后设计相应的模型和判别准则对待测试样例的输出进行预测。然而在很多实际场景中，训练样本集(如带标签样本集，亦可称为源域)和测试样本集(如无标签样本集，亦可称为目标域)可能来自不同概率分布的数据。这种情况下，利用训练样本集完成训练的自学习模型，在对测试样本集中的待测试样本进行测试时自学习模型的输出结果准确度较低，即自学习模型的性能会出现严重退化的情况。如何在这种源域(如带标签样本集)和目标域(如测试样本集)概率分布不一致的情况下进行学习即为域自适应学习问题。因此,域自适应学习的重点在于如何克服源域分布和目标域分布不同,实现目标域上的学习任务。
技术实现思路
本申请各实施例提供一种能提高自学习模型的域自适应学习效果的数据处理方法、自学习系统及电子设备。在本申请的一个实施例中，提供了一种数据处理方法。该数据处理方法包括：基于带标签的第一图像样本，对自学习模型进行监督训练，得到第一损失；基于无标签的第二图像样本，对所述自学习模型进行无监督训练，得到第二损失；获取所述监督训练过程中所述自学习模型的目标模型层对应的第一输出数据及所述无监督训练过程中所述目标模型层对应的第二输出数据；根据所述第一输出数据及所述第二输出数据，确定第三损失；基于所述第一损失、所述第二损失及所述第三损失，对所述自学习模型进行优化处理；其中，所述自学习模型用于处理图像。在本申请的另一个实施例中，提供了一种数据处理方法。该数据处理方法包括：获取待分类对象；将所述待分类对象作为自学习模型的入参，执行所述自学习模型得到所述待分类对象所属的分类信息；其中，所述自学习模型是利用无监督域自适应算法完成的训练；利用所述无监督域自适应算法训练过程包括：基于带标签的第一图像样本，对所述自学习模型进行监督训练得到第一损失；基于无标签的第二图像样本，对所述自学习模型进行无监督训练得到第二损失；获取所述监督训练过程中所述自学习模型的目标模型层对应的第一输出数据及所述无监督训练过程中所述目标模型层对应的第二输出数据；根据所述第一输出数据及所述第二输出数据，确定第三损失；基于所述第一损失、所述第二损失及所述第三损失，对所述自学习模型进行优化处理。在本申请的又一个实施例中，提供了一种自学习系统。该自学习系统包括：至少一个模型层，用于对输入的带标签的第一图像样本进行数据处理，得到第一处理结果；对输入的无标签的第二图像样本进行数据处理，得到第二处理结果；输出层，与所述至少一个模型层中的一模型层连接，用于基于所述第一处理结果输出第一输出结果；基于所述第二处理结果输出第二输出结果；优化模块，用于根据所述第一输出结果及所述第一图像样本所带标签确定第一损失；根据所述第二输出结果确定第二损失；还用于获取在对第一图像样本进行数据处理过程中目标模型层输出的第三处理结果以及在对所述第二图像样本进行数据处理过程中所述目标模型层输出的第四处理结果；根据所述第三处理结果及所述第四处理结果，确定第三损失；基于所述第一损失、所述第二损失及所述第三损失，对所述至少一个模型层中至少部分层进行优化处理；其中，所述至少一个模型层中含有所述目标模型层。在本申请的又一个实施例中，提供了一种电子设备。该电子设备包括：存储器和处理器，其中，所述存储器，用于存储程序；所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：基于带标签的第一图像样本，对自学习模型进行监督训练，得到第一损失；基于无标签的第二图像样本，对所述自学习模型进行无监督训练，得到第二损失；获取所述监督训练过程中所述自学习模型的目标模型层对应的第一输出数据及所述无监督训练过程中所述目标模型层对应的第二输出数据；根据所述第一输出数据及所述第二输出数据，确定第三损失；基于所述第一损失、所述第二损失及所述第三损失，对所述自学习模型进行优化处理。在本申请的又一个实施例中，提供了一种电子设备。该电子设备包括：存储器和处理器，其中，所述存储器，用于存储程序；所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：获取待分类对象；将所述待分类对象作为自学习模型的入参，执行所述自学习模型得到所述待分类对象所属的分类信息；其中，所述自学习模型是利用无监督域自适应算法完成的训练；利用所述无监督域自适应算法训练过程包括：基于带标签的第一图像样本，对所述自学习模型进行监督训练得到第一损失；基于无标签的第二图像样本，对所述自学习模型进行无监督训练得到第二损失；获取所述监督训练过程中所述自学习模型的目标模型层对应的第一输出数据及所述无监督训练过程中所述目标模型层对应的第二输出数据；根据所述第一输出数据及所述第二输出数据，确定第三损失；基于所述第一损失、所述第二损失及所述第三损失，对所述自学习模型进行优化处理。本申请各实施例提供的技术方案，在优化处理中除综合了有监督训练及无监督训练对应的损失外，还综合了基于有监督训练及无监督训练中目标模型层分别输出的输出数据确定出的损失，有助于克服因源域(如带标签样本集)与目标域(如无标签样本集)概率分布不同造成的学习效果差的问题，提高自学习模型的域自适应学习效果，使得自学习模型具有较好的性能。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请一实施例提供的数据处理方法的原理性示意图；图2为本申请一实施例提供的数据处理方法的流程示意图；图3为本申请另一实施例提供的数据处理方法的流程示意图；图4为本申请另一实施例提供的数据处理方法的原理性示意图；图5为本申请又一实施例提供的数据处理方法的原理性示意图；图6为本申请又一实施例提供的数据处理方法的流程示意图；图7为本申请一实施例提供的数据处理方法适于的第一种应用场景架构的示意图；图8a为本申请一实施例提供的数据处理方法适于的第二种应用场景的示意图；图8b为本申请一实施例以神经网络模型为例提供的数据处理方法在第二种应用场景中的示意图；图9为本申请一实施例提供的数据处理方法适于的第三种应用场景的示意图；图10为本申请一实施例提供的自学习系统的原理性示意图；图11为本申请一实施例提供的数据处理装置的结构示意图；图12为本申请另一实施例提供的数据处理装置的结构示意图；图13为本申请一实施例提供的电子设备的结构示意图本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n基于带标签的第一图像样本，对自学习模型进行监督训练，得到第一损失；/n基于无标签的第二图像样本，对所述自学习模型进行无监督训练，得到第二损失；/n获取所述监督训练过程中所述自学习模型的目标模型层对应的第一输出数据及所述无监督训练过程中所述目标模型层对应的第二输出数据；/n根据所述第一输出数据及所述第二输出数据，确定第三损失；/n基于所述第一损失、所述第二损失及所述第三损失，对所述自学习模型进行优化处理；/n其中，所述自学习模型用于处理图像。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
基于带标签的第一图像样本，对自学习模型进行监督训练，得到第一损失；
基于无标签的第二图像样本，对所述自学习模型进行无监督训练，得到第二损失；
获取所述监督训练过程中所述自学习模型的目标模型层对应的第一输出数据及所述无监督训练过程中所述目标模型层对应的第二输出数据；
根据所述第一输出数据及所述第二输出数据，确定第三损失；
基于所述第一损失、所述第二损失及所述第三损失，对所述自学习模型进行优化处理；
其中，所述自学习模型用于处理图像。


2.根据权利要求1所述的方法，其特征在于，所述自学习模型包含至少一个模型层以及与所述至少一模型层中一模型层连接的输出层；
所述目标模型层为与所述输出层连接的模型层。


3.根据权利要求1或2所述的方法，其特征在于，根据所述第一输出数据及所述第二输出数据，确定第三损失，包括：
对所述第一输出数据及所述第二输出数据进行高阶矩匹配处理，以得到符合匹配要求的第一P阶矩及第二P阶矩；
根据所述第一P阶矩及所述第二P阶矩，确定所述第三损失；
其中，所述P为大于或等于3的数值。


4.根据权利要求3所述的方法，其特征在于，所述第一输出数据是维度为L的第一特征向量，所述第二输出数据是维度为L的第二特征向量；其中，维度L为所述目标模型层中神经元的个数；以及
所述第一输出数据及所述第二输出数据进行高阶矩匹配处理，以得到符合匹配要求的第一P阶矩及第二P阶矩，包括：
分别对所述第一特征向量及所述第二特征向量进行向量外积计算，以得到所述第一P阶矩及所述第二P阶矩。


5.根据权利要求3所述的方法，其特征在于，根据所述第一P阶矩及所述第二P阶矩，确定所述第三损失，包括：
确定所述第一P阶矩及所述第二P阶矩的差异；
根据所述差异，确定所述第三损失。


6.根据权利要求1或2所述的方法，其特征在于，基于所述第一损失、所述第二损失及所述第三损失，对所述自学习模型进行优化处理，包括：
基于所述第一损失、所述第二损失及所述第三损失，计算总损失；
在所述总损失满足收敛条件的情况下，所述自学习模型完成训练；
在所述总损失不满足收敛条件的情况下，根据所述总损失，优化所述自学习模型中的参数。


7.根据权利要求6所述的方法，其特征在于，基于所述第一损失、所述第二损失及所述第三损失，计算总损失，包括：
将所述第一损失、所述第二损失及所述第三损失的损失和，作为所述总损失；或者
将所述第一损失、所述第二损失及所述第三损失的损失加权和，作为所述总损失；或者
将所述第一损失、所述第二损失及所述第三损失作为第一损失计算模型的入参，执行所述第一损失计算模型得到所述总损失；或者
将所述第一损失、所述第二损失及所述第三损失中的两项作为第二损失计算模型的入参执行所述第二损失计算模型得到第一数值；将所述第一损失、所述第二损失及所述第三损失中剩余的一项及所述第一数值作为第三损失计算模型的入参执行所述第三损失计算模型得到所述总损失。


8.根据权利要求1或2所述的方法，其特征在于，基于无标签的第二图像样本，对所述自学习模型进行无监督训练，得到第二损失，包括：
将所述无标签的第二图像样本作为所述自学习模型的入参，执行所述自学习模型得到第三输出数据；其中，所述第三输出数据中包含：所述自学习模型的输出层所含多个神经元中各神经元对应输出的数据项；
根据所述多个神经元中各神经元对应输出的数据项，确定所述第二损失。


9.根据权利要求1或2所述的方法，其特征在于，所述自学习模型的输出层所含神经元的个数为类别数。


10.根据权利要求1所述的方法，其特征在于，还包括：
响应于第一优化方式触发事件，触发基于所述第一损失、所述第二损失及所述第三损失，对所述自学习模型进行优化处理的步骤。


11.根据权利要求10所述的方法，其特征在于，还包括如下中的至少一项：
响应于第二优化方式触发事件，根据所述第一损失及所述第三损失，对所述自学习模型进行优化处理；
响应于第三优化方式触发事件，根据所述第二损失及所述第三损失，对所述自学习模型进行优化处理；
响应于第四优化方式触发事件，根据所述第一损失及所述第二损失，对所述自学习模型进行优化处理。


12.一种数据处理方法，其特征在于，包括：
获取待分类对象；
将所述待分类对象作为自学习模型的入参，执行所述自学习模型得到所述待分类对象所属的分类信息；
其中，所述自学习模型是利用无监督域自适应算法完成的训练；所述无监督域自适应算法训练过程包括：基于带标签的第一样本，对所述自学习模型进行监督训练得到第一损失；基于无标签的第二图像样本，对所述自学习模型进行无监督训练得到第二损失；获取所述监督训练过程中所述自学习模型的目标模型层对应的第一输出数据及所述无监督训练过程中所述目标模型层对应的第二输出数据；根据所述第一输出数据及所述第二输出数据，确定第三损失；基于所述第一损失、所述第二损失及所述第三损失，对所述自学习模型进行优化处理。


13.根据权利要求12所述的方法，其特征在于，所述自学习模型包含至少一个模型层以及与所述至少一模型层中一模型层连接的输出层；
所述目标模型层为与所述输出层连接的模型层。


14.根据权利要求12或...

【专利技术属性】
技术研发人员：陈超，付志航，黄建强，华先胜，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY