一种迁移学习训练方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种迁移学习训练方法、装置、电子设备及存储介质，涉及数据处理技术领域，尤其涉及深度学习技术领域，包括：获取源域样本；利用一阶段模型计算每个源域数据的第一交叉熵并根据第一交叉熵计算相似度权重；获取目标域样本；利用二阶段模型计算每个源域数据和每个目标域数据的第二交叉熵；根据每个源域数据和每个目标域数据的第二交叉熵与相似度权重计算每个源域数据和每个目标域数据的第三交叉熵；根据每个源域数据和每个目标域数据的第三交叉熵对二阶段模型进行参数更新；将参数更新后的二阶段模型对业务数据进行预估或排序。排序。排序。

【技术实现步骤摘要】
一种迁移学习训练方法、装置、电子设备及存储介质


[0001]本公开涉及数据处理
，尤其涉及深度学习


技术介绍

[0002]现有的迁移学习训练方法是直接利用源域样本的数据与目标域样本的数据对目标域模型进行联合训练，但源域的场景的数据分布与当前场景也就是目标域的场景的数据分布并不一致，甚至有较大的差异性，直接进行全量的联合训练会对当前场景的模型产生负迁移现象，不但无法提升反而会降低当前场景的模型的性能，而抽样的联合训练控制了引入的源域样本的数量，但由于并没有解决源域样本数据分布与当前场景数据分布的差异性，只能从一定程度上减轻负迁移现象，同样很难改变数据差异对当前场景模型的影响，而利用迁移学习效果较好的网络结构，虽然能够有效地减缓负迁移现象，但是针对不同的业务场景需要耗费大量的人力成本去调整网络结构的模型参数。

技术实现思路

[0003]本公开提供了一种迁移学习训练方法、装置、电子设备及存储介质。
[0004]根据本公开的一方面，提供了一种迁移学习训练方法，包括：
[0005]获取源域样本，所述源域样本中包含多个源域数据和与源域数据对应的标签值；
[0006]利用一阶段模型计算每个源域数据的第一交叉熵并根据第一交叉熵计算相似度权重；
[0007]获取目标域样本，所述目标域样本中包含多个目标域数据和与目标域数据对应的标签值；
[0008]利用二阶段模型计算每个源域数据和每个目标域数据的第二交叉熵；
[0009]根据每个源域数据和每个目标域数据的第二交叉熵与相似度权重计算每个源域数据和每个目标域数据的第三交叉熵；
[0010]根据每个源域数据和每个目标域数据的第三交叉熵对所述二阶段模型进行参数更新；
[0011]将参数更新后的二阶段模型对业务数据进行预估或排序。
[0012]根据本公开的另一方面，提供了一种迁移学习训练装置，包括：
[0013]采集模块，用于获取源域样本，所述源域样本中包含多个源域数据和与源域数据对应的标签值；
[0014]计算模块，用于利用一阶段模型计算每个源域数据的第一交叉熵并根据第一交叉熵计算相似度权重；
[0015]所述采集样本，还用于获取目标域样本，所述目标域样本中包含多个目标域数据和与目标域数据对应的标签值；
[0016]所述计算模块，还用于利用二阶段模型计算每个源域数据和每个目标域数据的第二交叉熵；
[0017]所述计算模块，还用于根据每个源域数据和每个目标域数据的第二交叉熵与相似度权重计算每个源域数据和每个目标域数据的第三交叉熵；
[0018]训练模块，用于根据每个源域数据和每个目标域数据的第三交叉熵对所述二阶段模型进行参数更新；
[0019]处理模块，用于将参数更新后的二阶段模型对业务数据进行预估或排序。
[0020]根据本公开的另一方面，提供了一种电子设备，包括：
[0021]至少一个处理器；以及
[0022]与所述至少一个处理器通信连接的存储器；其中，
[0023]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一项所述的方法。
[0024]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述任一项所述的方法。
[0025]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述任一项所述的方法。
[0026]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0027]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0028]图1是根据本公开实施例提供的迁移学习训练方法的流程示意图；
[0029]图2是根据本公开实施例提供的迁移学习训练装置的结构示意图；
[0030]图3是用来实现本公开实施例的迁移学习训练方法的电子设备的框图。
具体实施方式
[0031]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0032]为了在不耗费大量人力成本的前提下减缓负迁移效果，提高迁移学习效果的稳定性，如图1所示，本公开一实施例提供了一种迁移学习训练方法，该方法包括：
[0033]步骤101，获取源域样本，所述源域样本中包含多个源域数据和与源域数据对应的标签值。
[0034]获取源域样本，源域样本中包含多个源域数据和与源域数据对应的标签值，与源域数据对应的标签值为0或者1，业务场景规模较小或者建立时间较短的推荐系统(即目标域)中的模型(即目标域模型，在本实施例中为二阶段模型)面临着训练数据较少而导致模型排序预估精度不高，迁移学习是通过从数据较多的源域中获取源域样本来给目标域模型进行训练从而提升目标域模型的排序预估精度。
[0035]步骤102，利用一阶段模型计算每个源域数据的第一交叉熵并根据第一交叉熵计算相似度权重。
[0036]利用一阶段模型计算每个源域数据的第一交叉熵，具体可根据以下公式计算第一交叉熵L
1i
：
[0037][0038]其中，y
1i
为第i个源域数据的标签值，为第i个源域数据的预估值；
[0039]计算出源域数据的第一交叉熵后，可根据以下公式计算相似度权重W
1i
：
[0040][0041]其中，e为自然常数。
[0042]步骤103，获取目标域样本，所述目标域样本中包含多个目标域数据和与目标域数据对应的标签值。
[0043]获取目标域样本，目标域样本中包含多个目标域数据和与目标域数据对应的标签值，与目标域数据对应的标签值为0或者1。
[0044]步骤104，利用二阶段模型计算每个源域数据和每个目标域数据的第二交叉熵。
[0045]根据以下公式计算每个源域数据的第二交叉熵L
2i
：
[0046][0047]其中，y
2i
为第i个源域数据的标签值，为第i个源域数据的预估值；
[0048]根据以下公式计算每个目标域数据的第二交叉熵L
2j
：
[0049][0050]其中，y
2j
为第j个目标域数据的标签值，为第j个目标域数据的预估值；
[0051]因为二阶段模型对于源域数据进行预估得到的预估值可能与一阶段模型的不同，所以这里也需要重新计算源域数据的第二交叉熵。...

【技术保护点】

【技术特征摘要】
1.一种迁移学习训练方法，包括：获取源域样本，所述源域样本中包含多个源域数据和与源域数据对应的标签值；利用一阶段模型计算每个源域数据的第一交叉熵并根据第一交叉熵计算相似度权重；获取目标域样本，所述目标域样本中包含多个目标域数据和与目标域数据对应的标签值；利用二阶段模型计算每个源域数据和每个目标域数据的第二交叉熵；根据每个源域数据和每个目标域数据的第二交叉熵与相似度权重计算每个源域数据和每个目标域数据的第三交叉熵；根据每个源域数据和每个目标域数据的第三交叉熵对所述二阶段模型进行参数更新；将参数更新后的二阶段模型对业务数据进行预估或排序。2.根据权利要求1所述的方法，所述利用一阶段模型计算每个源域数据的第一交叉熵并根据第一交叉熵计算相似度权重，包括：利用一阶段模型提取每个源域数据在预设N个维度上的特征数据；根据每个源域数据中在预设N个维度上的特征数据对该源域数据进行预估，得到每个源域数据对应的预估值；根据每个源域数据的标签值与预估值计算该源域数据的第一交叉熵；根据每个源域数据的第一交叉熵计算该源域数据的相似度权重。3.根据权利要求2所述的方法，所述利用二阶段模型计算每个源域数据和每个目标域数据的第二交叉熵，包括：利用二阶段模型提取每个源域数据和每个目标域数据在预设M个维度上的特征数据，所述预设M个维度比预设N个维度多出L个维度，所述L个维度上的特征数据能够表征源域数据和目标域数据的差异性；根据每个源域数据和每个目标域数据在预设M个维度上的特征数据对每个源域数据和每个目标域数据进行预估，得到每个源域数据和每个目标域数据的预估值；根据每个源域数据和每个目标域数据的标签值与预估值计算每个源域数据和每个目标域数据的第二交叉熵。4.根据权利要求1所述的方法，所述利用一阶段模型计算每个源域数据的第一交叉熵之后，还包括：利用所述一阶段模型计算每个源域数据的第一交叉熵之后不对所述一阶段模型进行参数更新。5.根据权利要求1所述的方法，所述利用一阶段模型计算每个...

【专利技术属性】
技术研发人员：吴学超，周杨，白云龙，秦才霞，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：