基于知识迁移进行模型训练的方法及装置制造方法及图纸

本说明书实施例提供了基于知识迁移进行模型训练的方法及装置。在该方法中，可以获取不同场景的场景数据；然后根据所获取的场景数据学习各个场景之间的关联性，以得到各个场景对应的迁移权重，其中，每个场景对应的迁移权重用于表征该场景与其他场景之间的关联性特征；以及利用知识蒸馏根据各个场景对应的迁移权重在由场景数据训练得到的通用模型与各个场景对应的子模型之间进行知识迁移，以得到各个场景的子模型。个场景的子模型。个场景的子模型。

【技术实现步骤摘要】
基于知识迁移进行模型训练的方法及装置


[0001]本说明书实施例涉及人工智能
，具体地，涉及基于知识迁移进行模型训练的方法及装置。

技术介绍

[0002]在目前的工业环境中，可以包括有多种不同的场景，不同场景中的数据和交互对象可以存在较大差异。比如，不同推荐场景中的人群和商品类型可以存在较大差异。目前，针对不同的场景，可以单独进行建模，每个场景维护各自的模型。

技术实现思路

[0003]鉴于上述，本说明书实施例提供了基于知识迁移进行模型训练的方法及装置。通过本说明书实施例提供的技术方案，知识迁移在不受模型结构限制的情况下，考虑不同场景之间的关联性，由场景关联性得到的迁移权重在知识迁移时能够提高知识迁移的准确率和效率。
[0004]根据本说明书实施例的一个方面，提供了一种基于知识迁移进行模型训练的方法，包括：获取不同场景的场景数据；根据所述场景数据学习各个场景之间的关联性，以得到各个场景对应的迁移权重，其中，每个场景对应的迁移权重包括有该场景与其他场景之间的关联性特征；以及利用知识蒸馏根据所述各个场景对应的迁移权重在由所述场景数据训练得到的通用模型与所述各个场景对应的子模型之间进行知识迁移，以得到所述各个场景的子模型。
[0005]根据本说明书实施例的另一方面，还提供一种基于知识迁移进行模型训练的方法，包括：在推荐平台中获取不同推荐场景的场景数据，其中，所述场景数据包括场景用户数据和场景特征数据，所述场景数据用于表征场景中的用户与场景之间的交互；根据各个推荐场景的显式特征数据和隐式特征数据对所述各个推荐场景进行向量表征，以得到所述各个推荐场景的场景向量表征，其中，每个推荐场景的显式特征数据根据该推荐场景的场景特征数据得到，不同推荐场景的隐式特征数据根据该不同推荐场景所涉及的共同用户确定；使用元网络根据所述各个推荐场景的场景向量表征得到所述各个推荐场景对应的迁移权重，其中，每个推荐场景对应的迁移权重用于表征该推荐场景对应的推荐子模型中的各个中间子网络层与由所述场景数据训练得到的通用模型中的各个中间通用网络层之间的相似度；以及利用知识蒸馏根据所述各个推荐场景对应的迁移权重在由所述通用模型与对应的推荐子模型之间进行知识迁移，以得到所述各个推荐场景的推荐子模型。
[0006]根据本说明书实施例的另一方面，还提供一种基于知识迁移进行模型训练的装置，包括：数据获取单元，获取不同场景的场景数据；权重得到单元，根据所述场景数据学习各个场景之间的关联性，以得到各个场景对应的迁移权重，其中，每个场景对应的迁移权重用于表征该场景与其他场景之间的关联性特征；以及知识迁移单元，利用知识蒸馏根据所述各个场景对应的迁移权重在由所述场景数据训练得到的通用模型与所述各个场景对应
的子模型之间进行知识迁移，以得到所述各个场景的子模型。
[0007]根据本说明书实施例的另一方面，还提供一种电子设备，包括：至少一个处理器，与所述至少一个处理器耦合的存储器，以及存储在所述存储器上的计算机程序，所述至少一个处理器执行所述计算机程序来实现如上述任一所述的基于知识迁移进行模型训练的方法。
附图说明
[0008]通过参照下面的附图，可以实现对于本说明书实施例内容的本质和优点的进一步理解。在附图中，类似组件或特征可以具有相同的附图标记。
[0009]图1示出了根据本说明书实施例提供了基于知识迁移进行模型训练的方法的一个示例的流程图。
[0010]图2示出了根据本说明书实施例的根据知识蒸馏得到各个场景的子模型的一个示例的流程图。
[0011]图3示出了根据本说明书实施例的通用模型与各个子模型之间的基于迁移权重的对应关系的一个示例的示意图。
[0012]图4示出了根据本说明书实施例的基于知识迁移的模型训练装置的一个示例的方框图。
[0013]图5示出了本说明书实施例的用于实现基于知识迁移模型训练方法的电子设备的方框图。
具体实施方式
[0014]以下将参考示例实施方式讨论本文描述的主题。应该理解，讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题，并非是对权利要求书中所阐述的保护范围、适用性或者示例的限制。可以在不脱离本说明书实施例内容的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个示例可以根据需要，省略、替代或者添加各种过程或组件。另外，相对一些示例所描述的特征在其它例子中也可以进行组合。
[0015]如本文中使用的，术语“包括”及其变型表示开放的术语，含义是“包括但不限于”。术语“基于”表示“至少部分地基于”。术语“一个实施例”和“一实施例”表示“至少一个实施例”。术语“另一个实施例”表示“至少一个其他实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下面可以包括其他的定义，无论是明确的还是隐含的。除非上下文中明确地指明，否则一个术语的定义在整个说明书中是一致的。
[0016]术语“知识蒸馏(Knowledge Distillation，KD)”是将学习能力强的复杂教师模型中的知识迁移到模型存在差异的学生模型中。
[0017]在目前的工业环境中，可以包括有多种不同的场景，不同场景中的数据和交互对象可以存在较大差异。比如，不同推荐场景中的人群和商品类型可以存在较大差异。目前，针对不同的场景，可以单独进行建模，每个场景维护各自的模型。亟需一种更高效的针对不同场景的模型训练方法。
[0018]鉴于上述，本说明书实施例提供了基于知识迁移进行模型训练的方法及装置。在
该方法中，获取不同场景的场景数据；根据场景数据学习各个场景之间的关联性，以得到各个场景对应的迁移权重，其中，每个场景对应的迁移权重用于表征该场景与其他场景之间的关联性特征；以及利用知识蒸馏根据各个场景对应的迁移权重在由场景数据训练得到的通用模型与各个场景对应的子模型之间进行知识迁移，以得到各个场景的子模型。本说明书实施例提供了基于知识迁移进行模型训练的方法及装置。通过本说明书实施例提供的技术方案，知识迁移在不受模型结构限制的情况下，考虑不同场景之间的关联性，由场景关联性得到的迁移权重在知识迁移时能够提高知识迁移的准确率和效率。
[0019]下面结合附图对本说明书实施例提供了基于知识迁移进行模型训练的方法及装置进行详细说明。
[0020]图1示出了根据本说明书实施例提供了基于知识迁移进行模型训练的方法的一个示例100的流程图。
[0021]本说明书实施例提供的技术方案可以应用于不同的平台，所训练的模型也可以应用于相应的平台。比如，推荐平台。在每个平台中，还可以包括有多个不同的场景，不同的场景中所涉及的用户、商品等对象可以不同。例如，在推荐平台的多个推荐场景中，可以包括广告、搜索、营销和保险推荐等不同的业务场景。
[0022]此外，在一个场景中，还可以包括不同的子场景，不同的子场景中所涉及的用户、商品等对象也可以不同。例如，在广告场景中，可以包括实时竞价(RTB)广告场景、保量(GD)广告场景和外投本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于知识迁移进行模型训练的方法，包括：获取不同场景的场景数据；根据所述场景数据学习各个场景之间的关联性，以得到各个场景对应的迁移权重，其中，每个场景对应的迁移权重包括有该场景与其他场景之间的关联性特征；以及利用知识蒸馏根据所述各个场景对应的迁移权重在由所述场景数据训练得到的通用模型与所述各个场景对应的子模型之间进行知识迁移，以得到所述各个场景的子模型。2.如权利要求1所述的方法，还包括：基于所述场景数据确定所述各个场景的显式特征数据以及用于表示所述各个场景之间的关联性的隐式特征数据；根据所述场景数据学习各个场景之间的关联性，以得到各个场景对应的迁移权重包括：根据所述各个场景的所述显式特征数据和所述隐式特征数据对所述各个场景进行向量表征，以得到所述各个场景的场景向量表征；以及根据所述场景向量表征得到所述各个场景对应的迁移权重。3.如权利要求2所述的方法，其中，所述显式特征数据包括：场景标识、场景出现位置的位置标识、以及场景所属行业中的至少一种；所述隐式特征数据根据不同场景所涉及的共同用户确定。4.如权利要求2所述的方法，还包括：根据各个场景向量表征与各个聚类簇之间的所属关系，得到各个场景对应的簇向量表征，其中，每个场景对应的簇向量表征用于表示该场景基于所属聚类簇的向量表征；以及根据所述场景向量表征得到所述各个场景对应的迁移权重包括：根据所述场景向量表征以及所述簇向量表征得到所述各个场景对应的迁移权重。5.如权利要求4所述的方法，其中，根据所述场景向量表征以及所述簇向量表征得到所述各个场景对应的迁移权重包括：利用元网络和/或聚类的方式根据所述场景向量表征以及所述簇向量表征得到所述各个场景对应的迁移权重。6.如权利要求1所述的方法，其中，根据所述场景数据学习各个场景之间的关联性，以得到各个场景对应的迁移权重；以及利用知识蒸馏根据所述各个场景对应的迁移权重在由所述场景数据训练得到的通用模型与所述各个场景对应的子模型之间进行知识迁移，以得到所述各个场景的子模型包括：按照以下循环方式对所述各个场景对应的子模型进行训练，直至满足训练结束条件：针对当前场景，根据所述当前场景的场景数据学习所述当前场景与其他场景之间的关联性，以得到所述当前场景对应的迁移权重；针对所述当前场景对应的子模型，根据该子模型对应的迁移权重以及所述通用模型中的各个中间通用网络层，得到该子模型的各个中间子网络层；根据该子模型中的各个中间子网络层和子输出层所输出的结果、以及所述各个中间通用网络层和通用输出层所输出的结果，计算损失；以及根据所述损失对该子模型进行调整。7.如权利要求6所述的方法，其中，针对所述当前场景对应的子模型，根据该子模型对
应的迁移权重以及所述通用模型中的各个中间通用网络层，得到该子模型的各个中间子网络层包括：针对所述当前场景的子模型中的每个中间子网络层，根据所述各个中间通用网络层以及用于表征该中间子网络层与所述各个中间通用网络层之间的相似度的迁移权重，得到该中间子网络层。8.如权利要求6所述的方法，其中，所述损失包括：由所述子输出层所输出的结果和所述通用输出层所输出的结果得到的第一损失，以及由各个中间通用网络层和所述各个中间子网络层输出...

【专利技术属性】
技术研发人员：郇兆鑫，李昂，张晓露，周俊，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：