机器学习模型的应用方法、训练方法、装置、设备及介质制造方法及图纸

本申请提供了一种机器学习模型的应用方法、训练方法、装置、设备及介质，涉及人工智能技术领域。所述方法包括：确定当前任务与历史任务之间的相关性；根据相关性对历史任务的样本数据进行抽样，获得元样本数据；采用元样本数据对初始的机器学习模型进行在线元学习训练，得到训练后的机器学习模型；采用当前任务的样本数据对训练后的机器学习模型的参数进行调整，得到适用于当前任务的机器学习模型。本申请一方面实现了对当前任务的训练样本的数据增扩；另一方面由于在从历史任务中抽取样本数据时，充分考虑了当前任务与历史任务之间的相关性，使得该在线元学习的过程对于当前任务更加鲁棒，从而提升模型在当前任务上的预测精度。

Application method, training method, device, equipment and medium of machine learning model

【技术实现步骤摘要】
机器学习模型的应用方法、训练方法、装置、设备及介质
本申请实施例涉及人工智能
，特别涉及一种机器学习模型的应用方法、训练方法、装置、设备及介质。
技术介绍
随着人工智能技术的发展，机器学习也得到了广泛应用。传统的机器学习算法建立在两个重要的前提下，即(1)训练样本与测试样本独立同分布，(2)可获得大量的标注数据。然而，在一些业务场景(如金融风控场景下的用户违约预测)中，存在如下特点：(1)任务特性随时间发生变化，新时刻的任务不能直接使用旧任务的模型；(2)每个任务只有少量的标注数据，大部分需要预测的数据无标注；(3)不同任务的场景迥异，样本分布差异较大。因此，传统的基于大量标注数据进行训练的机器学习算法难以直接运用于上述业务场景，无法为上述业务场景提供准确可靠的机器学习模型。
技术实现思路
本申请实施例提供了一种机器学习模型的应用方法、训练方法、装置、设备及介质，可用于解决上述技术问题。所述技术方案如下：一方面，本申请实施例提供了一种机器学习模型的应用方法，所述方法包括：获取当前任务的预测样本；调用适用于所述当前任务的机器学习模型；通过所述机器学习模型输出所述预测样本对应的预测结果；其中，所述机器学习模型是根据所述当前任务与历史任务之间的相关性，从所述历史任务的样本数据中抽样得到元样本数据之后，采用所述元样本数据和所述当前任务的样本数据进行训练得到的。另一方面，本申请实施例提供了一种机器学习模型的训练方法，所述方法包括：确定当前任务与历史任务之间的相关性；根据所述相关性对所述历史任务的样本数据进行抽样，获得元样本数据；采用所述元样本数据对初始的机器学习模型进行在线元学习训练，得到训练后的机器学习模型；采用所述当前任务的样本数据对所述训练后的机器学习模型的参数进行调整，得到适用于所述当前任务的机器学习模型。另一方面，本申请实施例提供了一种机器学习模型的应用装置，所述装置包括：样本获取模块，用于获取当前任务的预测样本；模型调用模块，用于调用适用于所述当前任务的机器学习模型；结果输出模块，用于通过所述机器学习模型输出所述预测样本对应的预测结果；其中，所述机器学习模型是根据所述当前任务与历史任务之间的相关性，从所述历史任务的样本数据中抽样得到元样本数据之后，采用所述元样本数据和所述当前任务的样本数据进行训练得到的。另一方面，本申请实施例提供了一种机器学习模型的训练装置，所述装置包括：相关性确定模块，用于确定当前任务与历史任务之间的相关性；样本抽样模块，用于根据所述相关性对所述历史任务的样本数据进行抽样，获得元样本数据；模型训练模块，用于采用所述元样本数据对初始的机器学习模型进行在线元学习训练，得到训练后的机器学习模型；参数调整模块，用于采用所述当前任务的样本数据对所述训练后的机器学习模型的参数进行调整，得到适用于所述当前任务的机器学习模型。再一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述机器学习模型的应用方法，或者实现上述机器学习模型的训练方法。再一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述机器学习模型的应用方法，或者实现上述机器学习模型的训练方法。还一方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品被处理器执行时，用于实现上述机器学习模型的应用方法，或者实现上述机器学习模型的训练方法。本申请实施例提供的技术方案可以包括如下有益效果：通过确定当前任务与历史任务之间的相关性，根据该相关性从历史任务中抽样获取元样本数据，然后采用该元样本数据和当前任务的样本数据进行模型训练，最终得到适用于当前任务的机器学习模型；一方面，通过从历史任务中抽取样本数据，作为当前任务的训练样本，从而实现了对当前任务的训练样本的数据增扩；另一方面，由于在从历史任务中抽取样本数据时，充分考虑了当前任务与历史任务之间的相关性，使得该在线元学习的过程对于当前任务更加鲁棒，从而提升最终训练得到的模型在当前任务上的预测精度。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请一个实施例提供的机器学习模型的训练方法的流程图；图2是本申请一个实施例提供的方案架构图；图3示出了一种彩虹手写数字数据集的示意图；图4示出了一种分类任务数据的示意图；图5示出了一种实验所得的准确率统计结果的示意图；图6示出了一种实验所得的注意力分量的示意图；图7是本申请一个实施例提供的机器学习模型的应用方法的流程图；图8是本申请一个实施例提供的机器学习模型的训练装置的框图；图9是本申请另一个实施例提供的机器学习模型的训练装置的框图；图10是本申请一个实施例提供的机器学习模型的应用装置的框图；图11是本申请一个实施例提供的计算机设备的结构示意图。具体实施方式为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。人工智能(ArtificialIntelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。机器学习(MachineLearning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深本文档来自技高网...

【技术保护点】
1.一种机器学习模型的应用方法，其特征在于，所述方法包括：/n获取当前任务的预测样本；/n调用适用于所述当前任务的机器学习模型；/n通过所述机器学习模型输出所述预测样本对应的预测结果；/n其中，所述机器学习模型是根据所述当前任务与历史任务之间的相关性，从所述历史任务的样本数据中抽样得到元样本数据之后，采用所述元样本数据和所述当前任务的样本数据进行训练得到的。/n

【技术特征摘要】
1.一种机器学习模型的应用方法，其特征在于，所述方法包括：
获取当前任务的预测样本；
调用适用于所述当前任务的机器学习模型；
通过所述机器学习模型输出所述预测样本对应的预测结果；
其中，所述机器学习模型是根据所述当前任务与历史任务之间的相关性，从所述历史任务的样本数据中抽样得到元样本数据之后，采用所述元样本数据和所述当前任务的样本数据进行训练得到的。


2.根据权利要求1所述的方法，其特征在于，所述机器学习模型的训练过程如下：
确定所述当前任务与所述历史任务之间的相关性；
根据所述相关性对所述历史任务的样本数据进行抽样，获得元样本数据；
采用所述元样本数据对初始的机器学习模型进行在线元学习训练，得到训练后的机器学习模型；
采用所述当前任务的样本数据对所述训练后的机器学习模型的参数进行调整，得到适用于所述当前任务的机器学习模型。


3.根据权利要求2所述的方法，其特征在于，所述确定所述当前任务与所述历史任务之间的相关性，包括：
对所述当前任务的样本数据和n个历史任务的样本数据分别进行特征提取，得到所述当前任务的特征信息和各个所述历史任务的特征信息，所述n为正整数；
通过注意力网络根据所述当前任务的特征信息和各个所述历史任务的特征信息，计算注意力向量；
其中，所述注意力向量包括n个注意力分量，第i个注意力分量用于表征所述当前任务与第i个历史任务之间的相关性，所述i为小于等于所述n的正整数。


4.根据权利要求3所述的方法，其特征在于，所述通过注意力网络根据所述当前任务的特征信息和各个所述历史任务的特征信息，计算注意力向量，包括：
通过第一注意力网络根据所述当前任务的特征信息，输出所述当前任务对应的查询向量；
通过第二注意力网络根据各个所述历史任务的特征信息，输出所述n个历史任务对应的键值矩阵；
根据所述查询向量和所述键值矩阵，计算所述注意力向量。


5.根据权利要求3所述的方法，其特征在于，所述根据所述相关性对所述历史任务的样本数据进行抽样，获得元样本数据，包括：
根据所述n个注意力分量，对所述n个历史任务的样本数据进行抽样，获得所述元样本数据；
其中，从各个所述历史任务的样本数据中抽样获取的样本数据的数量之间的比例，与所述n个注意力分量之间的比例相同。


6.根据权利要求2至5任一项所述的方法，其特征在于，所述采用所述元样本数据对初始的机器学习模型进行在线元学习训练，得到训练后的机器学习模型，包括：
根据所述元样本数据生成训练样本集；
采用所述训练样本集分批次训练所述机器学习模型的参数；
计算所述机器学习模型的第一损失函数值；
当所述第一损失函数值满足第一条件时，根据所述第一损失函数值计算所述机器学习模型的初始参数所对应的第一梯度；
根据所述第一梯度更新所述机器学习模型的初始参数，得到所述训练后的机器学习模型。


7.根据权利要求2至5任一项所述的方法，其特征在于，所述采用所述当前任务的样本数据对所述训练后的机器学习模型的参数进行调整，得到适用于所述当前任务的机器学习模型，包括：
根据所述当前任务的样本数据，计算所述训练后的机器学习模型的第二损失函数值；
当所述第二损失函数值满足第二条件时，根据所述第二损失函数值计算所述训练后的机器学习模型的参数所对应的第二梯度；
根据所述第二梯度更新所述训练后的机器学习模型的参数，得到适用于所述当前任务的机器学习模型。


8.一种机器学习模型的训练方法，其特征在于...

【专利技术属性】
技术研发人员：杨元弢，蓝利君，李超，
申请(专利权)人：腾讯云计算北京有限责任公司，
类型：发明
国别省市：北京;11