本申请实施例公开了一种模型训练方法、装置、设备及可读存储介质，该方法包括：基于业务数据，确定所述业务数据对应的时点特征序列，以及所述时点特征序列的位置编码特征；对所述时点特征序列和所述位置编码特征进行拼接，得到样本特征；对所述样本特征进行扰动处理，得到所述样本特征对应的对抗样本；基于所述样本特征和所述对抗样本，以及所述样本特征和所述对抗样本对应的样本标签，训练得到风险预测模型。本申请可以构建不受时间窗限制、存在关联的样本特征和对抗样本，并基于以上样本训练得到风险预测模型，从而能够提升模型训练的效果。果。果。
【技术实现步骤摘要】
一种模型训练方法、装置、设备和可读存储介质
[0001]本申请涉及数据处理
，具体涉及一种模型训练方法、装置、设备和可读存储介质。
技术介绍
[0002]信贷风控领域的风险预测模型主要用是来评价用户的信用风险，一般通过用户的属性信息、业务行为等特征作为样本特征来训练此类风险预测模型。
[0003]然而，以上样本特征只能反映用户在一定时间范围的短期业务行为，利用这些短期特征训练得到风险预测模型，会导致模型预测用户长期风险的准确性较低。并且，这些样本特征通常是随机获取的，各样本特征之间不存在关联，无法反映出用户执行多次业务行为所对应的顺序和联系，使得模型无法实现更深层次、更泛化的训练效果。
技术实现思路
[0004]本申请实施例提供一种模型训练方法、装置、系统、电子设备和计算机存储介质，可以构建不受时间窗限制、存在关联的样本特征和对抗样本，并基于以上样本训练得到风险预测模型，从而能够提升模型训练的效果。
[0005]本申请实施例第一方面提供一种模型训练方法，所述方法包括：
[0006]基于业务数据，确定所述业务数据对应的时点特征序列，以及所述时点特征序列的位置编码特征；
[0007]对所述时点特征序列和所述位置编码特征进行拼接，得到样本特征；
[0008]对所述样本特征进行扰动处理，得到所述样本特征对应的对抗样本；
[0009]基于所述样本特征和所述对抗样本，以及所述样本特征和所述对抗样本对应的样本标签，训练得到风险预测模型。
[0010]可选地，所述基于业务数据，确定所述业务数据对应的时点特征序列，包括：
[0011]基于所述业务数据，获取用户针对目标业务的处理动作，以及所述处理动作对应的时点；
[0012]基于时点的顺序，拼接多个所述处理动作对应的特征，得到多个时点特征和所述时点特征序列。
[0013]可选地，所述基于业务数据，确定所述时点特征序列的位置编码特征，包括：
[0014]获取所述位置编码信息，所述位置编码信息包括所述时点特征的维度和数量，以及所述每个时点特征在所述时点特征序列中的位置；
[0015]基于位置编码算法，对所述位置编码信息进行编码，得到所述位置编码特征。
[0016]可选地，所述风险预测模型包括卷积层、长短期记忆层和自注意力层，所述基于所述样本特征和所述对抗样本，以及所述样本特征和所述对抗样本对应的样本标签，训练得到风险预测模型，包括：
[0017]将所述样本特征输入至初始风险预测模型，经所述初始风险预测模型的卷积层、
长短期记忆层和自注意力层按顺序进行处理后，基于所述样本标签和输出的第一风险评分，计算得到前向损失函数；
[0018]基于所述前向损失函数，得到所述对抗样本；
[0019]将所述对抗样本输入至初始风险预测模型，基于所述样本标签和输出的第二风险评分，更新所述初始风险预测模型的损失函数和模型参数；
[0020]获取新的样本特征和样本标签，迭代执行以上模型训练的步骤，直至所述初始风险预测模型满足完成训练的预设条件，以得到训练好的所述风险预测模型。
[0021]可选地，所述对所述样本特征进行扰动处理，得到所述样本特征对应的对抗样本，包括：
[0022]对所述前向损失函数进行标准化处理，得到扰动量；
[0023]将所述扰动量叠加至所述样本特征中，所述样本特征对应的对抗样本。
[0024]可选地，所述对所述时点特征序列和所述位置编码特征进行拼接，得到样本特征，包括：
[0025]基于时点的顺序，将所述位置编码特征拼接至所述时点特征序列的最后一行。
[0026]相应地，本申请实施例第二方面提供一种模型训练装置，其特征在于，所述装置包括：
[0027]业务数据解析模块，用于基于业务数据，确定所述业务数据对应的时点特征序列，以及所述时点特征序列的位置编码特征；
[0028]样本特征构建模块，用于对所述时点特征序列和所述位置编码特征进行拼接，得到样本特征；
[0029]对抗样本构建模块，用于对所述样本特征进行扰动处理，得到所述样本特征对应的对抗样本；
[0030]模型训练模块，用于基于所述样本特征和所述对抗样本，以及所述样本特征和所述对抗样本对应的样本标签，训练得到风险预测模型。
[0031]可选地，所述业务数据解析模块还具体用于：
[0032]基于所述业务数据，获取用户针对目标业务的处理动作，以及所述处理动作对应的时点；
[0033]基于时点的顺序，拼接多个所述处理动作对应的特征，得到多个时点特征和所述时点特征序列。
[0034]本申请实施例第三方面提供的一种电子设备，包括：
[0035]处理器和存储介质；
[0036]所述处理器，用于实现各个指令；
[0037]所述存储介质用于储存多条指令，所述指令用于由处理器加载并执行以上所述的模型训练方法。
[0038]本申请实施例第四方面还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请实施例所提供的任一种模型训练方法中的步骤。
[0039]本申请实施例第五方面还提供一种计算机程序产品，包括计算机程序或指令，所述计算机程序或指令被处理器执行时实现本申请实施例所提供的任一种模型训练方法。
[0040]由此可知，本申请通过获取用户对业务处理动作的时点，构建存在相互关联的样本特征，并基于每个样本特征的时点对样本特征序列进行位置编码，使得训练过程中的风险预测模型可以学习到样本特征的顺序、位置，以及不同样本特征之间对预测结果相互影响的权重，从而使得模型能够达到更深层、更准确的训练效果。
[0041]并且，本申请通过对样本特征进行扰动处理得到对抗样本，并将对抗样本应用到模型训练中，使得风险预测模型能够学习更多特征的同时，减小扰动对模型预测结果的影响，从而能够显著地提升模型的泛化能力。
附图说明
[0042]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0043]图1是本申请实施例提供的数据分类系统的应用场景示意图；
[0044]图2是本申请实施例提供的模型训练方法的流程示意图；
[0045]图3是本申请实施例提供的将样本特征输入至模型计算输出的示意图；
[0046]图4是本申请实施例提供的模型各层级处理样本特征和对抗样本的示意图；
[0047]图5是本申请实施例提供的模型训练装置的结构示意图；
[0048]图6是本申请实施例提供的电子设备的结构示意图。
具体实施方式
[0049]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种模型训练方法，其特征在于，所述方法包括：基于业务数据，确定所述业务数据对应的时点特征序列，以及所述时点特征序列的位置编码特征；对所述时点特征序列和所述位置编码特征进行拼接，得到样本特征；对所述样本特征进行扰动处理，得到所述样本特征对应的对抗样本；基于所述样本特征和所述对抗样本，以及所述样本特征和所述对抗样本对应的样本标签，训练得到风险预测模型。2.根据权利要求1所述的模型训练方法，其特征在于，所述基于业务数据，确定所述业务数据对应的时点特征序列，包括：基于所述业务数据，获取用户针对目标业务的处理动作，以及所述处理动作对应的时点；基于时点的顺序，拼接多个所述处理动作对应的特征，得到多个时点特征和所述时点特征序列。3.根据权利要求2所述的模型训练方法，其特征在于，所述基于业务数据，确定所述时点特征序列的位置编码特征，包括：获取所述位置编码信息，所述位置编码信息包括所述时点特征的维度和数量，以及所述每个时点特征在所述时点特征序列中的位置；基于位置编码算法，对所述位置编码信息进行编码，得到所述位置编码特征。4.根据权利要求1所述的模型训练方法，其特征在于，所述风险预测模型包括卷积层、长短期记忆层和自注意力层，所述基于所述样本特征和所述对抗样本，以及所述样本特征和所述对抗样本对应的样本标签，训练得到风险预测模型，包括：将所述样本特征输入至初始风险预测模型，经所述初始风险预测模型的卷积层、长短期记忆层和自注意力层按顺序进行处理后，基于所述样本标签和输出的第一风险评分，计算得到前向损失函数；基于所述前向损失函数，得到所述对抗样本；将所述对抗样本输入至初始风险预测模型，基于所述样本标签和输出的第二风险评分，更新所述初始风险预测模型的损失函数和模型参数；获取新的样本特征和样本标签，迭代执行以上模型训...
【专利技术属性】
技术研发人员：卫作臣，严澄，杨青，
申请(专利权)人：度小满科技北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。