模型优化方法、装置、设备、存储介质及程序产品制造方法及图纸

本申请实施例公开了一种模型优化方法、装置、设备、存储介质及程序产品，适用于云技术、人工智能、智慧交通等场景。其中方法包括：获取测试样本；采用标签预测模型提取得到测试样本的多个预测样本特征，每个预测样本特征是通过丢弃测试样本的部分特征信息得到的；分别基于每个预测样本特征对测试样本进行标签预测，得到每个预测样本特征对应的预测结果；预测结果包括至少一个候选标签中每个候选标签的预测概率；根据每个预测样本特征对应的预测结果中每个候选标签的预测概率，确定标签预测模型的模型置信度，并向着增大模型置信度的方向对标签预测模型进行模型优化处理，以得到优化后的标签预测模型，优化后的标签预测模型具备较高的鲁棒性。的鲁棒性。的鲁棒性。

【技术实现步骤摘要】
模型优化方法、装置、设备、存储介质及程序产品


[0001]本申请涉及人工智能
，尤其涉及一种模型优化方法、装置、设备、存储介质及程序产品。

技术介绍

[0002]近年来，人工智能技术取得了长足的发展和进步，并已广泛应用于众多与人类生活息息相关的实际场景，极大地丰富和便捷了人们的日常生活。例如，人工智能技术中的深度学习技术如今普遍应用于图像分类、语音识别、机器翻译、自动驾驶以及智慧医疗等应用场景。具体地，深度学习技术可以用于对上述各应用场景下的标签预测模型进行模型优化，以使得优化后的标签预测模型可以具备更高以及更稳定的标签预测能力，从而相关设备可以基于优化后的标签预测模型处理得到准确的预测结果。
[0003]就当前而言，基于深度学习技术提出的众多模型优化方法通常无法优化得到鲁棒性较强的标签预测模型，这影响了优化后的标签预测模型在实际应用中的预测能力，进一步导致了预测结果的准确度较低的问题。因此，如何提升标签预测模型的鲁棒性成了当下的研究热点。

技术实现思路

[0004]本申请实施例提供了一种模型优化方法、装置、设备、存储介质及程序产品，可提升用于进行标签预测的标签预测模型的鲁棒性。
[0005]一方面，本申请实施例提供了一种模型优化方法，包括：
[0006]获取测试样本；
[0007]采用标签预测模型提取得到所述测试样本的多个预测样本特征，其中，每个预测样本特征是通过丢弃所述测试样本的部分特征信息得到的，且不同预测样本特征对应丢弃的特征信息不同；
[0008]分别基于每个预测样本特征对所述测试样本进行标签预测，得到所述每个预测样本特征对应的预测结果；其中，所述预测结果包括至少一个候选标签中每个候选标签的预测概率，所述预测概率用于指示所述测试样本预测为相应候选标签的概率；
[0009]根据每个预测样本特征对应的预测结果中每个候选标签的预测概率，确定所述标签预测模型的模型置信度，并向着增大所述模型置信度的方向对所述标签预测模型进行模型优化处理，以得到优化后的标签预测模型，所述优化后的标签预测模型用于预测得到待预测数据的目标标签。
[0010]再一方面，本申请实施例提供了一种模型优化装置，包括：
[0011]获取单元，用于获取测试样本；
[0012]特征提取单元，用于采用标签预测模型提取得到所述测试样本的多个预测样本特征，其中，每个预测样本特征是通过丢弃所述测试样本的部分特征信息得到的，且不同预测样本特征对应丢弃的特征信息不同；
[0013]预测单元，用于分别基于每个预测样本特征对所述测试样本进行标签预测，得到所述每个预测样本特征对应的预测结果；其中，所述预测结果包括至少一个候选标签中每个候选标签的预测概率，所述预测概率用于指示所述测试样本预测为相应候选标签的概率；
[0014]模型优化单元，用于根据每个预测样本特征对应的预测结果中每个候选标签的预测概率，确定所述标签预测模型的模型置信度，并向着增大所述模型置信度的方向对所述标签预测模型进行模型优化处理，以得到优化后的标签预测模型，所述优化后的标签预测模型用于预测得到待预测数据的目标标签。
[0015]再一方面，本申请实施例提供了一种计算机设备，包括：
[0016]处理器，所述处理器用于实现一条或多条计算机程序；
[0017]计算机存储介质，所述计算机存储介质存储有一条或多条计算机程序，所述一条或多条计算机程序适于由所述处理器加载并执行如第一方面的模型优化方法。
[0018]再一方面，本申请实施例还提供了一种计算机存储介质，所述计算机存储介质存储有一条或多条计算机程序，所述一条或多条计算机程序适于由处理器加载并执行如第一方面的模型优化方法。
[0019]再一方面，本申请实施例提供了一种计算机产品，所述计算机产品包括计算机程序，所述计算机程序适于由处理器加载并执行如第一方面的模型优化方法。
[0020]在本申请实施例中，计算机设备获取的预测样本特征包括测试样本的部分特征信息，计算机设备分别根据多个预测样本特征中每个预测样本特征，对测试样本进行标签预测，进而基于各个预测结果中候选标签的预测概率来确定模型置信度，以使得计算机设备可以向着增大模型置信度的方向对标签预测模型进行模型优化处理。其中，增大模型置信度意味着增大各个测试结果中相同候选标签的预测概率的相似度，那么，不难理解，增大模型置信度可以使得计算机设备基于测试样本的不同预测样本特征得到较为相似的预测结果。那么，这可以使得优化后的标签预测模型可以根据待预测数据的部分数据特征预测得到相应的目标标签，增强了标签预测模型的鲁棒性，进而可以在一定程度上提升计算机设备在部署标签预测模型时的稳定性。
附图说明
[0021]为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0022]图1是本申请实施例提供的一种模型优化至模型应用的流程示意图；
[0023]图2是本申请实施例提供的一种模型优化方法的示意流程图；
[0024]图3是本申请实施例提供的又一种模型优化方法的示意流程图；
[0025]图4a是本申请实施例提供的一种子模型的获取方式的示意图；
[0026]图4b是本申请实施例提供的一种模型损失值确定方式的示意图；
[0027]图5是本申请实施例提供的一种模型优化装置的结构示意图；
[0028]图6是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
[0029]为了使本
的人员更好地理解本申请实施例所提供的方法，下面将结合本申请实施例中的附图，对本申请实施例中的技术方法进行清楚、完整地描述。需要说明的是，本申请实施例中描述的各个具体实施例只是本申请一部分实施例，而不是全部的实施例。基于本申请中的各个实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0030]随着互联网技术的蓬勃发展，标签预测任务也取得了长足的进步。此处提及的标签预测任务可以理解为：用以预测相应数据所蕴含的标签信息的任务。其中，标签信息可以如：文本信息、语义信息、图像信息等。示例性地，当标签信息为文本信息时，标签预测任务可以具体例如是：文本翻译任务、文本标签预测任务、语音识别任务(即：预测语音信号所蕴含的文本内容)等。当标签信息为语义信息时，标签预测任务可以是语义理解任务，具体如：用于预测图像的语义信息的任务、用于预测文本的语义信息的任务，或用于预测语音的语义信息的任务等。当标签信息是图像信息时，标签预测任务可以是图像生成任务、图像检索任务等。图像生成任务可以具体用于生成与相应数据所指示的特征信息(如：颜色信息、语义信息、形状信息等)相匹配的图像，图像检索任务可以用于检索与相应数据所指示的特征信息相匹配的图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型优化方法，其特征在于，包括：获取测试样本；采用标签预测模型提取得到所述测试样本的多个预测样本特征，其中，每个预测样本特征是通过丢弃所述测试样本的部分特征信息得到的，且不同预测样本特征对应丢弃的特征信息不同；分别基于每个预测样本特征对所述测试样本进行标签预测，得到所述每个预测样本特征对应的预测结果；其中，所述预测结果包括至少一个候选标签中每个候选标签的预测概率，所述预测概率用于指示所述测试样本预测为相应候选标签的概率；根据每个预测样本特征对应的预测结果中每个候选标签的预测概率，确定所述标签预测模型的模型置信度，并向着增大所述模型置信度的方向对所述标签预测模型进行模型优化处理，以得到优化后的标签预测模型，所述优化后的标签预测模型用于预测得到待预测数据的目标标签。2.根据权利要求1所述的方法，其特征在于，所述向着增大所述模型置信度的方向对所述标签预测模型进行模型优化处理，包括：获取所述标签预测模型中的多个候选模型参数；从所述多个候选模型参数中确定出至少一个待优化模型参数，所述至少一个待优化模型参数中每个待优化模型参数的泛化能力强度值均满足强度值条件；向着增大所述模型置信度的方向对每个待优化模型参数进行参数调整，以对所述标签预测模型进行模型优化处理。3.根据权利要求2所述的方法，其特征在于，所述模型置信度是基于模型损失值确定的，所述模型损失值是采用目标损失函数基于所述每个候选标签的预测概率计算得到的；所述从所述多个候选模型参数中确定出至少一个待优化模型参数，包括：反向传播所述模型损失值，并在反向传播过程中计算所述目标损失函数针对每个候选模型参数的二阶导数，所述二阶导数的绝对值用于指示相应候选模型参数的泛化能力强度值；基于所述多个候选模型参数中每个候选模型参数的二阶导数的绝对值，确定出所述至少一个待优化模型参数。4.根据权利要求2或3所述的方法，其特征在于，所述标签预测模型包括至少一个特征提取层，每个特征提取层包括多个特征提取模块；采用所述标签预测模型提取得到所述测试样本的预测样本特征的方式包括：从每个特征提取层中选取至少一个特征提取模块，得到多个目标特征提取模块；其中，所述多个目标特征提取模块的数量小于所述标签预测模型中全部特征提取模块的总数量，所述全部特征提取模块用于提取得到包括所述测试样本的完整特征信息的样本特征；采用所述多个目标特征提取模块对所述测试样本进行特征提取，得到所述测试样本的预测样本特征。5.根据权利要求2或3所述的方法，其特征在于，所述标签预测模型包括至少一个特征提取层，每个特征提取层包括多个特征提取模块；采用所述标签预测模型提取得到所述测试样本的预测样本特征的方式包括：采用每个特征提取层中的每个特征提取模块对...

【专利技术属性】
技术研发人员：牛帅程，吴家祥，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：