模型优化方法、设备和存储介质技术

本申请提供了一种模型优化方法、设备和存储介质，通过第二数据集对根据第一数据集预训练的第一模型进行模型准确性测试，得到测试结果；根据所述测试结果，从所述第二数据集中提取出第三数据集，所述第三数据集为所述第二数据集中测试结果为不准确对应的数据集；分析所述第三数据集中各样本的场景信息，根据所述场景信息生成优化方案，所述优化方案用于对所述第一模型进行更新，以生成第二模型。能够提高模型的识别准确性。模型的识别准确性。模型的识别准确性。

【技术实现步骤摘要】
模型优化方法、设备和存储介质


[0001]本申请涉及人工智能
，尤其涉及一种模型优化方法、设备和存储介质。

技术介绍

[0002]由于自动机器学习模型技术，能够有效地缓解模型开发人才稀缺的问题，而得到了广泛的研究及应用。目前，自动机器学习模型技术通过人工智能平台采用定位易混淆标签的方法对模型进行性能评估及优化。具体地，定位易混肴标签的方法主要是查找识别错误结果对应的样本中目标对象的共性来确定产生误识别的原因，进而根据错误原因对优化样本，从而提高模型的性能。然而，由于模型的识别准确性受多个因素的影响，仅根据识别错误的样本中目标对象的共性无法准确提高模型的识别准确性。

技术实现思路

[0003]本申请提供了一种模型优化方法、设备和存储介质，旨在通过分析样本的场景信息对模型识别准确性的影响，生成对模型优化方案，进而根据所述优化方案进行模型优化，提高模型的识别准确性。
[0004]第一方面，本申请实施例提供了一种模型优化方法，包括：
[0005]获取根据第一数据集预训练的第一模型；
[0006]根据第二数据集对所述第一模型进行模型准确性测试，得到测试结果；
[0007]根据所述测试结果，从所述第二数据集中提取出第三数据集，所述第三数据集为所述第二数据集中测试结果为不准确对应的数据集；
[0008]分析所述第三数据集中所有样本的场景信息，根据所述场景信息生成优化方案，所述优化方案用于对所述第一模型进行更新，以生成第二模型。
[0009]第二方面，本申请实施例提供了一种模型优化设备，其特征在于，包括存储器和处理器；
[0010]所述存储器用于存储计算机程序；
[0011]所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如上第一方面所述的模型优化方法的步骤。
[0012]第三方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上第一方面所述的模型优化方法的步骤。
[0013]本申请实施例提供了一种模型优化方法、设备和存储介质，通过第二数据集对根据第一数据集预训练的第一模型进行模型准确性测试，得到测试结果；再根据所述测试结果，从所述第二数据集中提取出测试结果不准确的样本对应的第三数据集；分析所述第三数据集中所有样本的场景信息，根据所述场景信息生成优化方案，所述优化方案用于对所述第一模型进行更新，以生成第二模型。通过分析样本的场景信息对模型识别准确性的影响，生成对模型优化方案，进而根据所述优化方案进行模型优化，提高模型的识别准确性。
[0014]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请实施例的公开内容。
附图说明
[0015]为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0016]图1是本申请一实施例公开的模型优化设备的架构示意图；
[0017]图2是本申请实施例提供的模型优化系统的架构示意图；
[0018]图2是本申请实施例提供的模型优化系统的架构示意图；
[0019]图4是图3中S305的具体实现流程图；
[0020]图5是图4中S412的第一具体实现流程图；
[0021]图6是图4中S412的第二具体实现流程图；
[0022]图7是图4中S412的第三具体实现流程图；
[0023]图8是本申请另一实施例提供的模型优化方法的实现流程示意图；
[0024]图9是本申请实施例提供的模型优化方法的一应用场景示意图；
[0025]图10是图9所示应用场景中第三数据集中场景信息的分布示意图；
[0026]图11是本申请一实施例提供的模型优化设备的示意性框图。
具体实施方式
[0027]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。根据本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0028]附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
[0029]需要说明的是，本申请提供的模型优化方法、设备及存储介质，用于有效地对模型进行优化，提高模型的识别准确性。
[0030]目前，人工智能受到了学术界和工业界的广泛关注，其在不少应用领域都发挥了超乎普通人类的水平。例如：人工智能技术在机器视觉领域(如人脸识别、图像分类、物体检测等)的应用使得机器视觉的准确率高于人类，人工智能技术在自然语言处理和和推荐系统等领域也有较好的应用。
[0031]机器学习是一种实现人工智能的核心手段，计算机针对要解决的技术问题，根据已有的数据构建一种模型，再利用模型对未知数据进行推理，获得推理结果。这种方法就好像计算机像人类一样学习了某一能力(如认知能力、辨别能力、分类能力等)，因此，将这种方法称为机器学习。
[0032]现有技术中，人工智能平台在对初始模型进行训练，得到模型之后，根据模型对评估数据集进行推理得到推理结果，之后可以根据推理结果和评估数据集中样本的共性来确
定对模型优化方案。而由于样本的共性是一个比较笼统的概念，无法准确地提供影响模型识别准确性的信息，进而不能给模型优化提供更多的信息。
[0033]本申请实施例公开了一种模型优化方法、设备及存储介质，所述的模型优化方法可以通过模型对评估数据集中样本的场景信息进行分析，根据分析结果生成对所述模型优化方案，可以更有效地对所述模型进行优化，提高模型的识别准确性。
[0034]为了更好地理解本申请实施例公开的一种模型优化方法、设备及存储介质，下面先对本申请实施例使用的场景架构进行描述。请参阅图1，图1是本申请一实施例公开的模型优化设备的架构示意图。如图1所示，模型优化设备10上集成有模型优化系统111，其中，模型优化设备10可以是服务器或者终端设备，所述服务器可以是远程服务器、云端服务器或者服务器集群等可以用于对模型进行优化的服务器。所述终端设备可以是笔记本、PAD、手持设备、机器人或者智能可穿戴设备等。集成在模型优化设备10上的模型优化系统111为应用程序。
[0035]可以理解地，本申请实施例中所描述的模型优化方法可以适用于所有在模型优化设备10中集成模型优化系统111，通过模型优化系统111对模型进行优化的应用场景。
[0036]应理解，在模型优化设备10中还可以集成有训练系统112和测试系统113。对应地，训练系统112本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型的优化方法，其特征在于，包括：获取根据第一数据集预训练的第一模型；根据第二数据集对所述第一模型进行模型准确性测试，得到测试结果；根据所述测试结果，从所述第二数据集中提取出第三数据集，所述第三数据集为所述第二数据集中测试结果为不准确对应的数据集；分析所述第三数据集中所有样本的场景信息，根据所述场景信息生成优化方案，所述优化方案用于对所述第一模型进行更新，以生成第二模型。2.根据权利要求1所述的方法，其特征在于，所述分析所述第三数据集中所有样本的场景信息，根据所述场景信息生成优化方案，包括：确定所述第三数据集中所有样本对应的至少一个场景，其中，所述至少一个场景中的每个场景对应有场景信息列表，所述场景信息列表中包括至少一个场景信息；获取所述至少一个场景对应的第一场景信息，根据所述第一场景信息生成所述优化方案。3.根据权利要求2所述的方法，其特征在于，所述确定所述第三数据集中所有样本对应的至少一个场景，包括：提取所述第三数据集中所有样本在预设场景下的场景指标值；将所述场景指标值与所述预设场景下的至少一个指标阈值进行比较；若有样本在所述预设场景下的场景指标值符合所述预设场景下的指标阈值，则确定所述预设场景为对应样本的场景。4.根据权利要求3所述的方法，其特征在于，所述获取所述至少一个场景对应的第一场景信息，根据所述第一场景信息生成所述优化方案之前，还包括：获取所述至少一个场景对应的第二场景信息；所述获取所述至少一个场景对应的第一场景信息，根据所述第一场景信息生成所述优化方案，包括：确定所述第一场景信息和所述第二场景信息的关联关系；根据所述关联关系，确定所述优化方案。5.根据权利要求4所述的方法，其特征在于，所述关联关系为所述第二场景信息包括所述第一场景信息中的全部场景信息；所述根据所关联关系，确定所述优化方案，包括：若所述第二场景信息包括所述第一场景信息中的全部场景信息，则根据所述第二场景信息对所述第三数据集...

【专利技术属性】
技术研发人员：刘荣杰，潘绪洋，李少华，赵丛，
申请(专利权)人：共达地创新技术深圳有限公司，
类型：发明
国别省市：