适于训练神经网络模型的电子装置和方法制造方法及图纸

本公开提供一种适于训练神经网络模型的电子装置和方法。方法包含：取得第一神经网络模型以及第一伪标记数据；将第一伪标记数据输入至第一神经网络模型以取得第二伪标记数据；判断对应于第二伪标记数据的第二伪标记是否与对应于第一伪标记数据的第一伪标记匹配；回应于第二伪标记与第一伪标记匹配，将第二伪标记数据加入至伪标记数据集；以及根据伪标记数据集训练第一神经网络模型。据集训练第一神经网络模型。据集训练第一神经网络模型。

【技术实现步骤摘要】
适于训练神经网络模型的电子装置和方法


[0001]本公开涉及人工智能领域，尤其涉及一种训练神经网络模型的电子装置和方法。

技术介绍

[0002]现行的监督式机器学习多是由人工方式产生标记数据，再以标记数据训练机器学习模型(例如：深度学习模型)。为了增加机器学习模型的准确度，经常需要收集大量的标记数据。然而，使用人工方式产生标记数据不仅耗费时间以及人力资源，还有可能因为人为失误而为数据标上错误的标记，从而导致机器学习模型的效能降低。此外，在垂直领域应用时(如：工业视觉、医学等)，常因辨识的目标影像(如：瑕疵影像、病征影像等)收集不易，增加机器学习导入的困难度。因此，如何在不减少机器学习模型效能的情况下减少需以人工方式产生的标记数据数量，是本领域的重要课题之一。

技术实现思路

[0003]本公开提供了一种适于训练神经网络模型的电子装置，包括：存储介质，存储第一神经网络模型；以及处理器，耦接至所述存储介质，其中所述处理器经配置以执行：取得第一伪标记数据；将所述第一伪标记数据输入至所述第一神经网络模型以取得第二伪标记数据；判断对应于所述第二伪标记数据的第二伪标记是否与对应于所述第一伪标记数据的第一伪标记匹配；回应于所述第二伪标记与所述第一伪标记匹配，将所述第二伪标记数据加入至伪标记数据集；以及根据所述伪标记数据集训练所述第一神经网络模型。
[0004]可选地，第二伪标记数据包括机率向量，所述处理器还经配置以执行：回应于所述机率向量中的最大机率大于机率临界值而判断所述第二伪标记与所述第一伪标记是否匹配。
[0005]可选地，处理器还经配置以执行：回应于所述第二伪标记与所述第一伪标记匹配，计算所述第一伪标记数据与所述第二伪标记数据之间的第一互熵损失；以及根据关联于所述第一互熵损失的损失函数训练所述第一神经网络模型。
[0006]可选地，处理器还经配置以执行：取得第一标记数据；将所述第一标记数据输入至所述第一神经网络模型以取得第二标记数据；计算所述第一标记数据与所述第二标记数据之间的第二互熵损失；以及根据关联于所述第二互熵损失的所述损失函数训练所述第一神经网络模型。
[0007]可选地，第一神经网络模型包括第一子神经网络模型以及第二子神经网络模型，所述第二伪标记数据包括对应于所述第一子神经网络模型的第一机率向量以及对应于所述第二子神经网络模型的第二机率向量，所述处理器还经配置以执行：计算所述第一机率向量中的第一最大机率以及所述第二机率向量中的第二最大机率的平均机率；以及回应于所述平均机率大于机率临界值而判断所述第二伪标记与所述第一伪标记是否匹配。
[0008]可选地，第一神经网络模型包括第一子神经网络模型以及第二子神经网络模型，所述第二伪标记数据包括对应于所述第一子神经网络模型的第一机率向量以及对应于所
述第二子神经网络模型的第二机率向量，所述处理器还经配置以执行：回应于所述第一机率向量中的第一最大机率大于机率临界值并且所述第二机率向量中的第二最大机率大于所述机率临界值，判断所述第二伪标记与所述第一伪标记是否匹配。
[0009]可选地，第一神经网络模型包括第一子神经网络模型以及第二子神经网络模型，所述第二伪标记数据包括对应于所述第一子神经网络模型的第一机率向量以及对应于所述第二子神经网络模型的第二机率向量，所述处理器还经配置以执行：计算所述第一机率向量与所述第二机率向量的平均机率向量；以及根据所述平均机率向量判断所述第二伪标记。
[0010]可选地，第一神经网络模型包括第一子神经网络模型以及第二子神经网络模型，所述第二伪标记包括对应于所述第一子神经网络模型的第一子伪标记以及对应于所述第二子神经网络模型的第二子伪标记，所述处理器还经配置以执行：回应于所述第一子伪标记与所述第一伪标记匹配并且所述第二子伪标记与所述第一伪标记匹配，判断所述第二伪标记与所述第一伪标记匹配。
[0011]可选地，处理器还经配置以执行：根据标记数据集训练第二神经网络模型；将未标记数据集输入至所述第二神经网络模型以取得高度可信赖伪标记数据集以及部分可信赖伪标记数据集；以及根据所述部分可信赖伪标记数据集训练所述第一神经网络模型，其中所述部分可信赖伪标记数据集包括所述第一伪标记数据。
[0012]可选地，处理器还经配置以执行：根据所述标记数据集、所述高度可信赖伪标记数据集以及所述部分可信赖伪标记数据集训练最终神经网络模型。
[0013]可选地，处理器还经配置以执行：将所述部分可信赖伪标记数据集中的第三伪标记数据输入至所述第一神经网络模型以取得第四伪标记数据；以及回应于所述第四伪标记数据的第四伪标记与所述第三伪标记数据的第三伪标记匹配，根据所述第四伪标记数据更新所述部分可信赖伪标记数据集。
[0014]可选地，处理器还经配置以执行：将所述部分可信赖伪标记数据集中的第三伪标记数据输入至所述第一神经网络模型以取得第四伪标记数据；回应于所述第四伪标记数据的第四伪标记与所述第三伪标记数据的第三伪标记不匹配，输出所述第四伪标记数据并且接收对应于所述第四伪标记数据的第四标记数据；根据所述第四标记数据更新所述标记数据集。
[0015]本公开还公开了一种适于训练神经网络模型的方法，包括：取得第一神经网络模型以及第一伪标记数据；将所述第一伪标记数据输入至所述第一神经网络模型以取得第二伪标记数据；判断对应于所述第二伪标记数据的第二伪标记是否与对应于所述第一伪标记数据的第一伪标记匹配；回应于所述第二伪标记与所述第一伪标记匹配，将所述第二伪标记数据加入至伪标记数据集；以及根据所述伪标记数据集训练所述第一神经网络模型。
[0016]可选地，第二伪标记数据包括机率向量，所述判断对应于所述第二伪标记数据的所述第二伪标记是否与对应于所述第一伪标记数据的所述第一伪标记匹配的步骤包括：回应于所述机率向量中的最大机率大于机率临界值而判断所述第二伪标记与所述第一伪标记是否匹配。
[0017]可选地，根据所述伪标记数据集训练所述第一神经网络模型的步骤包括：回应于所述第二伪标记与所述第一伪标记匹配，计算所述第一伪标记数据与所述第二伪标记数据
之间的第一互熵损失；以及根据关联于所述第一互熵损失的损失函数训练所述第一神经网络模型。
[0018]可选地，根据所述伪标记数据集训练所述第一神经网络模型的步骤更包括：取得第一标记数据；将所述第一标记数据输入至所述第一神经网络模型以取得第二标记数据；计算所述第一标记数据与所述第二标记数据之间的第二互熵损失；以及根据关联于所述第二互熵损失的所述损失函数训练所述第一神经网络模型。
[0019]可选地，第一神经网络模型包括第一子神经网络模型以及第二子神经网络模型，所述第二伪标记数据包括对应于所述第一子神经网络模型的第一机率向量以及对应于所述第二子神经网络模型的第二机率向量，判断对应于所述第二伪标记数据的所述第二伪标记是否与对应于所述第一伪标记数据的所述第一伪标记匹配的步骤包括：计算所述第一机率向量中的第一最大机率以及所述第二机率向量中的第二最大机率的平均机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适于训练神经网络模型的电子装置，其特征在于，包括：存储介质，存储第一神经网络模型；以及处理器，耦接至所述存储介质，其中所述处理器经配置以执行：取得第一伪标记数据；将所述第一伪标记数据输入至所述第一神经网络模型以取得第二伪标记数据；判断对应于所述第二伪标记数据的第二伪标记是否与对应于所述第一伪标记数据的第一伪标记匹配；回应于所述第二伪标记与所述第一伪标记匹配，将所述第二伪标记数据加入至伪标记数据集；以及根据所述伪标记数据集训练所述第一神经网络模型。2.根据权利要求1所述的电子装置，其特征在于，所述第二伪标记数据包括机率向量，所述处理器还经配置以执行：回应于所述机率向量中的最大机率大于机率临界值而判断所述第二伪标记与所述第一伪标记是否匹配。3.根据权利要求1所述的电子装置，其特征在于，所述处理器还经配置以执行：回应于所述第二伪标记与所述第一伪标记匹配，计算所述第一伪标记数据与所述第二伪标记数据之间的第一互熵损失；以及根据关联于所述第一互熵损失的损失函数训练所述第一神经网络模型。4.根据权利要求3所述的电子装置，其特征在于，所述处理器还经配置以执行：取得第一标记数据；将所述第一标记数据输入至所述第一神经网络模型以取得第二标记数据；计算所述第一标记数据与所述第二标记数据之间的第二互熵损失；以及根据关联于所述第二互熵损失的所述损失函数训练所述第一神经网络模型。5.根据权利要求1所述的电子装置，其特征在于，所述第一神经网络模型包括第一子神经网络模型以及第二子神经网络模型，所述第二伪标记数据包括对应于所述第一子神经网络模型的第一机率向量以及对应于所述第二子神经网络模型的第二机率向量，所述处理器还经配置以执行：计算所述第一机率向量中的第一最大机率以及所述第二机率向量中的第二最大机率的平均机率；以及回应于所述平均机率大于机率临界值而判断所述第二伪标记与所述第一伪标记是否匹配。6.根据权利要求1所述的电子装置，其特征在于，所述第一神经网络模型包括第一子神经网络模型以及第二子神经网络模型，所述第二伪标记数据包括对应于所述第一子神经网络模型的第一机率向量以及对应于所述第二子神经网络模型的第二机率向量，所述处理器还经配置以执行：回应于所述第一机率向量中的第一最大机率大于机率临界值并且所述第二机率向量中的第二最大机率大于所述机率临界值，判断所述第二伪标记与所述第一伪标记是否匹配。7.根据权利要求1所述的电子装置，其特征在于，所述第一神经网络模型包括第一子神
经网络模型以及第二子神经网络模型，所述第二伪标记数据包括对应于所述第一子神经网络模型的第一机率向量以及对应于所述第二子神经网络模型的第二机率向量，所述处理器还经配置以执行：计算所述第一机率向量与所述第二机率向量的平均机率向量；以及根据所述平均机率向量判断所述第二伪标记。8.根据权利要求1所述的电子装置，其特征在于，所述第一神经网络模型包括第一子神经网络模型以及第二子神经网络模型，所述第二伪标记包括对应于所述第一子神经网络模型的第一子伪标记以及对应于所述第二子神经网络模型的第二子伪标记，所述处理器还经配置以执行：回应于所述第一子伪标记与所述第一伪标记匹配并且所述第二子伪标记与所述第一伪标记匹配，判断所述第二伪标记与所述第一伪标记匹配。9.根据权利要求1所述的电子装置，其特征在于，所述处理器还经配置以执行：根据标记数据集训练第二神经网络模型；将未标记数据集输入至所述第二神经网络模型以取得高度可信赖伪标记数据集以及部分可信赖伪标记数据集；以及根据所述部分可信赖伪标记数据集训练所述第一神经网络模型，其中所述部分可信赖伪标记数据集包括所述第一伪标记数据。10.根据权利要求9所述的电子装置，其特征在于，所述处理器还经配置以执行：根据所述标记数据集、所述高度可信赖伪标记数据集以及所述部分可信赖伪标记数据集训练最终神经网络模型。11.根据权利要求10所述的电子装置，其特征在于，所述处理器还经配置以执行：将所述部分可信赖伪标记数据集中的第三伪标记数据输入至所述第一神经网络模型以取得第四伪标记数据；以及回应于所述第四伪标记数据的第四伪标记与所述第三伪标记数据的第三伪标记匹配，根据所述第四伪标记数据更新所述部分可信赖伪标记数据集。12.根据权利要求10所述的电子装置，其特征在于，所述处理器还经配置以执行：将所述部分可信赖伪标记数据集中的第三伪标记数据输入至所述第一神经网络模型以取得第四伪标记数据；回应于所述第四伪标记数据的第四伪标记与所述第三伪标记数据的第三伪标记不匹配，输出所述第四伪标记数据并且接收对应于所述第四伪标记数据的第四标记数据；根据所述第四标记数据更新所述标记数据集。13.一种适于训练神经网络模型的方法，包括：取得第一神经网络模型以及第一伪标记数据；将所述第一伪标记数据输入至所述第一神经网络模型以取得第二伪...

【专利技术属性】
技术研发人员：黄茂裕，张森嘉，石明于，汤灿泰，刘治能，
申请(专利权)人：财团法人工业技术研究院，
类型：发明
国别省市：