神经网络模型的训练方法、装置和电子设备制造方法及图纸

本公开提供了一种神经网络模型的训练方法和装置、电子设备和计算机可读存储介质。神经网络模型的训练方法包括：利用第一训练样本集执行初始训练，获得初始神经网络模型；利用初始神经网络模型对第二训练样本集执行预测，获得第二训练样本集中每个训练样本的预测结果；基于预测结果，从第二训练样本集确定多个优选样本；接收对于多个优选样本的标注结果，将标注后的多个优选样本加入第一训练样本集，获得扩展的第一训练样本集；利用扩展的第一训练样本集执行更新训练，以获得更新的神经网络模型；在满足训练结束条件的情况下，结束训练；以及在不满足训练结束条件的情况下，重复执行预测步骤、优选样本确定步骤、样本扩展步骤以及更新训练步骤。

Training Method, Device and Electronic Equipment of Neural Network Model

【技术实现步骤摘要】
神经网络模型的训练方法、装置和电子设备
本公开涉及人工智能领域，更具体地，本公开涉及一种神经网络模型的训练方法、图像处理方法、神经网络模型的训练装置、电子设备和计算机可读存储介质。
技术介绍
神经网络是一种大规模、多参数优化的工具。依靠大量的训练数据，神经网络能够学习出数据中难以总结的隐藏特征，从而完成多项复杂的任务，如图像语义分割、物体检测、动作追踪、自然语言翻译等。神经网络已被人工智能界广泛应用。在利用神经网络模型执行上述诸如图像语义分割、物体检测、动作追踪、自然语言翻译等复杂任务时，需要利用人工标注的大量训练样本数据对神经网络模型执行训练过程，以便在训练过程中不断调整整个神经网络模型的参数设置，直到获得满足训练结束条件的神经网络模型以便随后执行相应的处理任务。为了减少对于大量训练样本数据的人工标注成本，通常采用随机采样学习的方式选取一部分训练样本数据进行人工标注。然而，由于随机采样学习的方式从未标注的训练样本数据集中均匀采样部分数据进行人工标注，对于原始训练样本数据集的数据分布没有改变，即采样后的用于训练的标注训练样本中优质样本的比例没有变化。此外，采样后数据集样本数量下降，会导致神经网络模型的训练更容易过拟合而导致性能下降。
技术实现思路
鉴于上述问题而提出了本公开。本公开提供了一种神经网络模型的训练方法、图像处理方法、神经网络模型的训练装置、电子设备和计算机可读存储介质。根据本公开的一个方面，提供了一种神经网络模型的训练方法，包括：执行初始训练步骤，以利用第一训练样本集执行初始训练，获得初始神经网络模型，所述第一训练样本集中的样本为已标注的样本；执行预测步骤，以利用所述初始神经网络模型对第二训练样本集执行预测，获得所述第二训练样本集中每个训练样本的预测结果，所述第二训练样本集中的样本为未标注的样本；执行优选样本确定步骤，以基于所述预测结果，从所述第二训练样本集确定多个优选样本；执行样本扩展步骤，以接收对于所述多个优选样本的标注结果，将标注后的所述多个优选样本加入所述第一训练样本集，获得扩展的第一训练样本集；执行更新训练步骤，以利用所述扩展的第一训练样本集执行更新训练，以获得更新的神经网络模型；判断是否满足训练结束条件，在满足训练结束条件的情况下，结束所述训练方法；以及在不满足所述训练结束条件的情况下，重复执行所述预测步骤、所述优选样本确定步骤、所述样本扩展步骤以及所述更新训练步骤。此外，根据本公开一个方面的神经网络模型的训练方法，其中，所述优选样本确定步骤包括：确定所述第二训练样本集中每个训练样本的信息量，并且选择第一预定数目的高信息量样本；以及基于所述第一预定数目的高信息量样本中每个样本的复杂度，以从低复杂度到高复杂度的顺序，从所述第一预定数目的高信息量样本确定第二预定数目的高信息量样本，作为所述多个优选样本。此外，根据本公开一个方面的神经网络模型的训练方法，其中，所述确定所述第二训练样本集中每个训练样本的信息量包括：确定所述第二训练样本集中每个训练样本的不确定性和多样性；以及对所述不确定性和所述多样性进行加权计算，获得所述每个训练样本的信息量。此外，根据本公开一个方面的神经网络模型的训练方法，其中，所述第二训练样本集中每个训练样本具有相应的弱监督信息，每个训练样本的所述不确定性基于每个训练样本相应的弱监督信息和预测结果确定；每个训练样本的所述多样性基于每个训练样本与所述第二训练样本集中的其他训练样本的相似性确定。此外，根据本公开一个方面的神经网络模型的训练方法，其中，所述第二训练样本集中每个训练样本具有相应的弱监督信息，并且所述每个样本的复杂度与所述每个训练样本相应的弱监督信息的确信度负相关。此外，根据本公开一个方面的神经网络模型的训练方法，其中，所述训练结束条件包括：所述优选样本确定步骤不再生成优选样本；或者所述更新的神经网络模型满足预定收敛条件。根据本公开的另一个方面，提供了一种利用神经网络模型的图像处理方法，包括：接收输入图像；利用所述神经网络模型对所述输入图像执行特征提取处理；以及基于提取的特征，输出处理结果图像，其中，利用如上所述的神经网络模型的训练方法，获得所述神经网络模型。根据本公开的又一个方面，提供了一种神经网络模型的训练装置，包括：初始训练单元，用于执行初始训练步骤，以利用第一训练样本集执行初始训练，获得初始神经网络模型，所述第一训练样本集中的样本为已标注的样本；预测单元，用于执行预测步骤，以利用所述初始神经网络模型对第二训练样本集执行预测，获得所述第二训练样本集中每个训练样本的预测结果，所述第二训练样本集中的样本为未标注的样本；优选样本确定单元，用于执行优选样本确定步骤，以基于所述预测结果，从所述第二训练样本集确定多个优选样本；样本扩展单元，用于执行样本扩展步骤，以接收对于所述多个优选样本的标注结果，将标注后的所述多个优选样本加入所述第一训练样本集，获得扩展的第一训练样本集；更新训练单元，用于执行更新训练步骤，以利用所述扩展的第一训练样本集执行更新训练，以获得更新的神经网络模型；其中，判断是否满足训练结束条件，在满足训练结束条件的情况下，所述训练装置结束训练；以及在不满足所述训练结束条件的情况下，所述预测单元、所述优选样本确定单元、所述样本扩展单元以及所述更新训练单元重复执行所述预测步骤、所述优选样本确定步骤、所述样本扩展步骤以及所述更新训练步骤。此外，根据本公开又一个方面的神经网络模型的训练装置，其中，所述优选样本确定单元用于：确定所述第二训练样本集中每个训练样本的信息量，并且选择第一预定数目的高信息量样本；以及基于所述第一预定数目的高信息量样本中每个样本的复杂度，以从低复杂度到高复杂度的顺序，从所述第一预定数目的高信息量样本确定第二预定数目的高信息量样本，作为所述多个优选样本。此外，根据本公开又一个方面的神经网络模型的训练装置，其中，所述优选样本确定单元用于：确定所述第二训练样本集中每个训练样本的不确定性和多样性；以及对所述不确定性和所述多样性进行加权计算，获得所述每个训练样本的信息量。此外，根据本公开又一个方面的神经网络模型的训练装置，其中，所述第二训练样本集中每个训练样本具有相应的弱监督信息，所述优选样本确定单元基于每个训练样本相应的弱监督信息和预测结果，确定每个训练样本的所述不确定性；所述优选样本确定单元基于每个训练样本与所述第二训练样本集中的其他训练样本的相似性，确定每个训练样本的所述多样性。此外，根据本公开又一个方面的神经网络模型的训练装置，其中，所述第二训练样本集中每个训练样本具有相应的弱监督信息，并且所述每个样本的复杂度与所述每个训练样本相应的弱监督信息的确信度负相关。此外，根据本公开又一个方面的神经网络模型的训练装置，其中，所述训练结束条件包括：所述优选样本确定步骤不再生成优选样本；或者所述更新的神经网络模型满足预定收敛条件。根据本公开的再一个方面，提供了一种电子设备，包括：处理器；以及存储器，用于存储计算机程序指令；其中，当所述计算机程序指令由所述处理器加载并运行时，所述处理器执行如上所述的训练方法和图像处理方法。根据本公开的再一个方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序指令，其中，所述计算机程序指令被本文档来自技高网...

【技术保护点】
1.一种神经网络模型的训练方法，包括：执行初始训练步骤，以利用第一训练样本集执行初始训练，获得初始神经网络模型，所述第一训练样本集中的样本为已标注的样本；执行预测步骤，以利用所述初始神经网络模型对第二训练样本集执行预测，获得所述第二训练样本集中每个训练样本的预测结果，所述第二训练样本集中的样本为未标注的样本；执行优选样本确定步骤，以基于所述预测结果，从所述第二训练样本集确定多个优选样本；执行样本扩展步骤，以接收对于所述多个优选样本的标注结果，将标注后的所述多个优选样本加入所述第一训练样本集，获得扩展的第一训练样本集；执行更新训练步骤，以利用所述扩展的第一训练样本集执行更新训练，以获得更新的神经网络模型；判断是否满足训练结束条件，在满足训练结束条件的情况下，结束所述训练方法；以及在不满足所述训练结束条件的情况下，重复执行所述预测步骤、所述优选样本确定步骤、所述样本扩展步骤以及所述更新训练步骤。

【技术特征摘要】
1.一种神经网络模型的训练方法，包括：执行初始训练步骤，以利用第一训练样本集执行初始训练，获得初始神经网络模型，所述第一训练样本集中的样本为已标注的样本；执行预测步骤，以利用所述初始神经网络模型对第二训练样本集执行预测，获得所述第二训练样本集中每个训练样本的预测结果，所述第二训练样本集中的样本为未标注的样本；执行优选样本确定步骤，以基于所述预测结果，从所述第二训练样本集确定多个优选样本；执行样本扩展步骤，以接收对于所述多个优选样本的标注结果，将标注后的所述多个优选样本加入所述第一训练样本集，获得扩展的第一训练样本集；执行更新训练步骤，以利用所述扩展的第一训练样本集执行更新训练，以获得更新的神经网络模型；判断是否满足训练结束条件，在满足训练结束条件的情况下，结束所述训练方法；以及在不满足所述训练结束条件的情况下，重复执行所述预测步骤、所述优选样本确定步骤、所述样本扩展步骤以及所述更新训练步骤。2.如权利要求1所述神经网络模型的训练方法，其中，所述优选样本确定步骤包括：确定所述第二训练样本集中每个训练样本的信息量，并且选择第一预定数目的高信息量样本；以及基于所述第一预定数目的高信息量样本中每个样本的复杂度，以从低复杂度到高复杂度的顺序，从所述第一预定数目的高信息量样本确定第二预定数目的高信息量样本，作为所述多个优选样本。3.如权利要求2所述神经网络模型的训练方法，其中，所述确定所述第二训练样本集中每个训练样本的信息量包括：确定所述第二训练样本集中每个训练样本的不确定性和多样性；以及对所述不确定性和所述多样性进行加权计算，获得所述每个训练样本的信息量。4.如权利要求3所述神经网络模型的训练方法，其中，所述第二训练样本集中每个训练样本具有相应的弱监督信息，每个训练样本的所述不确定性基于每个训练样本相应的弱监督信息和预测结果确定；每个训练样本的所述多样性基于每个训练样本与所述第二训练样本集中的其他训练样本的相似性确定。5.如权利要求2到4的任一项所述神经网络模型的训练方法，其中，所述第二训练样本集中每个训练样本具有相应的弱监督信息，并且所述每个样本的复杂度与所述每个训练样本相应的弱监督信息的确信度负相关。6.如权利要求1到5的任一项所述神经网络模型的训练方法，其中，所述训练结束条件包括：所述优选样本确定步骤不再生成优选样本；或者所述更新的神经网络模型满足预定收敛条件。7.一种利用神经网络模型的图像处理方法，包括：接收输入图像；利用所述神经网络模型对所述输入图像执行特征提取处理；以及基于提取的特征，输出处理结果图像，其中，利用如权利要求1到6的任一项所述的神经网络模型的训练方法，获得所述神经网络模型。8.一种神经网络模型的训练装置，包括：初始训练单元，用于执行初始训练步骤，以利用第一训练样本集执行初始训练，获得初始神经网络模型，所述第一训练样本集中的样本为已标注的样本；预测单元，用于执行预测步骤，以利用所述初始神经网络模...

【专利技术属性】
技术研发人员：沈荣波，颜克洲，田宽，江铖，周可，
申请(专利权)人：深圳市腾讯计算机系统有限公司，华中科技大学，
类型：发明
国别省市：广东,44