深度学习模型的训练方法、图像生成方法及装置制造方法及图纸

本公开提供了深度学习模型的训练方法、图像生成方法及装置，涉及人工智能技术领域，尤其涉及计算机视觉、深度学习等技术领域。该深度学习模型的训练方法的具体实现方案为：对第一图像和第二图像分别进行目标点检测，得到第一目标点分布图和第二目标点分布图，其中，目标点表征用于标识图像的目标对象的姿态和轮廓的像素点，第一图像是对初始模型进行第n轮次训练时生成的，第二图像是对初始模型进行第n+1轮次训练时生成的，n为大于1的整数；对第一目标点分布图和第二目标点分布图进行处理，得到第一图像与第二图像的差异度；以及响应于确定差异度小于等于第一预定阈值，得到经训练的深度学习模型。深度学习模型。深度学习模型。

【技术实现步骤摘要】
深度学习模型的训练方法、图像生成方法及装置


[0001]本公开涉及人工智能
，尤其涉及计算机视觉、深度学习等
具体涉及一种深度学习模型的训练方法、图像生成方法及装置。

技术介绍

[0002]随着人工智能技术在图像处理领域技术的深入应用，利用深度学习模型处理的样本数据的复杂程度也越来越高。相应地，为了提高训练集的样本数据在迭代训练中的数据拟合能力，深度学习模型的复杂程度也会越来越高，以至于将样本数据中的非一般性特征学习到模型中，出现过拟合现象。

技术实现思路

[0003]本公开提供了一种深度学习模型的训练方法、图像生成方法及装置。
[0004]根据本公开的一方面，提供了一种深度学习模型的训练方法，包括：对第一图像和第二图像分别进行目标点检测，得到第一目标点分布图和第二目标点分布图，其中，目标点表征用于标识图像的目标对象的姿态和轮廓的像素点，第一图像是对初始模型进行第n轮次训练时生成的，第二图像是对初始模型进行第n+1轮次训练时生成的，n为大于1的整数；对第一目标点分布图和第二目标点分布图进行处理，得到第一图像与第二图像的差异度；以及响应于确定差异度小于等于第一预定阈值，得到经训练的深度学习模型。
[0005]根据本公开的另一方面，提供了一种图像生成方法，包括：获取待处理数据，其中，待处理数据包括以下至少之一：待处理文本、待处理图像；以及利用深度学习模型对待处理数据进行处理，生成目标图像，其中，深度学习模型是利用上述训练方法训练得到的。
[0006]根据本公开的另一方面，提供了一种深度学习模型的训练装置，包括：检测模块、处理模块和训练模块。检测模块，用于对第一图像和第二图像分别进行目标点检测，得到第一目标点分布图和第二目标点分布图，其中，目标点表征用于标识图像的目标对象的姿态和轮廓的像素点，第一图像是对初始模型进行第n轮次训练时生成的，第二图像是对初始模型进行第n+1轮次训练时生成的，n为大于1的整数。处理模块，用于对第一目标点分布图和第二目标点分布图进行处理，得到第一图像与第二图像的差异度。训练模块，用于响应于确定差异度小于等于第一预定阈值，得到经训练的深度学习模型。
[0007]根据本公开的另一方面，提供了一种图像生成装置，包括：获取模块和生成模块。获取模块，用于获取待处理数据，其中，待处理数据包括以下至少之一：待处理文本、待处理图像。生成模块，用于利用深度学习模型对待处理数据进行处理，生成目标图像，其中，深度学习模型是利用上述训练方法训练得到的。
[0008]根据本公开的另一方面，提供了一种芯片，包括前文描述的深度学习模型的训练装置或图像生成装置。
[0009]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，上述存储器存储有可被上述至少一个处理器
执行的指令，上述指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行如上的方法。
[0010]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，上述计算机指令用于使上述计算机执行如上的方法。
[0011]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，上述计算机程序在被处理器执行时实现如上的方法。
[0012]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0013]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0014]图1示意性示出了根据本公开实施例的可以应用深度学习模型的训练方法、图像生成方法及装置的示例性系统架构；
[0015]图2示意性示出了根据本公开实施例的深度学习模型的训练方法的流程图；
[0016]图3示意性示出了根据本公开实施例的对第一图像和第二图像进行处理得到离散度差异的示意图；
[0017]图4示意性示出了根据本公开实施例的对第一图像和第二图像进行处理得到特征差异的示意图；
[0018]图5示意性示出了根据本公开实施例的图像生成方法的流程图；
[0019]图6示意性示出了根据本公开实施例的深度学习模型的训练装置的框图；
[0020]图7示意性示出了根据本公开实施例的图像生成装置的框图；以及
[0021]图8示意性示出了根据本公开实施例的适于实现深度学习模型的训练方法或图像生成方法的电子设备的框图。
具体实施方式
[0022]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0023]在深度学习模型的训练中，过拟合的现象普遍存在。相关技术中一般采用正则化方法以启发式的代价函数、样本数据增强、标签平滑等方法，抑制模型的过拟合现象。
[0024]但是，在图像处理场景中涉及到的深度学习模型，例如：目标检测模型、图文模型等，这些模型的样本数据的复杂程度较高，上述抑制模型过拟合的方法在这些模型中的应用效果较差。
[0025]有鉴于此，本公开实施例提供了一种深度学习模型的训练方法：首先对相邻两个训练轮次的深度学习模型生成的图像进行目标点检测，得到第一目标点分布图和第二目标点分布图。然后，对第一目标点分布图和第二目标点分布图进行处理，得到第一图像与第二图像的差异度，基于该差异度确定深度学习模型的训练终点。由于相邻两个训练轮次生成的图像的目标点表征图像的目标对象的姿态和轮廓的关键像素点特征，因此，目标点分布
图之间的差异度，可以反映出目标对象在相邻两个训练轮次中生成的图像中的稳定性。当差异度小于等于第一预定阈值时，表示深度学习模型已经可以生成目标对象的关键像素点特征相对稳定地图像，满足训练需求的同时，可以有效防止过拟合的现象，从而提高了深度学习模型的稳定性和训练效率。
[0026]图1示意性示出了根据本公开实施例的可以应用深度学习模型的训练方法、图像生成方法及装置的示例性系统架构。
[0027]需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的
技术实现思路
，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。例如，在另一实施例中，可以应用深度学习模型的训练方法、图像生成方法及装置的示例性系统架构可以包括终端设备，但终端设备可以无需与服务器进行交互，即可实现本公开实施例提供的深度学习模型的训练方法、图像生成方法及装置。
[0028]如图1所示，根据该实施例的系统架构100可以包括第一终端设备101、第二终端设备102、第三终端设备103，网络104和服务器105。网络104用以在第一终端设备101、第二终端设备10本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度学习模型的训练方法，包括：对第一图像和第二图像分别进行目标点检测，得到第一目标点分布图和第二目标点分布图，其中，所述目标点表征用于标识图像的目标对象的姿态和轮廓的像素点，所述第一图像是对初始模型进行第n轮次训练时生成的，所述第二图像是对所述初始模型进行第n+1轮次训练时生成的，n为大于1的整数；对所述第一目标点分布图和所述第二目标点分布图进行处理，得到所述第一图像与所述第二图像的差异度；以及响应于确定所述差异度小于等于第一预定阈值，得到经训练的深度学习模型。2.根据权利要求1所述的方法，其中，所述第一目标点分布图包括：第一关键点分布图和第一边缘点分布图；所述第二目标点分布图包括：第二关键点分布图和第二边缘点分布图；所述对所述第一目标点分布图和所述第二目标点分布图进行处理，得到所述第一图像与所述第二图像的差异度，包括：对所述第一关键点分布图和所述第二关键点分布图进行处理，得到关键点的离散度差异，其中，所述关键点表征用于标识所述目标对象的姿态的像素点；对所述第一边缘点分布图和所述第二边缘点分布图进行处理，得到边缘点的特征差异，其中，所述边缘点表征用于表征所述目标对象的轮廓的像素点；以及根据所述关键点的离散度差异和所述边缘点的特征差异，得到所述差异度。3.根据权利要求2所述的方法，其中，所述对所述第一边缘点分布图和所述第二边缘点分布图进行处理，得到边缘点的特征差异，包括：分别对所述第一边缘点分布图、所述第二边缘点分布图进行处理，得到第一边缘点的分布特征和第二边缘点的分布特征；在确定所述第一边缘点的分布特征与所述第二边缘点的分布特征的相似度小于等于第二预定阈值的情况下，分别对所述第一边缘点、所述第二边缘点进行聚类，得到第一边缘实体对象和第二边缘实体对象；以及对所述第一边缘实体对象和所述第二边缘实体对象进行处理，得到特征差异。4.根据权利要求3所述的方法，其中，所述分别对所述第一边缘点分布图、所述第二边缘点分布图进行处理，得到第一边缘点的分布特征和第二边缘点的分布特征，包括：对所述第一边缘点分布图进行区域划分，得到多个第一边缘点区域和所述多个第一边缘点区域内的边缘点数量；对所述多个第一边缘点区域内的边缘点数量进行拟合，得到所述第一边缘点的分布特征；对所述第二边缘点分布图进行区域划分，得到多个第二边缘点区域和所述多个第二边缘点区域内的边缘点数量；以及对所述多个第二边缘点区域内的边缘点数量进行拟合，得到所述第二边缘点的分布特征。5.根据权利要求3所述的方法，其中，所述对所述第一边缘实体对象和所述第二边缘实体对象进行处理，得到特征差异，包括：提取所述第一边缘实体对象的第一边缘点特征，其中，所述第一边缘点特征包括所述第一边缘实体对象的边缘点的颜色特征和位置特征；
提取所述第二边缘实体对象的第二边缘点特征，其中，所述第二边缘点特征包括所述第二边缘实体对象的边缘点的颜色特征和位置特征；以及基于相似度函数，对所述第一边缘点特征和所述第二边缘点特征进行处理，得到所述特征差异。6.根据权利要求2所述的方法，其中，所述对所述第一关键点分布图和所述第二关键点分布图进行处理，得到关键点的离散度差异，包括：对所述第一关键点分布图进行处理，得到第一关键点的离散程度；对所述第二关键点分布图进行处理，得到第二关键点的离散程度；以及根据所述第一关键点的离散程度和所述第二关键点的离散程度，得到所述关键点的离散程度差异。7.根据权利要求6所述的方法，其中，所述对所述第一关键点分布图进行处理，得到第一关键点的离散程度，包括：对所述第一关键点分布图进行栅格化处理，得到多个第一栅格区域和所述多个第一栅格区域内的关键点数量；以及根据所述多个第一栅格区域内的关键点数量，得到第一关键点的离散程度。8.根据权利要求6所述的方法，其中，所述对所述第二关键点分布图进行处理，得到第二关键点的离散程度，包括：对所述第二关键点分布图进行栅格化处理，得到多个第二栅格区域和所述多个第二栅格区域内的关键点数量；以及根据所述多个第二栅格区域内的关键点数量，得到第二关键点的离散程度。9.根据权利要求2所述的方法，其中，所述根据所述关键点的离散度差异和所述边缘点的特征差异，得到所述差异度，包括：确定离散度差异的第一权重和特征差异的第二权重；以及根据所述离散度差异、所述第一权重、所述特征差异和所述第二权重，得到所述差异度。10.根据权利要求1所述的方法，其中，所述对第一图像和第二图像分别进行目标点检测，得到第一目标点分布图和第二目标点分布图，包括：分别对所述第一图像、所述第二图像进行关键点检测，得到第一关键点分布图和第二关键点分布图；以及分别对所述第一图像、所述第二图像进行边缘点检测，得到第一边缘点分布图和第二边缘点分布图。11.一种图像生成方法，包括：获取待处理数据，其中，所述待处理数据包括以下至少之一：待处理文本、待处理图像；以及利用深度学习模型对所述待处理数据进行处理，生成目标图像，其中，所述深度学习模型是利用权利要求1～10任一项所述的训练方法训练得到的。12.一种深度学习模型的训练装置，包括：检测模块，用于对第一图像和第二图像分别进行目标点检测，得到第一目标点分布图和第二目标点分布图，其中，所述目标点表征用于标识图像的目标对象的姿态和轮廓的像
素点，所述第一图像是对初始模型进行第n轮次训练时生成的，所述第二图像是对所述初始模型进行第n+1轮次训练时生成的，n为大于1的整数；处理模块，用...

【专利技术属性】
技术研发人员：孟庆春，欧阳剑，
申请(专利权)人：昆仑芯北京科技有限公司，
类型：发明
国别省市：