对象关键点识别模型的生成方法及对象关键点识别方法技术

本公开关于一种对象关键点识别模型的生成方法及对象关键点识别方法，该方法包括：获取目标对象的多个原始图像以及对应的多个对象关键点；确定多个原始图像对应的预设裁剪边界点；根据预设裁剪边界点确定多个原始图像的裁剪边界；基于裁剪边界对多个原始图像进行裁剪处理，得到多个样本越界图像；从多个对象关键点中确定位于多个样本越界图像内的目标对象关键点；基于多个样本越界图像和目标对象关键点进行对象关键点识别训练，得到对象关键点识别模型。利用本公开实施例可以快速生成多个样本越界图像，提高样本越界图像的目标对象关键点的准确性，进而能够极大的提高对象关键点识别模型对于对象越界情况下的对象关键点识别精度和稳定性。别精度和稳定性。别精度和稳定性。

【技术实现步骤摘要】
对象关键点识别模型的生成方法及对象关键点识别方法


[0001]本公开涉及图像处理
，尤其涉及一种对象关键点识别模型的生成方法及对象关键点识别方法。

技术介绍

[0002]图像中的对象越界，即图像中的对象的部分区域处于图像外。对象越界的场景极其常见，在移动端AR(Augmented Reality，增强现实)特效应用例如人脸特效、手势特效和人体特效都可能存在对象越界的情况，上述效果的应用均需要在识别到对象的关键点的基础上进行。
[0003]相关技术中，为了能够实现非越界情况下的关键点识别，可以通过增加对象越界情况下的图像和对应的关键点对模型进行训练，让模型学习，以使模型可以在对象越界情况下识别出图像中的关键点。但是，对于作为样本的对象越界图像和对应的关键点，目前主要通过人工采集对象越界情况下的图像以实现越界图像的采集。而上述方法中，通过人工采集对象越界的图像需要耗费较多的人工成本和时间，其次，由于人工标注的随机性较大且存在主观意识，存在对于对象越界时人脸关键点的位置无法精准地标注的问题，会导致关键点标注的质量降低，导致关键点的准确度降低，进而会从根本上影响关键点识别模型对于非越界情况下的关键点识别精度。

技术实现思路

[0004]有鉴于上述存在的技术问题，本公开提出了一种对象关键点识别模型的生成方法及对象关键点识别方法。
[0005]根据本公开实施例的一方面，提供一种对象关键点识别模型的生成方法，包括：
[0006]获取目标对象的多个原始图像以及所述多个原始图像中所述目标对象对应的多个对象关键点；
[0007]确定所述多个原始图像对应的预设裁剪边界点，所述预设裁剪边界点为与原始图像的图像中心点之间的距离小于预设距离的点；
[0008]根据所述预设裁剪边界点，确定所述多个原始图像的裁剪边界；
[0009]基于所述裁剪边界，对所述多个原始图像进行裁剪处理，得到所述目标对象的多个样本越界图像；
[0010]从所述多个样本越界图像对应的多个对象关键点中确定位于所述多个样本越界图像内的目标对象关键点；
[0011]基于所述多个样本越界图像和所述目标对象关键点，对待训练模型进行对象关键点识别训练，得到对象关键点识别模型。
[0012]根据本公开实施例的另一方面，提供一种对象关键点识别方法，包括：
[0013]获取目标待识别图像；
[0014]将所述目标待识别图像输入根据上述的对象关键点识别模型生成方法得到的对
象关键点识别模型进行对象关键点识别处理，得到所述目标待识别图像对应的对象关键点。
[0015]根据本公开实施例的另一方面，提供一种对象关键点识别模型的生成装置，包括：
[0016]信息获取模块，用于获取目标对象的多个原始图像以及所述多个原始图像中所述目标对象对应的多个对象关键点；
[0017]预设裁剪边界点确定模块，用于确定所述多个原始图像对应的预设裁剪边界点，所述预设裁剪边界点为与所述原始图像的图像中心点之间的距离小于预设距离的点；
[0018]裁剪边界确定模块，用于根据所述预设裁剪边界点，确定所述多个原始图像的裁剪边界；
[0019]样本越界图像获取模块，用于基于所述裁剪边界，对所述多个原始图像进行裁剪处理，得到所述目标对象的多个样本越界图像；
[0020]目标对象关键点确定模块，用于从所述多个样本越界图像对应的多个对象关键点中确定位于所述多个样本越界图像内的目标对象关键点；
[0021]关键点识别模型生成模块，用于基于所述多个样本越界图像和所述目标对象关键点，对待训练模型进行对象关键点识别训练，得到对象关键点识别模型。
[0022]根据本公开实施例的另一方面，提供一种对象关键点识别装置，包括：
[0023]目标待识别图像获取模块，用于获取目标待识别图像；
[0024]对象关键点识别模块，用于将所述目标待识别图像输入根据上述的对象关键点识别模型生成方法得到的对象关键点识别模型进行对象关键点识别处理，得到所述目标待识别图像对应的对象关键点。
[0025]根据本公开实施例的另一方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现上述对象关键点识别模型的生成方法或实现上述的对象关键点识别方法。
[0026]根据本公开实施例的另一方面，提供一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行上述对象关键点识别模型的生成方法或执行上述对象关键点识别方法。
[0027]根据本公开实施例的另一方面，提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述对象关键点识别模型的生成方法或执行上述对象关键点识别方法。
[0028]本公开的实施例提供的技术方案至少带来以下有益效果：
[0029]通过预设裁剪边界点确定的裁剪边界，对多个原始图像进行裁剪处理，得到多个样本越界图像，可以快速生成多个样本越界图像，且结合多个样本越界图像，从多个原始图像对应的多个对象关键点中确定位于样本越界图像内的目标对象关键点，可以提高样本越界图像的目标对象关键点的准确性，接着，结合多个样本越界图像和目标对象关键点，对待训练模型进行对象关键点识别训练，得到对象关键点识别模型，能够极大的提高对象关键点识别模型对于对象越界情况下的对象关键点识别精度和稳定性。
[0030]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0031]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
[0032]图1是根据一示例性实施例示出的一种应用系统的示意图；
[0033]图2是根据一示例性实施例示出的一种对象关键点识别模型的生成方法的流程图；
[0034]图3是根据一示例性实施例示出的一种确定多个原始图像对应的预设裁剪边界点的方法流程图；
[0035]图4(a)(b)是根据一示例性实施例示出的一种对象关键点识别模型的生成方法中的裁剪边界示意图；
[0036]图5是根据一示例性实施例示出的一种基于裁剪边界，对多个原始图像进行裁剪处理，得到目标对象的多个样本越界图像的方法流程图；
[0037]图6是根据一示例性实施例示出的一种从第一区域和第二区域中确定遮罩区域的方法流程图；
[0038]图7是根据一示例性实施例示出的一种对象关键点识别模型的生成装置的框图；
[0039]图8是根据一示例性实施例示出的一种用于生成对象关键点识别模型或识别对象关键点的电子设备的框图；
[0040]图9是根据一示例性实施例示出的一种用于生成对象关键点识别模型或识别对象关键点的电子设备的框图。
具体实施方式
[0041]以下将参考附图详细说本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对象关键点识别模型的生成方法，其特征在于，所述方法包括：获取目标对象的多个原始图像以及所述多个原始图像中所述目标对象对应的多个对象关键点；确定所述多个原始图像对应的预设裁剪边界点，所述预设裁剪边界点为与原始图像的图像中心点之间的距离小于预设距离的点；根据所述预设裁剪边界点，确定所述多个原始图像的裁剪边界；基于所述裁剪边界，对所述多个原始图像进行裁剪处理，得到所述目标对象的多个样本越界图像；从所述多个样本越界图像对应的多个对象关键点中确定位于所述多个样本越界图像内的目标对象关键点；基于所述多个样本越界图像和所述目标对象关键点，对待训练模型进行对象关键点识别训练，得到对象关键点识别模型。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取预设裁剪边界类型；所述根据所述预设裁剪边界点，确定所述多个原始图像的裁剪边界，包括：基于所述预设裁剪边界点和所述预设裁剪边界类型，确定所述裁剪边界。3.根据权利要求1所述的方法，其特征在于，所述基于所述裁剪边界，对所述多个原始图像进行裁剪处理，得到所述目标对象的多个样本越界图像，包括：根据每个原始图像的裁剪边界，对所述每个原始图像对应的图像区域进行分割处理，得到所述每个原始图像对应的第一区域和第二区域；从所述第一区域和所述第二区域中确定遮罩区域；基于所述遮罩区域，对所述每个原始图像进行遮罩处理，得到所述每个原始图像对应的样本越界图像。4.根据权利要求3所述的方法，其特征在于，所述从所述第一区域和所述第二区域中确定遮罩区域，包括：将所述第一区域和所述第二区域中位于所述裁剪边界上侧的区域作为目标区域；若所述目标区域在对应的原始图像中的占比信息小于等于预设占比信息，将所述目标区域作为所述遮罩区域。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：若所述目标区域在对应的原始图像中的占比信息大于所述预设占比信息，将非目标区域作为所述遮罩区域，所述非目标区域为所述图像区域中除所述目标区域之外的区域。6.根据权利要求1所述的方法，其特征在于，所述多个原始图像中所述目标对象对应的多个对象关键点包括采用下述方式获取：对每个原始图像进行对象关键点识别，得到所述每个原始图像对应的多个对象关键点；所述方法还包括：基于所述每个原始图像对应的多个对象关键点，对所述每个原始图像进行主体对齐处理，得到多个对齐后的原始图像以及所述多个对齐后的原始图像对应的多个对象关键点；所述从所述多个样本越界图像对应的多个对象关键点中确定位于所述多个样本越界
图像内的目标对象关键点，包括：从所述多个对齐后的原始图像对应的多个对象关键点中确定位于所述多个样本越界图像内的目标对象关键点；所述基于所述裁剪边界，对所述多个原始图像进行裁剪处理，得到所述目标对象的多个样本越界图像，包括：基于所述裁剪边界，对所述对齐后的多个原始图像进行裁剪处理，得到所述多个样本越界图像。7.根据权利要求1所述的...

【专利技术属性】
技术研发人员：康洋，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：