关键点检测模型的训练方法和检测目标对象关键点的方法技术

本公开公开了一种关键点检测模型的训练方法和检测目标对象关键点的方法，应用于电子技术领域，具体应用于增强现实和深度学习技术领域。关键点检测模型的训练方法的具体实现方案为：获取包括目标对象的训练样本，该训练样本至少包括不具有标签的第一类训练样本；基于训练样本，采用关键点检测模型获得目标对象的多个关键点的预测位置信息；基于针对训练样本的预定损失函数和预测位置信息，对关键点检测模型进行训练。其中，针对第一类训练样本的预定损失函数是基于多个关键点中相邻关键点的预测位置信息构建得到的。预测位置信息构建得到的。预测位置信息构建得到的。

【技术实现步骤摘要】
关键点检测模型的训练方法和检测目标对象关键点的方法


[0001]本公开涉及电子
，具体涉及增强现实和深度学习
，更具体地涉及一种关键点检测模型的训练方法和检测目标对象关键点的方法、装置、电子设备和存储介质。

技术介绍

[0002]目前关键点检测方法使用有标注的监督数据进行训练。为了提高检测精度，通常需要海量的监督数据，这无疑给训练带来了较大的标注成本。

技术实现思路

[0003]提供了一种降低训练成本、并保证检测精度的关键点检测模型的训练方法及检测目标对象关键点的方法、装置、电子设备和存储介质。
[0004]根据本公开的一个方面，提供了一种关键点检测模型的训练方法，该方法包括：获取包括目标对象的训练样本，该训练样本至少包括不具有标签的第一类训练样本；基于训练样本，采用关键点检测模型获得目标对象的多个关键点的预测位置信息；以及基于针对训练样本的预定损失函数和预测位置信息，对关键点检测模型进行训练，其中，针对第一类训练样本的预定损失函数是基于多个关键点中相邻关键点的预测位置信息构建得到的。
[0005]根据本公开的另一个方面，提供了一种检测目标对象关键点的方法，包括：获取包括目标对象的待处理图像；以及采用关键点检测模型，获得待处理图像中目标对象的关键点的位置信息。其中，关键点检测模型采用前述的关键点检测模型的训练方法训练得到。
[0006]根据本公开的另一个方面，提供了一种关键点检测模型的训练装置，该装置包括：样本获取模块，用于获取包括目标对象的训练样本，该训练样本至少包括不具有标签的第一类训练样本；预测信息获得模块，用于基于训练样本，采用关键点检测模型获得目标对象的多个关键点的预测位置信息；以及模型训练模块，用于基于针对训练样本的预定损失函数和预测位置信息，对关键点检测模型进行训练，其中，针对第一类训练样本的预定损失函数是基于多个关键点中相邻关键点的预测位置信息构建得到的。
[0007]根据本公开的另一个方面，提供了一种检测目标对象关键点的装置，该装置包括：图像获取模块，用于获取包括目标对象的待处理图像；以及位置信息确定模块，用于采用关键点检测模型，获得待处理图像中目标对象的关键点的位置信息。其中，关键点检测模型采用前述的关键点检测模型的训练装置训练得到。
[0008]根据本公开的另一个方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提供的关键点检测模型的训练方法和/或检测目标对象关键点的方法。
[0009]根据本公开的另一个方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提供的关键点检测模型的训练方法和/
或检测目标对象关键点的方法。
[0010]根据本公开的另一个方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开提供的关键点检测模型的训练方法和/或检测目标对象关键点的方法。
[0011]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0012]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0013]图1是根据本公开实施例的关键点检测模型的训练方法和检测目标对象关键点的方法的应用场景示意图；
[0014]图2是根据本公开实施例的关键点检测模型的训练方法的流程图；
[0015]图3是根据本公开另一实施例的关键点检测模型的训练方法的流程图；
[0016]图4是根据本公开实施例的确定针对第一类训练样本的预定损失函数的取值的原理示意图；
[0017]图5是根据本公开实施例的检测目标对象关键点的方法的流程图；
[0018]图6是根据本公开实施例的关键点检测模型的训练装置的结构框图；
[0019]图7是根据本公开实施例的检测目标对象关键点的装置的结构框图；以及
[0020]图8是用来实现本公开实施例的关键点检测模型的训练方法和/或检测目标对象关键点的方法的电子设备的框图。
具体实施方式
[0021]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0022]本公开提供了一种关键点检测模型的训练方法，包括样本获取阶段、预测信息获得阶段和模型训练阶段。在样本获取阶段，获取包括目标对象的训练样本，该训练样本至少包括不具有标签的第一类训练样本。在预测信息获得阶段，基于训练样本，采用关键点检测模型获得目标对象的多个关键点的预测位置信息。在模型训练阶段，基于针对训练样本的预定损失函数和预测位置信息，对关键点检测模型进行训练。其中，针对第一类训练样本的预定损失函数是基于多个关键点中相邻关键点的预测位置信息构建得到的。
[0023]以下将结合图1对本公开提供的方法和装置的应用场景进行描述。
[0024]图1是根据本公开实施例的关键点检测模型的训练方法和检测目标对象关键点的方法的应用场景示意图。
[0025]如图1所示，该应用场景100包括终端设备110，该终端设备可以为具有处理功能的任意电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机和服务器等等。
[0026]该终端设备110例如可以对输入的图像120进行目标对象的检测，并对检测得到的
目标对象进行关键点的标注，从而实现对目标对象的识别。其中，该终端设备110例如可以采用关键点检测模型来对目标对象的关键点进行标注，获得该目标对象的关键点的位置信息130。
[0027]示例性地，关键点检测模型例如可以基于回归法或基于高斯热图法构建的模型。其中，回归法通过回归的方法直接输出目标对象的关键点的坐标，该方法适于检测有明显纹理特征的点。高斯热图法的原理为将点的位置信息编码成高斯平滑的峰值点。该高斯热图法适于拟合非刚体的点。
[0028]根据本公开的实施例，如图1所示，该应用场景100例如还可以包括服务器140。终端设备110可以通过网络与服务器140通信连接，网络可以包括有线或无线通信链路。
[0029]示例性地，服务器140可以用于训练关键点检测模型，并响应于终端设备110发送的模型获取请求，将训练好的关键点检测模型150发送给终端设备110，便于终端设备110对输入的图像进行目标对象的检测。
[0030]示例性地，服务器例如可以是提供各种服务的服务器，例如可以为对终端设备110上运行的应用程序提供支持的后台管理服务器。该服务器可以是云服务器，也可以为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种关键点检测模型的训练方法，包括：获取包括目标对象的训练样本，所述训练样本至少包括不具有标签的第一类训练样本；基于所述训练样本，采用关键点检测模型获得所述目标对象的多个关键点的预测位置信息；以及基于针对所述训练样本的预定损失函数和所述预测位置信息，对所述关键点检测模型进行训练，其中，针对所述第一类训练样本的预定损失函数是基于多个关键点中相邻关键点的预测位置信息构建得到的。2.根据权利要求1所述的方法，其中，对所述关键点检测模型进行训练包括：基于所述多个关键点的预测位置信息，确定所述预定损失函数的取值；以及根据所述预定损失函数的取值，对所述关键点检测模型进行训练。3.根据权利要求2所述的方法，其中，在所述训练样本为第一类训练样本的情况下，确定所述预定损失函数的取值包括：确定所述多个关键点中相邻的任意两个关键点之间的连线，作为目标连线；基于所述多个关键点中相邻的任意三个关键点的预测位置信息，确定所述任意三个关键点之间的两条目标连线的差异；以及根据所述差异，确定所述预定损失函数的取值。4.根据权利要求3所述的方法，其中，确定所述任意三个关键点之间的两条目标连线的差异包括以下至少之一：确定所述两条目标连线的长度的差值；确定所述两条目标连线之间的夹角值。5.根据权利要求4所述的方法，其中，针对所述第一类训练样本的预定损失函数采用以下公式表示：其中，n为所述多个关键点的个数，p
i
为所述多个关键点中的第i个关键点，p
i
‑1为所述多个关键点中的第(i
‑
1)个关键点，p
i+1
为所述多个关键点中的第(i+1)个关键点，D(p
i
‑1，p
i
)为第(i
‑
1)个关键点与第i个关键点之间的目标连线的长度，D(p
i
，p
i+1
)为第i个关键点与第(i+1)个关键点之间的目标连线的长度，V(p
i
‑1，p
i
)为第(i
‑
1)个关键点与第i个关键点之间的目标连线相对于预定轴的转动角度，V(p
i
，p
i+1
)为第i个关键点与第(i+1)个关键点之间的目标连线相对于预定轴的转动角度，其中，在i＝1时，i
‑
1被赋值为n，在i＝n时，i+1被赋值为1。6.根据权利要求1～5中任一项所述的方法，其中，所述训练样本还包括具有标签的第二类训练样本，所述标签指示所述目标对象中多个关键点的位置信息；所述方法还包括：根据所述训练样本的类型，确定针对所述训练样本的预定损失函数。7.根据权利要求6所述的方法，其中，在所述训练样本为所述第二类训练样本的情况下，对所述关键点检测模型进行训练包括：
基于针对所述训练样本的预定损失函数、所述多个关键点的预测位置信息和所述标签指示的位置信息，对所述关键点检测模型进行训练。8.根据权利要求6或7所述的方法，其中，在所述训练样本为所述第二类训练样本的情况下，针对所述训练样本的预定损失函数包括以下任意一个：平均绝对误差、均方误差损失、平滑平方绝对误差。9.一种检测目标对象关键点的方法，包括：获取包括目标对象的待处理图像；以及采用关键点检测模型获得所述待处理图像中目标对象的关键点的位置信息，其中，所述关键点检测模型采用权利要求1～8中任一项所述的方法训练得到。10.一种关键点检测模型的训练装置，包括：样本获取模块，用于获取包括目标对象的训练样本，所述训练样本至少包括不具有标签的第一类训练样本；预测信息获得模块，用于基于所述训练样本，采用关键点检测模型获得所述目标对象的多个关键点的预测位置信息；以及模型训练模块，用于基于针对所述训练样本的预定损失函数和所述预测位置信息，对所述关键点检测模型进行训练，其中，针对所...

【专利技术属性】
技术研发人员：宫延河，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：