关键点检测方法、模型训练方法、装置、设备和存储介质制造方法及图纸

本发明专利技术实施例提供一种关键点检测方法、模型训练方法、装置、设备和存储介质，该方法包括：先确定目标对象的关键点在小尺寸的第一图像中的位置，根据大尺寸的第二图像和关键点在第一图像中的位置，确定目标对象的关键点对应的位置偏移量。再根据位置偏移量确定关键点在大尺寸的第二图像中的位置。可见，上述方法中，先在小尺寸的第一图像中对关键点进行初步检测，基于初步检测结果，再利用根据大尺寸的第二图像得到的位置偏移量对关键点进行精细检测，也即是实现了在大尺寸图像中关键点的精确检测。同时，由于上述方法不是直接对大尺寸的第二图像进行检测，因此，也能减小关键点检测过程的计算量，提高检测效率。提高检测效率。提高检测效率。

【技术实现步骤摘要】
关键点检测方法、模型训练方法、装置、设备和存储介质


[0001]本专利技术涉及计算机
，尤其涉及一种关键点检测方法、模型训练方法、装置、设备和存储介质。

技术介绍

[0002]自人工智能从诞生以来，随着理论和技术日益成熟，应用领域也不断扩大，比如智能安防、智能物流、图像处理等领域。在智能物流领域，可以借助人工智能技术检测包裹图像中的关键点，再根据检测出的关键点实现包裹体积的智能测量。在图像处理领域，比如可以对人脸进行美颜或者添加特效，以改善人脸在图像中的显示效果。而美颜或特效的添加也要先接着人工智能技术检测出图像中人脸的关键点。
[0003]同时，随着拍摄设备的快速发展，拍得的图像也都是大尺寸即高分辨率的图像，因此，如何在大尺寸的图像中准确检测出关键点就成为一个亟待解决的问题。

技术实现思路

[0004]有鉴于此，本专利技术实施例提供一种关键点检测方法、模型训练方法、装置、设备和存储介质，用以保证大尺寸图像关键点检测的准确性。
[0005]第一方面，本专利技术实施例提供一种关键点检测方法，包括：
[0006]在包含目标对象的第一图像中，确定所述目标对象的关键点在所述第一图像中的位置；
[0007]根据包含所述目标对象的第二图像以及所述关键点在所述第一图像中的位置，确定所述关键点对应的位置偏移量，所述第二图像的尺寸大于所述第一图像的尺寸；
[0008]根据所述位置偏移量确定所述关键点在所述第二图像中的位置。
[0009]第二方面，本专利技术实施例提供一种关键点检测装置，包括：
[0010]第一确定模块，用于在包含目标对象的第一图像中，确定所述目标对象的关键点在所述第一图像中的位置；
[0011]第二确定模块，用于根据包含所述目标对象的第二图像以及所述关键点在所述第一图像中的位置，确定所述关键点对应的位置偏移量，所述第二图像的尺寸大于所述第一图像的尺寸；
[0012]第三确定模块，用于根据所述位置偏移量确定所述关键点在所述第二图像中的位置。
[0013]第三方面，本专利技术实施例提供一种电子设备，包括处理器和存储器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第一方面中的关键点检测方法。该电子设备还可以包括通信接口，用于与其他设备或通信网络通信。
[0014]第四方面，本专利技术实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，
使所述处理器至少可以实现如第一方面所述的关键点检测方法。
[0015]第五方面，本专利技术实施例提供一种关键点检测方法，包括：
[0016]接收调用检测服务的请求，根据所述检测服务对应的处理资源执行如下步骤：
[0017]响应于拍摄操作，在包含目标对象的第一图像中，确定所述目标对象的关键点在所述第一图像中的位置；
[0018]根据包含所述目标对象的第二图像以及所述关键点在所述第一图像中的位置，确定所述关键点对应的位置偏移量，所述请求中包括所述第一图像和所述第二图像，所述第二图像的尺寸大于所述第一图像的尺寸；
[0019]根据所述位置偏移量确定所述关键点在所述第二图像中的位置；
[0020]展示标注有所述关键点的第二图像。
[0021]第六方面，本专利技术实施例提供一种关键点检测装置，包括：
[0022]接收模块，用于接收调用检测服务的请求；
[0023]执行模块，用于根据所述检测服务对应的处理资源执行如下步骤：
[0024]响应于拍摄操作，在包含目标对象的第一图像中，确定所述目标对象的关键点在所述第一图像中的位置；
[0025]根据包含所述目标对象的第二图像以及所述关键点在所述第一图像中的位置，确定所述关键点对应的位置偏移量，所述请求中包括所述第一图像和所述第二图像，所述第二图像的尺寸大于所述第一图像的尺寸；
[0026]根据所述位置偏移量确定所述关键点在所述第二图像中的位置；
[0027]展示标注有所述关键点的第二图像。
[0028]第七方面，本专利技术实施例提供一种电子设备，包括处理器和存储器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第五方面中的关键点检测方法。该电子设备还可以包括通信接口，用于与其他设备或通信网络通信。
[0029]第八方面，本专利技术实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如第五方面所述的关键点检测方法。
[0030]第九方面，本专利技术实施例提供一种模型训练方法，包括：
[0031]获取包含目标对象的第一训练样本和第二训练样本，所述第一训练样本的尺寸大于所述第二训练样本的尺寸；
[0032]将所述第一训练样本输入第一预测模型，以由所述第一预测模型输出所述目标对象的关键点在所述第一训练样本中的位置；
[0033]根据所述第一预测模型的输出结果确定所述关键点对应的参考位置偏移量；
[0034]将所述第二训练样本作为输入，将所述参考位置偏移量作为监督信息，训练第二预测模型。
[0035]第十方面，本专利技术实施例提供一种模型训练装置，包括：
[0036]获取模块，用于获取包含目标对象的第一训练样本和第二训练样本，所述第一训练样本的尺寸大于所述第二训练样本的尺寸；
[0037]输入模块，用于将所述第一训练样本输入第一预测模型，以由所述第一预测模型
输出所述目标对象的关键点在所述第一训练样本中的位置；
[0038]确定模块，用于根据所述第一预测模型的输出结果确定所述关键点对应的参考位置偏移量；
[0039]训练模块，用于将所述第二训练样本作为输入，将所述参考位置偏移量作为监督信息，训练第二预测模型。
[0040]第十一方面，本专利技术实施例提供一种电子设备，包括处理器和存储器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第九方面中的模型训练方法。该电子设备还可以包括通信接口，用于与其他设备或通信网络通信。
[0041]第十二方面，本专利技术实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如第九方面所述的模型训练方法。
[0042]第十三方面，本专利技术实施例提供一种模型训练方法，包括：
[0043]接收调用训练服务的请求，根据所述训练服务对应的处理资源执行如下步骤：
[0044]响应于用户的输入操作，获取包含目标对象的第一训练样本和第二训练样本，所述第一训练样本和所述第二训练样本包含于所述请求中，所述第一训练样本的尺寸大于所述第二训练样本的尺寸；
...

【技术保护点】

【技术特征摘要】
1.一种关键点检测方法，其特征在于，包括：在包含目标对象的第一图像中，确定所述目标对象的关键点在所述第一图像中的位置；根据包含所述目标对象的第二图像以及所述关键点在所述第一图像中的位置，确定所述关键点对应的位置偏移量，所述第二图像的尺寸大于所述第一图像的尺寸；根据所述位置偏移量确定所述关键点在所述第二图像中的位置。2.根据权利要求1所述的方法，其特征在于，所述根据包含所述目标对象的第二图像以及所述关键点在所述第一图像中的位置，确定所述关键点对应的位置偏移量，包括：根据所述第一图像和所述第二图像的尺寸关系，以及所述关键点在所述第一图像中的位置，确定所述关键点在所述第二图像中的初始位置；根据所述初始位置以及所述第二图像，确定所述关键点对应的位置偏移量；所述根据所述位置偏移量确定所述关键点在所述第二图像中的位置，包括：根据所述位置偏移量与所述初始位置确定所述关键点在所述第二图像中的目标位置。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取原始图像；在所述原始图像中，提取所述目标对象所在的图像区域；调整所述图像区域的尺寸，以得到尺寸不同的所述第一图像和所述第二图像。4.根据权利要求2所述的方法，其特征在于，所述在包含目标对象的第一图像中，确定所述目标对象的关键点在所述第一图像中的位置，包括：将所述第一图像输入第一预测模型，以由所述第一预测模型输出所述关键点在所述第一图像中的位置。5.根据权利要求4所述的方法，其特征在于，所述根据所述初始位置以及所述第二图像，确定所述关键点对应的位置偏移量，包括：将所述第二图像输入第二预测模型，以由所述第二预测模型根据所述初始位置和所述第二图像输出所述位置偏移量。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：获取包含所述目标对象的第一训练样本，所述第一训练样本与所述第二图像尺寸相同；借助所述第一预测模型，确定所述第一训练样本中所述目标对象的关键点对应的参考位置偏移量；将所述第一训练样本作为输入，将所述参考位置偏移量作为监督信息，训练所述第二预测模型。7.根据权利要求6所述的方法，其特征在于，所述方法还包括：根据所述参考位置偏移量和所述第二预测模型输出的预测位置偏移量，调整所述第二预测模型的模型参数。8.根据权利要求6所述的方法，其特征在于，所述借助所述第一预测模型，确定所述第一训练样本中所述目标对象的关键点对应的参考位置偏移量，包括：获取包含所述目标对象的第二训练样本，所述第二训练样本与所述第一图像尺寸相同；
将所述第二训练样本输入所述第一预测模型，以由所述第一预测模型输出所述关键点在所述第二训练样本中的位置；根据所述第一训练样本和所述第二训练样本的尺寸关系，以及所述关键点在所述第二训练样本中的位置，确定所述关键点在所述第一训练样本中的位置；将所述关键点在所述第一训练样本中的位置与预先标注的所述关键点在所述第一训练样本中的位置的差值，确定为所述参考位置偏移量。9.一种关键点检测方法，其特征在于，包括：接收调用检测服务的请求，根据所述检测服务对应的处理资源执行如下步骤：响应于拍摄操作，在包含目标对象的第一图像中，确定所述目标对象的关键点在所述第一图像中的位置；根据包含所述目标对象的第二图像以及所述关键点在所述第一图像中的位置，确定所述关键点对应的位置偏移量，所述请求中包括所述第一图像和所述第二图像，所述第二图像的尺寸大于所述第一图像的尺寸；根据所述位置偏移量确定所述关键点在所述第二图像中的位置；展示标注有所述关键点的第二图像。10.一种模型训练方法，其特征在于，包括：获取包含目标对象的第一训练样本和第二训练样本，所述第一训练样本的尺寸大于所述第二训练样本的尺寸；将所述第一训练样本输入第一预测模型，以由所述第一预测模型输出所述目标对象的关键点在所述第一训练样本中的位置；根据所述第一预测模型的输出结果确定所述关键点对应的参考位置偏移量；将所述第二训练样本作为输入，将所述参考位置偏移量作为监督信息，训练第二预测模型。11.根据权利要求10所述的方法，其特征在于，所述方法还包括：根据所述参考位置偏移量和所述第二预测模型输出的预测位置偏移量，调整所述第二预测模型的模型参数。12.根据权利要求10所述的方法，其特征在于，所述根据所述第一预测模型的输出结果确定所述关键点对应的参考位置偏移量，包括：根据所述第一训练样本和所述第二训练样本的尺寸关系，以及所述第一预测模型的输出结果，确定所述关键点在所述第二训练样本中的位置；将所述关键点在所述第二训练样本中的位置和预先标注的所述关键点在所述第二训练样本中的位置的差值，确定为所述参考位置偏移量。13.根据权利要求10所述的方法，其特征在于，所述方法还包括：获取原始训练样本；在所述原始训练样本中，提取所述目标对象所在的图像区域；调整所述图像区域的尺寸，以得到具有不同尺寸的所述第一训练样本和所...

【专利技术属性】
技术研发人员：王建国，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：