本申请属于图像处理技术领域，尤其涉及一种手部关键点检测方法、装置、计算机可读存储介质及终端设备。所述方法获取待检测的目标图像；使用以手部分割掩码为监督信息的手部关键点检测模型对所述目标图像进行处理，得到所述目标图像的输出热图集合；根据所述输出热图集合确定各个手部关键点的位置。通过本申请，同时将手部分割掩码和手部关键点位置均作为对手部关键点检测模型进行训练的监督信息，基于这一模型所得到的检测结果具有较高的准确度，能够在各种实际应用场景中进行广泛应用。能够在各种实际应用场景中进行广泛应用。能够在各种实际应用场景中进行广泛应用。
【技术实现步骤摘要】
手部关键点检测方法、装置及终端设备
[0001]本申请属于图像处理
，尤其涉及一种手部关键点检测方法、装置、计算机可读存储介质及终端设备。
技术介绍
[0002]随着人工智能(Artificial Intelligence，AI)技术的快速发展，人机交互的方法得到了极大的扩展。手势交互是人机交互中应用最为广泛的方法，利用不同的手势可以传达不同指令。区分不同手势从根本上来讲是手部关节位置与角度的变化。为了更好的识别不同手势，手部关键点的准确定位起着不可忽视的作用。现有技术中已有较多的手部关键点检测方法，但这些方法的准确度较低，实用价值不高。
技术实现思路
[0003]有鉴于此，本申请实施例提供了一种手部关键点检测方法、装置、计算机可读存储介质及终端设备，以解决手部关键点检测方法准确度较低的问题。
[0004]本申请实施例的第一方面提供了一种手部关键点检测方法，可以包括：
[0005]获取待检测的目标图像；
[0006]使用以手部分割掩码为监督信息的手部关键点检测模型对所述目标图像进行处理，得到所述目标图像的输出热图集合；根据所述输出热图集合确定各个手部关键点的位置。
[0007]进一步地，所述手部关键点检测模型的训练过程包括：
[0008]获取样本图像以及所述样本图像的第一标注信息和第二标注信息；所述样本图像为对所述手部关键点检测模型进行训练的图像；所述第一标注信息为手部分割掩码的标注信息，所述第二标注信息为手部关键点位置的标注信息；
[0009]使用所述手部关键点检测模型对所述样本图像进行处理，得到所述样本图像的手部分割掩码和输出热图集合；
[0010]根据所述样本图像的手部分割掩码和所述第一标注信息计算所述手部关键点检测模型的第一训练损失；
[0011]根据所述样本图像的输出热图集合和所述第二标注信息计算所述手部关键点检测模型的第二训练损失；
[0012]根据所述第一训练损失和所述第二训练损失对所述手部关键点检测模型的模型参数进行调整。
[0013]进一步地，所述根据所述样本图像的输出热图集合和所述第二标注信息计算所述手部关键点检测模型的第二训练损失，包括：
[0014]根据所述第二标注信息生成所述样本图像的基准热图集合；
[0015]根据所述样本图像的输出热图集合和基准热图集合计算所述手部关键点检测模型的第二训练损失。
[0016]进一步地，所述根据所述样本图像的输出热图集合和基准热图集合计算所述手部关键点检测模型的第二训练损失，包括：
[0017]根据所述样本图像的输出热图集合和基准热图集合分别计算各个手部关键点的训练损失；
[0018]根据各个手部关键点的训练损失计算所述第二训练损失。
[0019]进一步地，所述根据所述样本图像的输出热图集合和基准热图集合分别计算各个手部关键点的训练损失，包括：
[0020]从所述基准热图集合中选取目标关键点对应的基准热图，并从所述输出热图集合中选取所述目标关键点对应的输出热图，所述目标关键点为任意一个手部关键点；
[0021]根据所述基准热图和所述输出热图计算所述目标关键点的训练损失。
[0022]进一步地，所述根据所述第二标注信息生成所述样本图像的基准热图集合，包括：
[0023]根据所述第二标注信息确定所述目标关键点的位置；
[0024]以所述目标关键点的位置为中心进行高斯模糊，得到所述目标关键点对应的基准热图；
[0025]将所述目标关键点对应的基准热图添加入所述基准热图集合中。
[0026]进一步地，所述根据所述输出热图集合确定各个手部关键点的位置，包括：
[0027]对于每个手部关键点，从所述输出热图集合中选取该手部关键点对应的输出热图；
[0028]确定所述输出热图中的关键点轮廓区域；
[0029]将所述关键点轮廓区域中的峰值像素点所在位置确定为该手部关键点的位置。
[0030]本申请实施例的第二方面提供了一种手部关键点检测装置，可以包括：
[0031]目标图像获取模块，用于获取待检测的目标图像；
[0032]模型处理模块，用于使用以手部分割掩码为监督信息的手部关键点检测模型对所述目标图像进行处理，得到所述目标图像的输出热图集合；关键点确定模块，用于根据所述输出热图集合确定各个手部关键点的位置。
[0033]进一步地，所述手部关键点检测装置还可以包括：
[0034]样本图像获取模块，用于获取样本图像以及所述样本图像的第一标注信息和第二标注信息；所述样本图像为对所述手部关键点检测模型进行训练的图像；所述第一标注信息为手部分割掩码的标注信息，所述第二标注信息为手部关键点位置的标注信息；
[0035]模型训练处理模块，用于使用所述手部关键点检测模型对所述样本图像进行处理，得到所述样本图像的手部分割掩码和输出热图集合；
[0036]第一训练损失计算模块，用于根据所述样本图像的手部分割掩码和所述第一标注信息计算所述手部关键点检测模型的第一训练损失；
[0037]第二训练损失计算模块，用于根据所述样本图像的输出热图集合和所述第二标注信息计算所述手部关键点检测模型的第二训练损失；
[0038]模型参数调整模块，用于根据所述第一训练损失和所述第二训练损失对所述手部关键点检测模型的模型参数进行调整。
[0039]进一步地，所述第二训练损失计算模块可以包括：
[0040]基准热图集合生成子模块，用于根据所述第二标注信息生成所述样本图像的基准
热图集合；
[0041]训练损失计算子模块，用于根据所述样本图像的输出热图集合和基准热图集合计算所述手部关键点检测模型的第二训练损失。
[0042]进一步地，所述训练损失计算子模块可以包括：
[0043]第一计算单元，用于根据所述样本图像的输出热图集合和基准热图集合分别计算各个手部关键点的训练损失；
[0044]第二计算单元，用于根据各个手部关键点的训练损失计算所述第二训练损失。
[0045]进一步地，所述第一计算单元具体用于：
[0046]从所述基准热图集合中选取目标关键点对应的基准热图，并从所述输出热图集合中选取所述目标关键点对应的输出热图，所述目标关键点为任意一个手部关键点；
[0047]根据所述基准热图和所述输出热图计算所述目标关键点的训练损失。
[0048]进一步地，所述基准热图集合生成子模块可以包括：
[0049]位置确定单元，用于根据所述第二标注信息确定所述目标关键点的位置；
[0050]高斯模糊单元，用于以所述目标关键点的位置为中心进行高斯模糊，得到所述目标关键点对应的基准热图；
[0051]热图添加单元，用于将所述目标关键点对应的基准热图添加入所述基准热图集合中。
[0052]进一步地，所述关键点确定模块可以包括：
[0053]热图选取本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种手部关键点检测方法，其特征在于，包括：获取待检测的目标图像；使用以手部分割掩码为监督信息的手部关键点检测模型对所述目标图像进行处理，得到所述目标图像的输出热图集合；根据所述输出热图集合确定各个手部关键点的位置。2.根据权利要求1所述的手部关键点检测方法，其特征在于，所述手部关键点检测模型的训练过程包括：获取样本图像以及所述样本图像的第一标注信息和第二标注信息；所述样本图像为对所述手部关键点检测模型进行训练的图像；所述第一标注信息为手部分割掩码的标注信息，所述第二标注信息为手部关键点位置的标注信息；使用所述手部关键点检测模型对所述样本图像进行处理，得到所述样本图像的手部分割掩码和输出热图集合；根据所述样本图像的手部分割掩码和所述第一标注信息计算所述手部关键点检测模型的第一训练损失；根据所述样本图像的输出热图集合和所述第二标注信息计算所述手部关键点检测模型的第二训练损失；根据所述第一训练损失和所述第二训练损失对所述手部关键点检测模型的模型参数进行调整。3.根据权利要求1所述的手部关键点检测方法，其特征在于，所述手部关键点检测模型的训练过程包括：获取样本图像以及所述样本图像的第一标注信息和第二标注信息；所述样本图像为对所述手部关键点检测模型进行训练的图像；所述第一标注信息为手部分割掩码的标注信息，所述第二标注信息为手部关键点位置的标注信息；使用所述手部关键点检测模型对所述样本图像进行处理，得到所述样本图像的手部分割掩码；根据所述样本图像的手部分割掩码和所述第一标注信息计算所述手部关键点检测模型的第一训练损失；使用所述手部关键点检测模型对所述样本图像的手部分割掩码进行处理，得到所述样本图像的输出热图集合；根据所述样本图像的输出热图集合和所述第二标注信息计算所述手部关键点检测模型的第二训练损失；根据所述第一训练损失和所述第二训练损失对所述手部关键点检测模型的模型参数进行调整。4.根据权利要求2所述的手部关键点检测方法，其特征在于，所述根据所述样本图像的输出热图集合和所述第二标注信息计算所述手部关键点检测模型的第二训练损失，包括：根据所述第二标注信息生成所述样本图像的基准热图集合；根...
【专利技术属性】
技术研发人员：郭渺辰，程骏，汤志超，邵池，钱程浩，庞建新，熊友军，
申请(专利权)人：深圳市优必选科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。