手部关键点识别方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及手部关键点识别技术领域，公开了一种手部关键点识别方法、装置、设备及存储介质。手部关键点识别方法包括：获取上一帧图像的第一坐标与第二坐标；基于所述第一坐标与所述第二坐标，对当前帧图像进行点位对齐处理，得到对齐图像；基于所述对齐图像，获取手部坐标，并基于所述手部坐标截取得到待分析图像；使用预置手部关键点模型对所述待分析图像进行检测，得到第一关键点坐标与图像分数；基于所述图像分数，判断所述待分析图像是否为手部图像。本发明专利技术基于上一帧图像的手部关键点进行识别，提高手部跟踪精度，降低计算量与识别耗时。耗时。耗时。

【技术实现步骤摘要】
手部关键点识别方法、装置、设备及存储介质


[0001]本专利技术涉及手部关键点识别领域，尤其涉及一种手部关键点识别方法、装置、设备及存储介质。

技术介绍

[0002]随着人工智能技术的不断成熟，越来越多的应用场景开始支持人机交互，而手势交互则是一种常见的人机交互方式，因而手势识别逐渐成为研究热点，其在自动驾驶、游戏控制、机器人设计、智能教学仪器等场景有广泛的应用。手势识别的重点在于手部关键点识别，通过预训练的手部关键点识别模型识别出手部关键点的坐标后即可确认手势。
[0003]由于手部关键点动作幅度较大，在实时动态场景下，在手部运动过程中会伴随运动模糊，从而导致手部关键点算法在技术落地应用中准确性不高，鲁棒性不强。为了提高识别精度，目前通常的做法是实时开启手部位置检测模型，先通过手部位置检测模型获取手部精确位置，然后再使用手部关键点识别模型对手部位置进行关键点识别，这样增加了模型开销，而移动端设备计算能力有限，该方法对于移动端应用很不友好。

技术实现思路

[0004]本专利技术的主要目的在于提供一种手部关键点识别方法、装置、设备及存储介质，旨在解决现有技术中手部关键点识别方法计算量大的技术问题。
[0005]本专利技术第一方面提供了一种手部关键点识别方法，包括：
[0006]S1、获取上一帧图像的第一坐标与第二坐标；
[0007]S2、基于所述第一坐标与所述第二坐标，对当前帧图像进行点位对齐处理，得到对齐图像；
[0008]S3、基于所述对齐图像，获取手部坐标，并基于所述手部坐标截取得到待分析图像；
[0009]S4、使用预置手部关键点模型对所述待分析图像进行检测，得到第一关键点坐标与图像分数；
[0010]S5、基于所述图像分数，判断所述待分析图像是否为手部图像。
[0011]可选的，在本专利技术第一方面的第一种实现方式中，所述手部关键点识别方法还包括：
[0012]当所述当前帧图像为第一帧图像时，使用预置肢体关键点模型对所述当前帧图像进行检测，得到所述当前帧图像的第一坐标与第二坐标。
[0013]可选的，在本专利技术第一方面的第二种实现方式中，在所述基于所述图像分数，判断所述待分析图像是否为手部图像之后，还包括：
[0014]若所述待分析图像不是手部图像，则使用所述预置肢体关键点模型对所述当前帧图像进行检测，得到所述当前帧图像的第一坐标与第二坐标，并重复执行步骤S2
‑
S5。
[0015]可选的，在本专利技术第一方面的第三种实现方式中，在所述基于所述图像分数，判断
所述待分析图像是否为手部图像之后，还包括：
[0016]若所述待分析图像是手部图像，则基于所述第一关键点坐标，获取手部在所述当前帧图像上的第二关键点坐标。
[0017]可选的，在本专利技术第一方面的第四种实现方式中，所述基于所述第一坐标与所述第二坐标，对当前帧图像进行点位对齐处理，得到对齐图像包括：
[0018]获取第一坐标点与第二坐标点的连线与垂直方向的夹角；
[0019]计算所述第一坐标与所述第二坐标的中心点坐标；
[0020]基于所述夹角与所述中心点坐标构建旋转矩阵；
[0021]基于所述旋转矩阵与所述当前帧图像，计算得到所述对齐图像；
[0022]其中，所述旋转矩阵如下：
[0023][0024]其中，M表示旋转矩阵，θ表示第一坐标点与第二坐标点的连线与垂直方向的夹角，c
x
表示中心点的横坐标，c
y
表示中心点的纵坐标。
[0025]可选的，在本专利技术第一方面的第五种实现方式中，手部关键点共有21个点，20个关节，所述预置手部关键点模型的关节长度约束损失函数如下：
[0026][0027]其中，E
len
表示关节长度约束损失函数，T表示关节树，j[0]表示第j个关节中的第一个手部关键点，j[1]表示第j个关节中的第二个手部关键点，pre
j[0]表示模型预测关键点j[0]的坐标，pre
j[1]表示模型预测关键点j[1]的坐标，gt
j[0]表示手部关键点j[0]的实际坐标，gt
j[1]表示手部关键点j[1]的实际坐标。
[0028]可选的，在本专利技术第一方面的第六种实现方式中，所述预置手部关键点模型的关节预先相似性损失函数如下：
[0029][0030]其中，V表示关节向量，v
i
表示M[i]1‑
M[i]0，M表示与所述关节树对应的向量列表。
[0031]本专利技术第二方面提供了一种手部关键点识别装置，包括：
[0032]获取模块，用于获取上一帧图像的第一坐标与第二坐标；
[0033]对齐模块，用于基于所述第一坐标与所述第二坐标，对当前帧图像进行点位对齐处理，得到对齐图像；
[0034]截图模块，用于基于所述对齐图像，获取手部坐标，并基于所述手部坐标截取得到待分析图像；
[0035]手部检测模块，用于使用预置手部关键点模型对所述待分析图像进行检测，得到第一关键点坐标与图像分数；
[0036]判断模块，用于基于所述图像分数，判断所述待分析图像是否为手部图像。
[0037]可选的，在本专利技术第二方面的第一种实现方式中，所述手部关键点识别装置还包括：
[0038]肢体检测模块，用于当所述当前帧图像为第一帧图像时，使用预置肢体关键点模型对所述当前帧图像进行检测，得到所述当前帧图像的第一坐标与第二坐标。
[0039]可选的，在本专利技术第二方面的第二种实现方式中，所述肢体检测模块还用于：
[0040]若所述待分析图像不是手部图像，则使用所述预置肢体关键点模型对所述当前帧图像进行检测，得到所述当前帧图像的第一坐标与第二坐标，并将所述第一坐标与所述第二坐标输入获取模块。
[0041]可选的，在本专利技术第二方面的第三种实现方式中，所述手部关键点识别装置还包括：
[0042]计算模块，用于若所述待分析图像是手部图像，则基于所述第一关键点坐标，获取手部在所述当前帧图像上的第二关键点坐标。
[0043]可选的，在本专利技术第二方面的第四种实现方式中，所述对齐模块具体用于：
[0044]获取第一坐标点与第二坐标点的连线与垂直方向的夹角；
[0045]计算所述第一坐标与所述第二坐标的中心点坐标；
[0046]基于所述夹角与所述中心点坐标构建旋转矩阵；
[0047]基于所述旋转矩阵与所述当前帧图像，计算得到所述对齐图像；
[0048]其中，所述旋转矩阵如下：
[0049][0050]其中，M表示旋转矩阵，θ表示第一坐标点与第二坐标点的连线与垂直方向的夹角，c
x
表示中心点的横坐标，c
y
表示中心点的纵坐标。
[0051]可选的，在本专利技术第二方面的第五种实现方式中，手部关键点共有21个点，20个关节，所述预置手部关本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手部关键点识别方法，其特征在于，所述手部关键点识别方法包括：S1、获取上一帧图像的第一坐标与第二坐标；S2、基于所述第一坐标与所述第二坐标，对当前帧图像进行点位对齐处理，得到对齐图像；S3、基于所述对齐图像，获取手部坐标，并基于所述手部坐标截取得到待分析图像；S4、使用预置手部关键点模型对所述待分析图像进行检测，得到第一关键点坐标与图像分数；S5、基于所述图像分数，判断所述待分析图像是否为手部图像。2.根据权利要求1所述的手部关键点识别方法，其特征在于，所述手部关键点识别方法还包括：当所述当前帧图像为第一帧图像时，使用预置肢体关键点模型对所述当前帧图像进行检测，得到所述当前帧图像的第一坐标与第二坐标。3.根据权利要求2所述的手部关键点识别方法，其特征在于，在所述基于所述图像分数，判断所述待分析图像是否为手部图像之后，还包括：若所述待分析图像不是手部图像，则使用所述预置肢体关键点模型对所述当前帧图像进行检测，得到所述当前帧图像的第一坐标与第二坐标，并重复执行步骤S2
‑
S5。4.根据权利要求4所述的手部关键点识别方法，其特征在于，在所述基于所述图像分数，判断所述待分析图像是否为手部图像之后，还包括：若所述待分析图像是手部图像，则基于所述第一关键点坐标，获取手部在所述当前帧图像上的第二关键点坐标。5.根据权利要求1所述的手部关键点识别方法，其特征在于，所述基于所述第一坐标与所述第二坐标，对当前帧图像进行点位对齐处理，得到对齐图像包括：获取第一坐标点与第二坐标点的连线与垂直方向的夹角；计算所述第一坐标与所述第二坐标的中心点坐标；基于所述夹角与所述中心点坐标构建旋转矩阵；基于所述旋转矩阵与所述当前帧图像，计算得到所述对齐图像；其中，所述旋转矩阵如下：其中，M表示旋转矩阵，θ表示第一坐标点与第二坐标点的连线与垂直方向的夹角，c
x
表示中心点的横坐标，c
y
表示中心点的纵坐标。6.根据权利要求1所述的手部关键点识...

【专利技术属性】
技术研发人员：邓佳，谢昕虬，吉祥，黄仰光，
申请(专利权)人：深圳市即构科技有限公司，
类型：发明
国别省市：