手势姿态识别关键帧提取方法、装置及可读存储介质制造方法及图纸

本发明专利技术公开了一种手势姿态识别关键帧提取方法、装置及可读存储介质，该方法包括：通过训练好的手部检测深度学习模型对目标图像进行手部目标检测，以得到手部区域最小外接矩形的图形信息；进行手部区域分割，以得到只有手部的中间图像；计算第一时刻内各帧中间图像的熵值以及第二时刻内各帧中间图像的熵值；将第一时刻对应的熵值最大的中间图像二值化，以得到第一二值化图像，以及将第二时刻对应的熵值最大的中间图像二值化，以得到第二二值化图像，并计算所述第一二值化图像和所述第二二值化图像的手部重叠率；根据手部重叠率确定关键帧的提取。本发明专利技术能够解决现有技术不能提取较清晰的图像作为预测的关键帧的问题。

【技术实现步骤摘要】
手势姿态识别关键帧提取方法、装置及可读存储介质
本专利技术涉及计算机
，特别是涉及一种手势姿态识别关键帧提取方法、装置及可读存储介质。
技术介绍
手势识别是人机交互的重要手段，在VR（VirtualReality，虚拟现实技术）人机交互中，用户可以通过虚拟手势识别，进行音量大小的调节或者其他虚拟移动按键的控制。由于硬件处理速度和产品体验要求，手势姿态估计需要满足实时性要求，因此，并不是视频流中所有的图像都做3D手势姿态识别，而是抽取部分关键帧进行识别，现有的解决方案主要有固定时间提取图像帧、随机抽样或者提供帧差法提取等，这些方法不能提取较清晰的图像作为预测的关键帧，模糊图像直接影响到3D手势姿态识别的准确性。
技术实现思路
为此，本专利技术的一个目的在于提出一种手势姿态识别关键帧提取方法，以解决现有技术不能提取较清晰的图像作为预测的关键帧的问题。本专利技术提供一种手势姿态识别关键帧提取方法，所述方法包括：通过训练好的手部检测深度学习模型对目标图像进行手部目标检测，以得到手部区域最小外接矩形的图形信息；根据所述手部区域最小外接矩形的图形信息，并通过皮肤检测算法，结合深度图，进行手部区域分割，以得到只有手部的中间图像；计算第一时刻内各帧中间图像的熵值，以获取第一时刻对应的熵值最大的中间图像，以及计算第二时刻内各帧中间图像的熵值，以获取第二时刻对应的熵值最大的中间图像，所述第一时刻与所述第二时刻为相邻的时刻；将所述第一时刻对应的熵值最大的中间图像二值化，以得到第一二值化图像，以及将所述第二时刻对应的熵值最大的中间图像二值化，以得到第二二值化图像，并计算所述第一二值化图像和所述第二二值化图像的手部重叠率；若所述第一二值化图像和所述第二二值化图像的手部重叠率大于重叠度阈值，则丢弃所述第二时刻的关键帧，保留所述第一时刻的关键帧；若所述第一二值化图像和所述第二二值化图像的手部重叠率小于或等于重叠度阈值，则提取所述第二时刻的关键帧。根据本专利技术提供的手势姿态识别关键帧提取方法，具有以下有益效果：（1）通过熵值计算，提取某一时间段内一帧清晰图像并且将重叠度高的帧丢弃，减少模型推理时间，提高手势识别实时性，增强客户体验效果；（2）通过手部区域的熵值计算，在一个时间段内选择熵值最大的图像，图像熵能衡量图像的清晰度及其信息的丰富度，熵值越大说明手部越清晰，清晰的手部能够提升动态手势识别的准确性；（3）本专利技术将手部皮肤检测和深度图像相结合，比仅仅通过皮肤检测能更准确的提取手部区域，抗干扰性更强。另外，根据本专利技术上述的手势姿态识别关键帧提取方法，还可以具有如下附加的技术特征：进一步地，通过训练好的手部检测深度学习模型对目标图像进行手部目标检测，以得到手部区域最小外接矩形的图形信息的步骤具体包括：获取RGB摄像头采集到的含有手部的RGB图像；将所述RGB图像输入到已经训练好的所述手部检测深度学习模型中进行手部目标检测；根据所述手部目标检测的检测结果，得到手部区域最小外接矩形的图形信息，所述图形信息包括最小外接矩形左上角顶点坐标、矩形的宽和高。进一步地，根据所述手部区域最小外接矩形的图形信息，并通过皮肤检测算法，结合深度图，进行手部区域分割，以得到只有手部的中间图像的步骤具体包括：根据所述手部区域最小外接矩形的图形信息，将所述手部区域最小外接矩形之外的像素值全部置为0，所述手部区域最小外接矩形内部的像素值不变，以得到去背景后的RGB图像；将所述去背景后的RGB图像转换到YCrCb空间，通过椭圆皮肤检测方法，对最小外接矩形内的皮肤进行检测，得到手部皮肤区域，并结合对应的深度图，计算所述手部皮肤区域的平均深度值dv；将深度值小于dv-thrd或者大于dv+thrd的像素点去背景，得到只有手部的中间图像，其中，thrd表示深度阈值。进一步地，计算第一时刻内各帧中间图像的熵值，以获取第一时刻对应的熵值最大的中间图像的步骤具体包括：对于第一时刻内的任一帧中间图像，先将中间图像灰度化，然后采用下式计算中间图像的熵值：其中，H表示中间图像的熵值，pi表示灰度化后的中间图像中像素的灰度值为i的概率，i的取值范围为0~255，Mi表示灰度化后的中间图像中像素的灰度值为i的数量，Mpix表示灰度化后的中间图像中像素的总数。进一步地，计算所述第一二值化图像和所述第二二值化图像的手部重叠率的步骤中，采用下式计算手部重叠率：其中，IOU表示第一二值化图像和所述第二二值化图像的手部重叠率，area(binary_t_1)表示所述第一二值化图像中像素值为255的像素面积，area(binary_t)表示所述第二二值化图像中像素值为255的像素面积，∩表示交集运算，∪表示并集运算。本专利技术的另一个目的在于提出一种手势姿态识别关键帧提取装置，以解决现有技术不能提取较清晰的图像作为预测的关键帧的问题。本专利技术提供一种手势姿态识别关键帧提取装置，包括：检测模块，用于通过训练好的手部检测深度学习模型对目标图像进行手部目标检测，以得到手部区域最小外接矩形的图形信息；分割模块，用于根据所述手部区域最小外接矩形的图形信息，并通过皮肤检测算法，结合深度图，进行手部区域分割，以得到只有手部的中间图像；第一计算模块，用于计算第一时刻内各帧中间图像的熵值，以获取第一时刻对应的熵值最大的中间图像，以及计算第二时刻内各帧中间图像的熵值，以获取第二时刻对应的熵值最大的中间图像，所述第一时刻与所述第二时刻为相邻的时刻；第二计算模块，用于将所述第一时刻对应的熵值最大的中间图像二值化，以得到第一二值化图像，以及将所述第二时刻对应的熵值最大的中间图像二值化，以得到第二二值化图像，并计算所述第一二值化图像和所述第二二值化图像的手部重叠率；保留提取模块，用于若所述第一二值化图像和所述第二二值化图像的手部重叠率大于重叠度阈值，则丢弃所述第二时刻的关键帧，保留所述第一时刻的关键帧；若所述第一二值化图像和所述第二二值化图像的手部重叠率小于或等于重叠度阈值，则提取所述第二时刻的关键帧。根据本专利技术提供的手势姿态识别关键帧提取装置，具有以下有益效果：（1）通过熵值计算，提取某一时间段内一帧清晰图像并且将重叠度高的帧丢弃，减少模型推理时间，提高手势识别实时性，增强客户体验效果；（2）通过手部区域的熵值计算，在一个时间段内选择熵值最大的图像，图像熵能衡量图像的清晰度及其信息的丰富度，熵值越大说明手部越清晰，清晰的手部能够提升动态手势识别的准确性；（3）本专利技术将手部皮肤检测和深度图像相结合，比仅仅通过皮肤检测能更准确的提取手部区域，抗干扰性更强。另外，根据本专利技术上述的手势姿态识别关键帧提取装置，还可以具有如下附加的技术特征：进一步地，所述检测模块具体用于：获取RGB摄像头采集到的含有手部的RGB图像；将所述RGB图本文档来自技高网...

【技术保护点】
1.一种手势姿态识别关键帧提取方法，其特征在于，所述方法包括：/n通过训练好的手部检测深度学习模型对目标图像进行手部目标检测，以得到手部区域最小外接矩形的图形信息；/n根据所述手部区域最小外接矩形的图形信息，并通过皮肤检测算法，结合深度图，进行手部区域分割，以得到只有手部的中间图像；/n计算第一时刻内各帧中间图像的熵值，以获取第一时刻对应的熵值最大的中间图像，以及计算第二时刻内各帧中间图像的熵值，以获取第二时刻对应的熵值最大的中间图像，所述第一时刻与所述第二时刻为相邻的时刻；/n将所述第一时刻对应的熵值最大的中间图像二值化，以得到第一二值化图像，以及将所述第二时刻对应的熵值最大的中间图像二值化，以得到第二二值化图像，并计算所述第一二值化图像和所述第二二值化图像的手部重叠率；/n若所述第一二值化图像和所述第二二值化图像的手部重叠率大于重叠度阈值，则丢弃所述第二时刻的关键帧，保留所述第一时刻的关键帧；若所述第一二值化图像和所述第二二值化图像的手部重叠率小于或等于重叠度阈值，则提取所述第二时刻的关键帧。/n

【技术特征摘要】
1.一种手势姿态识别关键帧提取方法，其特征在于，所述方法包括：
通过训练好的手部检测深度学习模型对目标图像进行手部目标检测，以得到手部区域最小外接矩形的图形信息；
根据所述手部区域最小外接矩形的图形信息，并通过皮肤检测算法，结合深度图，进行手部区域分割，以得到只有手部的中间图像；
计算第一时刻内各帧中间图像的熵值，以获取第一时刻对应的熵值最大的中间图像，以及计算第二时刻内各帧中间图像的熵值，以获取第二时刻对应的熵值最大的中间图像，所述第一时刻与所述第二时刻为相邻的时刻；
将所述第一时刻对应的熵值最大的中间图像二值化，以得到第一二值化图像，以及将所述第二时刻对应的熵值最大的中间图像二值化，以得到第二二值化图像，并计算所述第一二值化图像和所述第二二值化图像的手部重叠率；
若所述第一二值化图像和所述第二二值化图像的手部重叠率大于重叠度阈值，则丢弃所述第二时刻的关键帧，保留所述第一时刻的关键帧；若所述第一二值化图像和所述第二二值化图像的手部重叠率小于或等于重叠度阈值，则提取所述第二时刻的关键帧。


2.根据权利要求1所述的手势姿态识别关键帧提取方法，其特征在于，通过训练好的手部检测深度学习模型对目标图像进行手部目标检测，以得到手部区域最小外接矩形的图形信息的步骤具体包括：
获取RGB摄像头采集到的含有手部的RGB图像；
将所述RGB图像输入到已经训练好的所述手部检测深度学习模型中进行手部目标检测；
根据所述手部目标检测的检测结果，得到手部区域最小外接矩形的图形信息，所述图形信息包括最小外接矩形左上角顶点坐标、矩形的宽和高。


3.根据权利要求2所述的手势姿态识别关键帧提取方法，其特征在于，根据所述手部区域最小外接矩形的图形信息，并通过皮肤检测算法，结合深度图，进行手部区域分割，以得到只有手部的中间图像的步骤具体包括：
根据所述手部区域最小外接矩形的图形信息，将所述手部区域最小外接矩形之外的像素值全部置为0，所述手部区域最小外接矩形内部的像素值不变，以得到去背景后的RGB图像；
将所述去背景后的RGB图像转换到YCrCb空间，通过椭圆皮肤检测方法，对最小外接矩形内的皮肤进行检测，得到手部皮肤区域，并结合对应的深度图，计算所述手部皮肤区域的平均深度值dv；
将深度值小于dv-thrd或者大于dv+thrd的像素点去背景，得到只有手部的中间图像，其中，thrd表示深度阈值。


4.根据权利要求3所述的手势姿态识别关键帧提取方法，其特征在于，计算第一时刻内各帧中间图像的熵值，以获取第一时刻对应的熵值最大的中间图像的步骤具体包括：
对于第一时刻内的任一帧中间图像，先将中间图像灰度化，然后采用下式计算中间图像的熵值：






其中，H表示中间图像的熵值，pi表示灰度化后的中间图像中像素的灰度值为i的概率，i的取值范围为0~255，Mi表示灰度化后的中间图像中像素的灰度值为i的数量，Mpix表示灰度化后的中间图像中像素的总数。


5.根据权利要求4所述的手势姿态识别关键帧提取方法，其特征在于，计算所述第一二值化图像和所述第二二值化图像的手部重叠率的步骤中，采用下式计算手部重叠率：



其中，IOU表示第一二值化图像和所述第二二值化图...

【专利技术属性】
技术研发人员：毛凤辉，郭振民，熊斌，
申请(专利权)人：南昌虚拟现实研究院股份有限公司，
类型：发明
国别省市：江西;36