基于动态手势识别的演示控制方法及装置制造方法及图纸

本公开实施例涉及智慧办公领域，提供一种基于动态手势识别的演示控制方法及装置，方法包括：基于获取的原始图像进行人体检测得到人体图像；利用预设的关键点检测模型进行手部关键点检测，得到人体手部关节点信息；基于关节点信息确定满足预设特征条件的演示手，并在其动作满足预设激活条件时将控制焦点赋予演示手；基于连续获取的多帧图像确定演示手的运动历史图；基于运动历史图通过动作融合算法确定动作识别结果；基于动作与控制指令的预设关系，确定针对控制焦点指示的演示控制对象的实际控制指令；通过实际控制指令控制演示控制对象演示。本公开实施例延时少，动态手势识别更准确，能有效实现当前演示手的轻量级追踪、判定和控制焦点保持。定和控制焦点保持。定和控制焦点保持。

【技术实现步骤摘要】
基于动态手势识别的演示控制方法及装置


[0001]本公开涉及智慧办公
，特别涉及一种基于动态手势识别的演示控制方法及装置。

技术介绍

[0002]随着摄像头图像采集和视频动作识别技术的发展，基于手部图像可以利用手势识别算法完成手部动作如数字1
‑
9、大拇指向上、向下、向左、向右以及比V、OK等的识别。基于手部动作识别的手势远程控制可以应用在智慧大屏和演示文稿上，如控制智慧大屏上显示内容的双击打开、区域放大、区域缩小、右击等，或者控制演示文稿的下翻页、上翻页、双击放大、区域缩小等演示动作。
[0003]当前，对智慧大屏进行远程动作控制的方案，通常首先利用摄像头获取人体的视频帧图像，利用人体检测网络基于该视频帧图像完成人体检测，然后利用深度神经网络中的卷积神经网络(Convolutional Neural Networks，CNN)如ResNet网络等完成人体图像的动作分类。然而，这种网络是对人体图像包含的动作进行的分类，需要采集大量的图像并标注对应动作。并且，在这种方案中，手部区域在整个图中会比较小，这会使分类网络在很多时候都不能聚焦在手部的微小变化的检测上。因此，对于手势控制大屏的任务而言，直接对人体图像进行动作分类以获得手势动作的方式是不适合的。
[0004]此外，现有技术中也有直接利用手部关节点进行手势检测的算法，这些算法大部分是基于静态图像，对手部关节点信息进行提取，设计卷积神经网络分类算法来实现手势识别。然而，手势操作通常是一个动态过程，基于静态单帧图像的动作识别并不能准确判定一个序列的动作，而基于多帧图像的动作识别还存在延时、动作波动、干扰等问题。
[0005]公开号为CN114926898A、专利技术名称为“手势识别模型训练及手势识别方法、装置、设备及介质”的中国专利申请构建了卷积神经网络结构，利用多张手势分割图像对卷积神经网络结构进行训练，得到手势识别模型。该模型能够满足对训练数据的适应性要求，但由于该模型不能聚焦到手势的细节上，故在利用与训练数据场景不同的数据进行手势识别时，该模型会存在鲁棒性问题。
[0006]公开号为CN114944013A、专利技术名称为“一种基于改进yolov5的手势识别模型训练方法及手势识别方法”的中国专利申请构建了基于改进yolov5的手势识别模型，在原始yolov5模型的颈部网络中增加了特征提取模块，通过对输入特征进行不同程度的扩张卷积，为输入特征提供不同大小的感受野，从而提高了模型的手势识别精度。然而，该模型仅能基于静态图像进行手势识别。
[0007]公开号为CN111950341A、专利技术名称为“一种基于机器视觉的实时手势识别方法及手势识别系统”的中国专利申请通过人体关节点识别、手部定位、手部关节点识别、手势识别四个步骤来完成手势和手部关节识别。然而，这些步骤主要还是利用单帧静态图像来完成静态手势的识别。

技术实现思路

[0008]本公开旨在至少解决现有技术中存在的问题之一，提供一种基于动态手势识别的演示控制方法及装置。
[0009]本公开的一个方面，提供了一种基于动态手势识别的演示控制方法，所述演示控制方法包括：
[0010]获取原始图像，基于所述原始图像进行人体检测，得到对应的人体图像；
[0011]利用预设的关键点检测模型，对所述人体图像进行手部关键点检测，得到人体手部关节点信息；
[0012]基于所述人体手部关节点信息，确定满足预设特征条件的演示手，并在所述演示手的动作满足预设激活条件时，将控制焦点赋予所述演示手；
[0013]连续获取多帧图像，基于所述多帧图像，确定所述演示手在当前帧图像的运动历史图；
[0014]基于所述运动历史图，通过动作融合算法，确定所述演示手在所述当前帧图像的动作识别结果；
[0015]基于演示手动作与控制指令之间的预设关系，确定所述动作识别结果对应的针对所述控制焦点所指示的演示控制对象的实际控制指令；
[0016]通过所述实际控制指令，控制所述演示控制对象进行演示。
[0017]可选的，所述基于所述多帧图像，确定所述演示手在当前帧图像的运动历史图，包括：
[0018]基于所述多帧图像，确定所述演示手分别在每帧图像中的关节点信息，得到所述演示手的运动历史关节点信息；
[0019]将所述运动历史关节点信息投影到所述演示手所在的当前帧图像上，得到所述运动历史图。
[0020]可选的，所述基于所述多帧图像，确定所述演示手分别在每帧图像中的关节点信息，得到所述演示手的运动历史关节点信息，包括：
[0021]基于所述多帧图像，利用凸包检测算法，生成所述演示手分别在每帧图像中的凸包以及所述凸包外的关节点信息；
[0022]基于所述凸包以及所述凸包外的关节点信息，利用基于位置与角度的手势识别算法，确定所述演示手在每帧图像中的手势动作，得到所述运动历史关节点信息。
[0023]可选的，所述基于所述多帧图像，利用凸包检测算法，生成所述演示手分别在每帧图像中的凸包以及所述凸包外的关节点信息，包括：
[0024]基于所述多帧图像，分别构造每帧图像中所述演示手对应的手掌部位轮廓凸包曲线，得到所述演示手分别在每帧图像中的所述凸包；
[0025]基于所述多帧图像，分别确定每帧图像中所述演示手的每个关节点与所述凸包的距离；
[0026]基于所述演示手的每个关节点与所述凸包的距离，按照预设的距离对应关系，确定所述凸包外的关节点。
[0027]可选的，所述基于所述凸包以及所述凸包外的关节点信息，利用基于位置与角度的手势识别算法，确定所述演示手在每帧图像中的手势动作，包括：
[0028]分别计算所述演示手对应的所述凸包外的关节点数量、任意两个关节点之间的距离、任意两个关节点形成的边与其他任意两个关节点形成的边之间的夹角；
[0029]根据所述凸包外的关节点数量、任意两个关节点之间的距离以及所述夹角，基于预设的手势动作判断关系，确定所述演示手在每帧图像中的手势动作。
[0030]可选的，所述任意两个关节点之间的距离表示为下式(1)：
[0031]dist(i,j)＝sqrt((i_x
‑
j_x)2+(i_y
‑
j_y)2) (1)
[0032]所述任意两个关节点形成的边与其他两个关节点形成的边之间的夹角表示为下式(2)：
[0033]v(i
‑
j,k
‑
m)＝arctan((i_y
‑
j_y)/(i_x
‑
j_x))
‑
arctan((k_y
‑
m_y)/(k_x
‑
m_x))(2)
[0034]其中，i≠j≠k≠m，dist(i,j)表示关节点i与关节点j之间的距离，i_x表示关节点i的x坐标，j_x表示关节点j的x坐标，i_y表示关节点i的y坐标，j_y表示关节点j的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于动态手势识别的演示控制方法，其特征在于，所述演示控制方法包括：获取原始图像，基于所述原始图像进行人体检测，得到对应的人体图像；利用预设的关键点检测模型，对所述人体图像进行手部关键点检测，得到人体手部关节点信息；基于所述人体手部关节点信息，确定满足预设特征条件的演示手，并在所述演示手的动作满足预设激活条件时，将控制焦点赋予所述演示手；连续获取多帧图像，基于所述多帧图像，确定所述演示手在当前帧图像的运动历史图；基于所述运动历史图，通过动作融合算法，确定所述演示手在所述当前帧图像的动作识别结果；基于演示手动作与控制指令之间的预设关系，确定所述动作识别结果对应的针对所述控制焦点所指示的演示控制对象的实际控制指令；通过所述实际控制指令，控制所述演示控制对象进行演示。2.根据权利要求1所述的演示控制方法，其特征在于，所述基于所述多帧图像，确定所述演示手在当前帧图像的运动历史图，包括：基于所述多帧图像，确定所述演示手分别在每帧图像中的关节点信息，得到所述演示手的运动历史关节点信息；将所述运动历史关节点信息投影到所述演示手所在的当前帧图像上，得到所述运动历史图。3.根据权利要求2所述的演示控制方法，其特征在于，所述基于所述多帧图像，确定所述演示手分别在每帧图像中的关节点信息，得到所述演示手的运动历史关节点信息，包括：基于所述多帧图像，利用凸包检测算法，生成所述演示手分别在每帧图像中的凸包以及所述凸包外的关节点信息；基于所述凸包以及所述凸包外的关节点信息，利用基于位置与角度的手势识别算法，确定所述演示手在每帧图像中的手势动作，得到所述运动历史关节点信息。4.根据权利要求3所述的演示控制方法，其特征在于，所述基于所述多帧图像，利用凸包检测算法，生成所述演示手分别在每帧图像中的凸包以及所述凸包外的关节点信息，包括：基于所述多帧图像，分别构造每帧图像中所述演示手对应的手掌部位轮廓凸包曲线，得到所述演示手分别在每帧图像中的所述凸包；基于所述多帧图像，分别确定每帧图像中所述演示手的每个关节点与所述凸包的距离；基于所述演示手的每个关节点与所述凸包的距离，按照预设的距离对应关系，确定所述凸包外的关节点。5.根据权利要求4所述的演示控制方法，其特征在于，所述基于所述凸包以及所述凸包外的关节点信息，利用基于位置与角度的手势识别算法，确定所述演示手在每帧图像中的手势动作，包括：分别计算所述演示手对应的所述凸包外的关节点数量、任意两个关节点之间的距离、任意两个关节点形成的边与其他任意两个关节点形成的边之间的夹角；根据所述凸包外的关节点数量、任意两个关节点之间的距离以及所述夹角，基于预设
的手势动作判断关系，确定所述演示手在每帧图像中的手势动作。6.根据权利要求5所述的演示控制方法，其特征在于，所述任意两个关节点之间的距离表示为下式(1)：dist(i,j)＝sqrt((i_x
‑
j_x)2+(i_y
‑
j_y)2) (1)所述任意两个关节点形成的边与其他两个关节点形成的边之间的夹角表示为下式(2)：v(i
‑
j,k
‑
m)＝arctan((i_y
‑
j_y)/(i_x
‑
j_x))
‑
arc...

【专利技术属性】
技术研发人员：沈来信，邵岭，郑小林，
申请(专利权)人：光控特斯联上海信息科技有限公司，
类型：发明
国别省市：