确定触发手势的方法、装置及设备制造方法及图纸

本申请实施例涉及人机交互技术领域，公开了一种确定触发手势的方法、装置及设备，获取视频流中时序连续的N个视频帧，对每一视频帧进行目标部件检测处理，得到至少一个目标部件的边界框，然后，根据至少一个目标部件的边界框和该视频帧，进行手势识别，确定该视频帧对应的手势，N个视频帧对应的手势构成手势序列，最后，根据手势序列，确定触发手势。即先进行目标部件(人头、人脸或人体头部加肩部)检测，然后在目标部件附近的局部区域(边界框的周围)进行手势检测识别，相比于全图手势检测识别，能够降低算力，另外，手部件的特征粒度在目标部件附近的局部区域中相对较大，使得手部件的特征明显，能促进提高各视频帧中手势检测的准确性。确性。确性。

【技术实现步骤摘要】
确定触发手势的方法、装置及设备


[0001]本申请实施例涉及人机交互
，尤其涉及一种确定触发手势的方法、装置及设备。

技术介绍

[0002]随着产品智能化、电子化以及互联化的不断发展和普及，出现了很多越来越智能化的人机交互方式，以满足人们追求个性化和时尚化的需求。例如，智能手机的触屏是一种通过触摸来实现的人机交互系统。还有一些通过语音交互进行控制的产品，比如智能音响，用户只要语音输入相关指令，产品就能根据语音输入的指令执行相关的操作。在一些产品中，例如智能相机、游戏机或无人机，还可以通过手势来实现人机交互，不同的手势对应不同的指令，当产品获取到手势后，执行与该手势对应的指令。
[0003]然而，手势在图像或视频帧中通常较小、姿态灵活，不易于跟踪。在算力有限的情况下，采用手势识别模型进行全图手势检测识别，以确定用于触发产品执行相应指令的触发手势，由于识别模型压缩导致手部区域在全图中占比极小，使得手势识别模型可靠性不高，无法满足设备交互的精度及速度要求，容易出现误触发。

技术实现思路

[0004]本申请实施例主要解决的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种确定触发手势的方法，其特征在于，包括：获取视频流中时序连续的N个视频帧，其中，N是大于或等于1的整数；对所述视频帧进行目标部件检测处理，得到至少一个目标部件的边界框；根据所述至少一个目标部件的边界框和所述视频帧，进行手势识别，确定所述视频帧对应的手势，所述N个视频帧对应的手势构成手势序列；根据所述手势序列，确定触发手势。2.根据权利要求1所述的方法，其特征在于，所述根据所述至少一个目标部件的边界框和所述视频帧，进行手势识别，确定所述视频帧对应的手势，包括：分别对所述至少一个目标部件的边界框进行外扩处理，得到至少一个外扩边界框；对所述视频帧中位于所述至少一个外扩边界框内的区域进行手部件检测处理，以获取手部件检测结果；根据所述手部件检测结果，确定目标手部件；对所述目标手部件进行手势分类处理，得到所述视频帧对应的手势。3.根据权利要求2所述的方法，其特征在于，所述根据所述手部件检测结果，确定目标手部件，包括：若所述手部件检测结果包括一个手部件，则确定所述手部件为所述目标手部件；若所述手部件检测结果包括多个手部件，则根据每个所述手部件的置信度、与所述手部件对应的所述目标部件之间的距离以及所述手部件的像素面积，计算各所述手部件的得分，并确定得分最高的手部件作为所述目标手部件。4.根据权利要求3所述的方法，其特征在于，所述根据每个所述手部件的置信度、与所述手部件对应的所述目标部件之间的距离以及所述手部件的像素面积，计算各所述手部件的得分，包括：采用以下公式计算各所述手部件的得分；其中，Score
i
为第i个手部件的得分，i为手部件的标号，Conf
i
为第i个手部件的置信度，Dist
i
为第i个手部件的与所述目标部件之间的距离，Area
i
为第i个手部件的像素面积。5.根据权利要求1...

【专利技术属性】
技术研发人员：贾配洋，侯俊，林晓帆，
申请(专利权)人：影石创新科技股份有限公司，
类型：发明
国别省市：