【技术实现步骤摘要】
一种手势交互方法和终端
本申请涉及人机交互
，具体涉及一种手势交互方法和终端。
技术介绍
随着技术的发展，手势交互在移动终端操作、门禁系统、远程控制等人机交互领域得到了广泛应用。手势交互的关键是手势识别，目前，手势识别多基于传统图像处理方法区分手部与背景，这类方案易受环境(例如，光照、阴影以及与手部肤色接近的背景)的影响，手势的误检和漏检情况严重，算法鲁棒性较低，手势交互的准确性有待提高。
技术实现思路
鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的一种手势交互方法和终端。依据本申请的一个方面，提供了一种手势交互方法，包括：在一次手势交互过程中，通过相机拍摄用户的手势，得到原始图像，所述原始图像包括RGB图像；利用预先训练完成的深度神经网络对所述RGB图像进行手部检测与手势识别，得到第一手势识别结果；基于多帧所述RGB图像中各帧所述RGB图像的所述第一手势识别结果进行手势分析确认，得到第二手势识别结果；触发执行与所述第二手势识别...
【技术保护点】
1.一种手势交互方法，其特征在于，该手势交互方法包括：/n在一次手势交互过程中，通过相机拍摄用户的手势，得到原始图像，所述原始图像包括RGB图像；/n利用预先训练完成的深度神经网络对所述RGB图像进行手部检测与手势识别，得到第一手势识别结果；/n基于多帧所述RGB图像中各帧所述RGB图像的所述第一手势识别结果进行手势分析确认，得到第二手势识别结果；/n触发执行与所述第二手势识别结果对应的操作，完成手势交互。/n
【技术特征摘要】
1.一种手势交互方法，其特征在于，该手势交互方法包括：
在一次手势交互过程中，通过相机拍摄用户的手势，得到原始图像，所述原始图像包括RGB图像；
利用预先训练完成的深度神经网络对所述RGB图像进行手部检测与手势识别，得到第一手势识别结果；
基于多帧所述RGB图像中各帧所述RGB图像的所述第一手势识别结果进行手势分析确认，得到第二手势识别结果；
触发执行与所述第二手势识别结果对应的操作，完成手势交互。
2.如权利要求1所述的手势交互方法，其特征在于，所述原始图像还包括与所述RGB图像属于同一场景的深度图像；
根据所述相机标定后的内部参数和外部参数，得到所述RGB图像中手部各像素点对应的深度值并确定出所述相机与用户的手部之间的距离；
当所述相机与用户的手部之间的距离满足预设距离条件时，利用预先训练完成的深度神经网络对所述RGB图像进行手部检测与手势识别；
当所述相机与用户的手部之间的距离不满足预设距离条件时，控制输出提示信息，提醒用户调整手部与所述相机的距离；
其中，所述预设距离条件包括所述相机与用户的手部之间的距离等于预设距离阈值或所述相机与用户的手部之间的距离在预设距离范围内。
3.如权利要求1所述的手势交互方法，其特征在于，所述利用预先训练完成的深度神经网络对所述RGB图像进行手部检测与手势识别，得到第一手势识别结果包括：
利用预先训练完成的深度神经网络对所述RGB图像进行手部检测，得到第一帧所述RGB图像中的手部区域信息，根据第一帧所述RGB图像中的手部区域信息对手部进行跟踪，确定第二帧所述RGB图像中的手部区域信息；
基于所述手部区域信息，对各帧所述RGB图像进行手势识别，得到所述第一手势识别结果。
4.如权利要求1或2所述的手势交互方法，其特征在于，所述基于多帧所述RGB图像中各帧所述RGB图像的所述第一手势识别结果进行手势分析确认，得到第二手势识别结果包括：
当各帧所述RGB图像的第一手势识别结果指示用户的手势为动态手势时，将各第一手势识别结果存储到分析队列中，并按照先进先出方式实时更新所述分析队列，其中，所述第一手势识别结果包括手部特征信息，所述分析队列的长度为大于2的自然数；
根据所述分析队列中每相邻两帧所述RGB图像的所述手部特征信息，确定手部运动量；
基于各所述手部运动量，得到所述第二手势识别结果，并清空所述分析队列。
5.如权利要求1或2所述的手势交互方法，其特征在于，所述基于多帧所述RGB图像中各帧所述RGB图像的所述第一手势识别结果进行手势分析确认，得到第二手势识别结果包括：
当各帧所述RGB图像的第一手势识别结果指示用户的手势为静态手势时，将各第一手势识别结果存储到分析队列中，并按照先进先出方式实时...
【专利技术属性】
技术研发人员：孙飞，
申请(专利权)人：青岛小鸟看看科技有限公司，
类型：发明
国别省市：山东;37
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。