一种基于单目摄像头的手势识别交互设备制造技术

本申请公开了一种基于单目摄像头的手势识别交互设备，包括摄像头、检测器和特征提取器，其用于识别背景场景意识。交互方法包括以下步骤：1)通过三维手掌特征点模型建立手掌三维坐标图像库；2)显示智能交互画面；3)通过检测器对图像进行操作并计算手掌位置；4)根据用户手掌移动数据控制智能交互画面播放，在日常使用中，通过采用上述技术方案，特征提取器对整个图像进行操作并计算手位置，检测器提取的三维手特征点模型对这些位置进行操作并通过回归预测近似的三维表面。准确裁剪手掌后，大大减少了对普通数据增强的需求，低资源消耗，所需硬件门槛低。兼容性强，可跨系统运行。通用性强，适用各种型号摄像头和操作平台。适用各种型号摄像头和操作平台。适用各种型号摄像头和操作平台。

【技术实现步骤摘要】
一种基于单目摄像头的手势识别交互设备


[0001]本专利技术涉及一种基于单目摄像头的手势识别交互设备。

技术介绍

[0002](电子白板)线上PC直播教学过程中，由于交互设备缺失，数控板类似交 互设备并未普及，又因直播设备限制(PC教学)，老师在使用传统交互设备(如 鼠标)，可能导致体验感不佳，甚至影响教学质量，由此有必要作出改进。

技术实现思路

[0003]本专利技术旨在解决现有技术中存在的技术问题之一。
[0004]本申请提供了一种基于单目摄像头的手势识别交互设备，包括：
[0005]摄像头，其用于采集图像；
[0006]特征提取器，其用于定位前述图像中手掌所在的粗略范围；
[0007]检测器，其用于对前述粗略范围内图像精确裁剪得到手掌图像和\或操作 智能交互画面；
[0008]标记器，其用于识别前述手掌图形中手掌关节特征点定位手掌位置。
[0009]同时公开了一种基于前述手势识别交互设备的交互方法，包括以下步骤：
[0010]1)通过三维手掌特征点模型建立手掌三维坐标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于单目摄像头的手势识别交互设备，其特征在于，包括：摄像头，其用于采集图像；特征提取器，其用于定位前述图像中手掌所在的粗略范围；检测器，其用于对前述粗略范围内图像精确裁剪得到手掌图像和\或操作智能交互画面；标记器，其用于识别前述手掌图形中手掌关节特征点定位手掌位置。2.基于权利要求1所述的手势识别交互设备的交互方法，其特征在于，包括以下步骤：1)通过三维手掌特征点模型建立手掌三维坐标图像库；2)显示智能交互画面；3)通过检测器对图像进行操作并计算手掌位置；4)根据用户手掌移动数据控制所述智能交互画面播放。3.根据权利要求2所述的手势识别交互设备的交互方法，其特征在于，所述手掌三维坐标图像库建立的步骤：1)由两个实时共同工作的深度神经网络模型组成ML Pipeline(通道)；2)通过检测器对智能交互画面进行操作并计算手位置；3)通过三维手掌特征点模型对这些位置进行操作并通过回归预测近似的三维表面；4)通过回归对检测到的手部区域内的21个三维手指关节坐标进行直接的坐标预测，模型学习一致的内部手部姿势表征；5)手动注释通过所述21个三维手指关节坐标定位的真实图像，建立手掌三维坐标图像库。4.根据权利要求3所述的手势识别交互设备的交互方法，其特征在于，还包括：训练检测器，使用方形边界框进行建模，忽略其他长宽比；其中，在训练过程中尽量减少焦点损失。5.根据权利要求2所述的手势识别交互设备的交互方法，其特征在于：允许深度神经网络将其大部分算力用于坐标预测的准确性。6.根据权利要求2所述的手势识别交互设备的交互方法，其特征在于：标记器根据前一帧识别的手掌特征点来生成，当特征点模型不能再识别手掌的存在时，调用检测器来重新定位...

【专利技术属性】
技术研发人员：时沐朗，
申请(专利权)人：时沐朗，
类型：发明
国别省市：