一种基于深度学习的悬浮动态手势人机交互系统技术方案

本发明专利技术提供一种基于深度学习的悬浮动态手势人机交互系统，包括数据采集及处理模块、深度学习分类模块和结果数据分析模块，数据采集及处理模块与深度学习分类模块之间、深度学习分类模块与结果数据分析模块之间通过开放API视频接口传输数据。本发明专利技术的优点为：通过深度学习方法与先进数据分析结合、仅利用易获得、成本低和操作方便的RGB相机来取代成本高、便捷性差的可穿戴设备进行实时动态手势识别，优化了人机交互系统，方便了使用者用动态手势操控计算机，拉近了人与计算机的距离，提升了应用效率。

【技术实现步骤摘要】
一种基于深度学习的悬浮动态手势人机交互系统
本专利技术涉及人机交互
，具体涉及一种基于深度学习的、使用悬浮动态手势的人机交互系统。
技术介绍
随着计算机技术的发展，人机交互技术已经成为人们日常生活中应用较为广泛的一种科技，成为了人们日常生活的关键组成部分。手势作为人机交互的一种方式，包括静态手势识别和动态手势识别。动态手势识别已经成为一种新兴的人机交互方式，同时也是一个重要的研究方向。传统的动态手势交互使用智能传感设备或可穿戴设备来定位人体的手的位置和角度，这类方法虽然识别精度高、速度快，但是成本高、便捷性差，不是自然的人机交互方式。计算机视觉的手势识别系统的构建，是一种输入设备的构建，可以帮助人们将手势识别当做计算机的输入设备，缩短计算机和人之间的距离，提升计算机应用的效率，降低人类对计算机操作的难度。
技术实现思路
本专利技术的目的是提供一种通过深度学习方法与先进数据分析结合、仅利用易获得、成本低和操作方便的RGB相机来取代成本高、便捷性差的可穿戴设备、进行实时动态手势识别的人机交互系统。为了达到上述目的，本专利技术通过以下技术方案来实现：一种基于深度学习的悬浮动态手势人机交互系统，包括数据采集及处理模块、深度学习分类模块和结果数据分析模块，数据采集及处理模块与深度学习分类模块之间、深度学习分类模块与结果数据分析模块之间通过开放API视频接口传输数据；数据采集及处理模块部署RGB相机，通过RGB相机对9类动态手势进行采集，采集数据以二进制文件存储，再进行数据转化，将二进制文件转化为RGB图片存储；深度学习分类模块使用数据标注工具对图像数据进行标注，使用检测工具复检及人工交叉验证的方法保证标注数据的可靠性，在TensorFlow框架下编写深度学习手势分类模型并进行模型训练，训练后存储模型；结果数据分析模块对视频的分类结果进行滤波，将滤波后的结果使用状态机分析，判断当前的动态手势属于哪一个类别，根据当前的手势状态进行对应的反馈并进行结果可视化显示。进一步地，所述深度学习分类模块中的图像数据标注分为两个阶段：第一个阶段为运动检测标注，标注图片为数据采集人员进行9类动态手势演示时获取的视频帧，标注内容为每一帧是否有手在运动，有手势则标为1，无手势则标为0；第二个阶段为对分段图像进行动态手势的分类标注，共9类常见手势，类别用数字0-8表示，包括1类的背景类。本专利技术与现有技术相比，具有以下优点：本专利技术一种基于深度学习的悬浮动态手势人机交互系统，通过深度学习方法与先进数据分析结合、仅利用易获得、成本低和操作方便的RGB相机来取代成本高、便捷性差的可穿戴设备进行实时动态手势识别，优化了人机交互系统，方便了使用者用动态手势操控计算机，拉近了人与计算机的距离，提升了应用效率。附图说明图1是本专利技术一种基于深度学习的悬浮动态手势人机交互系统的模块流程示意图。图2是本专利技术一种基于深度学习的悬浮动态手势人机交互系统的运动检测标注及复检工具的使用状态图。图3是本专利技术一种基于深度学习的悬浮动态手势人机交互系统的动态手势分类标注工具的使用状态图。图4是本专利技术一种基于深度学习的悬浮动态手势人机交互系统的状态机分析流程示意图。具体实施方式下面结合附图，对本专利技术的实施例作进一步详细的描述。如图1所示，一种基于深度学习的悬浮动态手势人机交互系统，包括数据采集及处理模块、深度学习分类模块和结果数据分析模块，数据采集及处理模块与深度学习分类模块之间、深度学习分类模块与结果数据分析模块之间通过开放API视频接口传输数据。数据采集及处理模块由RGB相机部署、数据采集、二进制数据存储、数据转化的步骤组成，深度学习分类模块由数据标注、数据预处理、模型训练、模型存储的步骤组成，结果数据分析模块由结果滤波、状态机分析、分析结果、结果可视化的步骤组成。数据采集及处理模块部署RGB相机，在6种不同光照、背景的场景下布置数据采集环境，通过RGB相机对9类动态手势进行采集，数据采集人员正对RGB相机，保证每个人员演示的手势都在相机视野范围内，并重复多次，采集数据以二进制文件存储，再进行数据转化，将二进制文件转化为RGB图片存储。深度学习分类模块使用数据标注工具对图像数据进行标注，图像数据标注分为两个阶段：第一个阶段为运动检测标注，标注图片为数据采集人员进行9类动态手势演示时获取的视频帧，标注内容为每一帧是否有手在运动，有手势则标为1，无手势则标为0；第二个阶段为对分段图像进行动态手势的分类标注，共9类常见手势，类别用数字0-8表示，包括1类的背景类。使用检测工具复检及人工交叉验证的方法保证标注数据的可靠性，在TensorFlow框架下编写深度学习手势分类模型并进行模型训练，训练后存储模型。深度学习分类系统通过API接口调用视频，对于视频数据首先进行逻辑上的预处理，使用固定窗长对视频进行降采样后送给网络预测，并提供数据接口以使得检测结果可调用。结果数据分析模块对视频的分类结果进行滤波及平滑操作以增强结果的稳定性、可靠性，将滤波后的结果使用状态机分析，判断当前的动态手势属于哪一个类别，根据当前的手势状态进行对应的反馈并进行结果可视化显示，使用户能够直观理解分析结果，及时得到相应反馈。如图2所示，运动检测标注及复检工具需要标注人员输入待标注的视频帧的文件夹路径，之后工具会自动读取多帧及其对应状态，标注人员判断当前视频序列是否有手势动作，将当前帧标注为moving或still。按键功能区有前一帧、后一帧、选中图片、修改标注、保存标注、退出。前一帧快捷键为（h），点击后返回前一帧图片，查看标注是否正确；后一帧快捷键为(l)，点击后切换下一帧图片进行标注；修改标注快捷键为（k），默认标注为still，点击按键后切换标签；选中图片快捷键为(x)，点击后选择当前图片可以多选图片后进行标签的更改。最终标注为moving的图片会被移动到has_gesture文件夹中，标注为still的图片会被移动到no_gesture文件夹中。如图3所示，动态手势分类标注工具需要标注人员输入经过运动检测标注后的待标注动态收拾分类的视频帧的文件夹，工具会自动读取文件夹中的帧序号、图片及当前标签，若无则为no_gesture，并按照帧序号的连续性自动将图片分为多个片段。标注人员需判断当前视频序列所对应的动态手势的类别，并标注保存。案件功能区有前一段、后一段、标注类别、保存标注、退出、刷新。前一段的快捷键为(h)，点击后返回上一段序列并显示标注，可以查看标注是否正确；后一段快捷键是(l)，点击后切换下一段图片序列进行标注；标注类别的快捷键为数字键0-8，分别对应9类动态手势，点击后可以标注当前序列；保存标注的快捷键为(Enter),点击后保存标注结果；推出快捷键为（q），点击后关闭工具；刷新快捷键为(r)，点击后重新读取图片列表并显示，以应对特殊情况下的对图片的实时操作。训练模型使用TensorFlow框架编写，使用标注好的数据训练完成后存本文档来自技高网...

【技术保护点】
1.一种基于深度学习的悬浮动态手势人机交互系统，其特征在于：包括数据采集及处理模块、深度学习分类模块和结果数据分析模块，数据采集及处理模块与深度学习分类模块之间、深度学习分类模块与结果数据分析模块之间通过开放API视频接口传输数据；/n数据采集及处理模块部署RGB相机，通过RGB相机对9类动态手势进行采集，采集数据以二进制文件存储，再进行数据转化，将二进制文件转化为RGB图片存储；/n深度学习分类模块使用数据标注工具对图像数据进行标注，使用检测工具复检及人工交叉验证的方法保证标注数据的可靠性，在TensorFlow框架下编写深度学习手势分类模型并进行模型训练，训练后存储模型；/n结果数据分析模块对视频的分类结果进行滤波，将滤波后的结果使用状态机分析，判断当前的动态手势属于哪一个类别，根据当前的手势状态进行对应的反馈并进行结果可视化显示。/n

【技术特征摘要】
1.一种基于深度学习的悬浮动态手势人机交互系统，其特征在于：包括数据采集及处理模块、深度学习分类模块和结果数据分析模块，数据采集及处理模块与深度学习分类模块之间、深度学习分类模块与结果数据分析模块之间通过开放API视频接口传输数据；
数据采集及处理模块部署RGB相机，通过RGB相机对9类动态手势进行采集，采集数据以二进制文件存储，再进行数据转化，将二进制文件转化为RGB图片存储；
深度学习分类模块使用数据标注工具对图像数据进行标注，使用检测工具复检及人工交叉验证的方法保证标注数据的可靠性，在TensorFlow框架下编写深度学习手势分类模型并进行模型训练，训练后...

【专利技术属性】
技术研发人员：刘勇，邱锋，刘亮，潘雨粟，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33