一种基于单目手势控制的桌面交互系统技术方案

本发明专利技术提出一种基于单目手势控制的桌面交互系统，所述系统包括中控模块、手势检测模块、数据传输模块和反馈模块；所述交互系统整体嵌入桌面或独立外设；所述中控模块对检测到的用户手势图像进行处理分析，得到手势命令，并将手势命令通过数据传输模块发送至受控设备或后台，具体为：通过单目摄像头检测用户手势图像，从检测到的用户手势图像中提取基于用户手形和姿态的静态手势，结合前序提取结果提取基于时序特征变化的动态手势，根据预设对应关系，将提取的手势结果转换为对应的手势命令并输出至受控设备或后台。所述系统检测准确、控制灵敏，成本低、体积小、功耗低，支持用户自定义手势，操作体验好，并可为复杂的控制及数据交互提供支持。

A desktop interactive system based on monocular gesture control

【技术实现步骤摘要】
一种基于单目手势控制的桌面交互系统
本专利技术属于手势控制
，特别是涉及一种基于单目手势控制的桌面交互系统。
技术介绍
桌面控制与互动是人机交互的主要应用方向之一。在办公领域中，电动升降桌是现代办公中广泛采用的办公设备，可以通过调节桌面高度提供站/坐两种办公位置。而在消费娱乐领域中，各类多媒体触控桌面也为人机交互提供了多样的选择。然而，目前桌面交互大多采用实体按钮或触屏进行控制，操作区域及灵活性受限，且桌面通常需要为控制区预留空间，影响正常使用。基于单目摄像头的手势控制能够实现大操作区域内的非接触式操作，可以为用户提供便捷、自然的交互体验，相较于实体按钮及触屏，所支持的手势更为灵活多样，从而能够为复杂的交互控制提供支持。同时，桌面硬件结构只需为摄像头镜头提供安装口，对桌面平整度影响小，不占用桌面空间，无需手势功能时可作为普通桌面使用。此外，相较于其他摄像头方案如深度摄像头、多角度成像等，单目摄像头成本低、结构简单、易于安装与维护，更有利于产品化及批量化。目前的桌面交互系统中，使用实体按键及触屏设备需要预留按键位及触屏位，操作区域及灵活性受限，且桌面通常需要为控制区预留空间，影响正常使用。操作方式较为固定，定制化程度不高，通常不支持用户自定义操作，对复杂系统支持有限。而使用红外边框的交互系统，边框通常高于桌面，影响桌面平整度。使用投影的交互系统则需要额外的安装空间，或者以外设形式使用，无法镶嵌于桌面内部。
技术实现思路
本专利技术目的是为了解决现有技术中的问题，提出了一种基于单目手势控制的桌面交互系统。本专利技术是通过以下技术方案实现的，本专利技术提出一种基于单目手势控制的桌面交互系统，所述系统包括中控模块、手势检测模块、数据传输模块和反馈模块；所述交互系统整体嵌入桌面或独立外设；所述中控模块分别与所述手势检测模块、数据传输模块和反馈模块相连接，用于控制其他各模块的运行；所述手势检测模块采用单目摄像头检测用户手势图像，所述中控模块对检测到的用户手势图像进行处理分析，得到手势命令，并将手势命令通过数据传输模块发送至受控设备或后台从而控制受控设备或后台执行所述手势命令对应的功能，所述中控模块还用于从受控设备或后台获取运行结果，所述运行结果通过反馈模块向用户提供反馈；所述中控模块对检测到的用户手势图像进行处理分析，得到手势命令，并将手势命令通过数据传输模块发送至受控设备或后台，具体为：通过单目摄像头检测用户手势图像，从检测到的用户手势图像中提取基于用户手形和姿态的静态手势，结合前序提取结果提取基于时序特征变化的动态手势，根据预设对应关系，将提取的手势结果转换为对应的手势命令并输出至受控设备或后台。进一步地，利用卷积神经网络进行静态手势提取，所述卷积神经网络层数不多于8层。进一步地，所述动态手势提取在静态手势提取基础上进行，所述交互系统存储着一段时间内提取到的静态手势序列，当提取到新的静态手势时，将当前提取结果与前序静态手势进行对比，提取该段时间内的位置变化、形态变化及姿态变化，从而得到动态手势。进一步地，所述动态手势还包括用户自定义手势，用户能够将交互系统支持的静态手势自行组合，录制符合自身操作习惯的动态手势，所述录制流程具体如下：步骤1、用户在操作区内做出自定义动态手势，交互系统通过单目摄像头进行录制；步骤2、用户通过交互系统对录制的视频进行二次截取，保留有效部分；步骤3、交互系统对截取后视频进行检测及分析；步骤4、输出并存储新的动态手势。进一步地，所述反馈模块用于向用户实时提供操作反馈，反馈模式包括视觉、声音及震动中的一种或多种。本专利技术的有益效果：1、将交互系统与传统桌面结合，提供便利的交互终端；2、使用手势控制进行人机交互，能够识别包括手部静态和动态手势，不局限于触摸操作，操作体验好，方便快捷；3、采用单目摄像头实现手势控制，成本低；4、不占用桌面空间，不使用手势控制时，桌面可正常使用；5、交互系统主体既可隐藏于办公桌本体内，保持办公桌整体外观简洁美观，也可作为桌面外设安装，结构灵活；6、交互系统体积小、功耗低、集成度高；7、交互系统既可控制桌面，也可控制其他设备，还可通过连接至数据后台，功能扩展性强。附图说明图1为本专利技术所述基于单目手势控制的桌面交互系统总体框图；图2为本专利技术所述基于单目手势控制的桌面交互系统总体运行流程图；图3为手势提取运行流程图；图4为静态手势提取流程图；图5为动态手势提取流程图；图6为动态手势录制流程图；图7为手势控制电动升降桌交互系统硬件结构及安装示意图；图8为手势控制电动升降桌桌面布局示意图；图9为外设式手势控制电动升降桌示意图；图10为多功能自助餐桌交互系统硬件结构及安装示意图；图11为多功能自助餐桌桌面布局示意图；图12为功能切换示意图。具体实施方式下面将结合本专利技术实施例中的附图对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。结合图1和图2，本专利技术提出一种基于单目手势控制的桌面交互系统，所述系统包括中控模块、手势检测模块、数据传输模块和反馈模块；所述交互系统整体嵌入桌面或独立外设；使用时，该系统作为面向用户的操作终端，用户可通过该系统控制桌面或其他连接至系统的设备，也可与后台进行数据交互。所述中控模块分别与所述手势检测模块、数据传输模块和反馈模块相连接，用于控制其他各模块的运行；所述手势检测模块采用单目摄像头检测用户手势图像，硬件上，手势检测模块摄像头能够捕获可见光至红外940nm以内谱段的光线，配合红外补光灯，以保证不同照明条件下的正常使用。所述中控模块对检测到的用户手势图像进行处理分析，得到手势命令，并将手势命令通过数据传输模块发送至受控设备或后台从而控制受控设备或后台执行所述手势命令对应的功能，所述中控模块还用于从受控设备或后台获取运行结果，所述运行结果通过反馈模块向用户提供反馈；结合图3，所述中控模块对检测到的用户手势图像进行处理分析，得到手势命令，并将手势命令通过数据传输模块发送至受控设备或后台，具体为：通过单目摄像头检测用户手势图像，从检测到的用户手势图像中提取基于用户手形和姿态的静态手势，结合前序提取结果提取基于时序特征变化的动态手势，根据预设对应关系，将提取的手势结果转换为对应的手势命令并输出至受控设备或后台。所述静态手势包括：1、握拳、伸出一个或多个手指等手部形态；2、手部旋转角、俯仰角等姿态特征；3、手部位置。所述动态手势包括：1、运动轨迹；2、静态特征的时序变化。系统采用针对低端嵌入式平台优化的卷积神经网络进行静态手势本文档来自技高网...

【技术保护点】
1.一种基于单目手势控制的桌面交互系统，其特征在于：所述系统包括中控模块、手势检测模块、数据传输模块和反馈模块；所述交互系统整体嵌入桌面或独立外设；/n所述中控模块分别与所述手势检测模块、数据传输模块和反馈模块相连接，用于控制其他各模块的运行；所述手势检测模块采用单目摄像头检测用户手势图像，所述中控模块对检测到的用户手势图像进行处理分析，得到手势命令，并将手势命令通过数据传输模块发送至受控设备或后台从而控制受控设备或后台执行所述手势命令对应的功能，所述中控模块还用于从受控设备或后台获取运行结果，所述运行结果通过反馈模块向用户提供反馈；/n所述中控模块对检测到的用户手势图像进行处理分析，得到手势命令，并将手势命令通过数据传输模块发送至受控设备或后台，具体为：通过单目摄像头检测用户手势图像，从检测到的用户手势图像中提取基于用户手形和姿态的静态手势，结合前序提取结果提取基于时序特征变化的动态手势，根据预设对应关系，将提取的手势结果转换为对应的手势命令并输出至受控设备或后台。/n

【技术特征摘要】
1.一种基于单目手势控制的桌面交互系统，其特征在于：所述系统包括中控模块、手势检测模块、数据传输模块和反馈模块；所述交互系统整体嵌入桌面或独立外设；
所述中控模块分别与所述手势检测模块、数据传输模块和反馈模块相连接，用于控制其他各模块的运行；所述手势检测模块采用单目摄像头检测用户手势图像，所述中控模块对检测到的用户手势图像进行处理分析，得到手势命令，并将手势命令通过数据传输模块发送至受控设备或后台从而控制受控设备或后台执行所述手势命令对应的功能，所述中控模块还用于从受控设备或后台获取运行结果，所述运行结果通过反馈模块向用户提供反馈；
所述中控模块对检测到的用户手势图像进行处理分析，得到手势命令，并将手势命令通过数据传输模块发送至受控设备或后台，具体为：通过单目摄像头检测用户手势图像，从检测到的用户手势图像中提取基于用户手形和姿态的静态手势，结合前序提取结果提取基于时序特征变化的动态手势，根据预设对应关系，将提取的手势结果转换为对应的手势命令并输出至受控设备或后台。


2.根据权利要求1所述的系统，其特征...

【专利技术属性】
技术研发人员：杜国铭，孙晅，冯大志，
申请(专利权)人：哈尔滨拓博科技有限公司，
类型：发明
国别省市：黑龙;23