一种低功耗手势交互系统技术方案

本发明专利技术公开了一种低功耗手势交互系统，包括处理器、图像传感器、运动传感器、存储器、无线蓝牙射频模块和移动终端。图像传感器采集手势图像数据，处理器对手势数据进行识别后，实时传输至手机、Pad等移动终端，实现人机交互。另一方面，运动传感器穿戴在手腕上实时采集运动情况，根据加速度来调节图像采样帧率降低功耗，同时根据角速度使系统进入不同的工作模式以最大化降低系统功耗。本发明专利技术的低功耗控制器是一种无线智能化的非接触式人机交互装置，适用于室内外场景，携带方便。

A low power gesture interaction system

The invention discloses a low power consumption gesture interaction system, which comprises a processor, an image sensor, a motion sensor, a memory, a wireless Bluetooth radio frequency module and a mobile terminal. The image sensor collects the gesture and image data, and the processor identifies the gesture data and then transfers them to the mobile terminal such as mobile phone, Pad and so on to realize human-computer interaction. On the other hand, the motion sensor worn on the wrist movement according to the real-time data acquisition, image sampling to adjust the acceleration and angular velocity to reduce power consumption, to bring the system into different working modes to maximize reduce the power consumption of the system. The low power controller of the invention is a wireless intelligent non-contact human-computer interaction device, which is suitable for indoor and outdoor scenes and is easy to carry.

【技术实现步骤摘要】
一种低功耗手势交互系统
本专利技术涉及虚拟现实领域，特别涉及一种低功耗手势交互系统。
技术介绍
机器人、虚拟现实产业的迅速发展，促进了自然人机交互技术的快速发展。人机交互技术，其目的是使人与机的交互，具备人与人、人与现实世界之间的交流融洽性。人机交互技术从鼠标、键盘这类接触性交互方式，发展到基于手势、语言、姿态、生理等方式的非接触性交互方式。交互方式的衍化使得人机交互更加自然、方便。在手势感知交互方面，主要有两种通道感知：视觉和运动感知。通过视觉图像采集识别出手势语义主要基于深度相机和光学相机；通过手指关节弯曲获取手势信息主要依赖数据手套。相机易受环境光影响，数据手套不易于穿戴且有传感器漂移。结合两种通道的信息可以弥补一定的缺陷。可穿戴设备是物联网时代下的产物，其采用独立操作系统，由人体佩戴、实现智能的持续交互。可穿戴设备与人体的结合，广泛应用于医疗、健康、娱乐、运动中；通过这些设备，人可以更好的感知外部与自身的信息。随着半导体制造类工艺的快速发展，嵌入式智能系统功能越来越复杂，用户体验不断提升，处理器功耗也大幅提升。对于移动嵌入式系统，续航特性尤其重要，低功耗特性是嵌入式的发展趋势。目前而言，应用最广泛的降低功耗的方法主要是动态电源管理(DPM)技术和动态调频(DFS)技术。动态电源管理技术是一种电源管理机制，它允许在系统运行时动态管理电源，根据实际情况将不需要的或者部分使用的组件电源关闭。嵌入式设备中的处理器和存储器等部件是由CMOS电路构成，所需要的功耗同CMOS开关频率、供电电压成正比。在CPU运行过程中，CPU负载是不断变化的，在负载小时适当降低CPU工作频率，负载大时相应提高工作频率，可以动态调节功耗。结合两种功耗管理技术，根据系统的运行状况调整硬件工作状态，可以合理降低功耗。如果系统一直以很高的帧率进行图像采集，会导致移动设备的功耗大大增加，减少移动设备的续航时间。在手势运动较慢时，手势的移动相对范围小，相似度较高，此时可以降低采样帧率，不仅可以降低采样消耗功率，而且可以减少计算量从而降低功率。通常而言，根据图像之间的计算判断手势移动的快慢会带来较大的计算量，从而带来较大的功耗。
技术实现思路
本专利技术所要解决的技术问题是：针对现有技术的缺陷，提出一种低功耗手势交互系统，是一种同时获取视觉信号与运动信号的双通道采集装置，为充分延长设备续航性，通过运动传感器获取的加速度来调节图像采样帧率降低功耗，同时根据加速度判定设备运动状态。这种方法相比通过图像之间的计算来判定运动状态来说计算量要少很多，功耗更低。本专利技术为实现上述应用，采用以下技术方案：一种低功耗手势交互系统，包括处理器、图像传感器、加速度计、存储器、无线蓝牙射频模块和移动终端；所述两个传感器(加速度计和图像传感器)分别与处理器相连，处理器分别与存储器、无线蓝牙射频模块相连。图像传感器获取手势图像数据，处理器通过图像传感器获取手势图像数据，对手势进行识别，识别结果存储于存储器，并通过无线蓝牙射频模块发送到移动终端，实现交互。同时，加速度计获取手势运动数据中的加速度，处理器根据加速度信息调节图像采集帧率，由此实现功耗控制。进一步地，所述处理器通过以下方法调节图像传感器的采集帧率：(1)分离重力加速度，得到手部由于运动引起的加速度合成gx＝g·sinρ(1)gy＝g·sinγ·cosρ(2)式中ax、ay、az是加速度计输出的由重力加速度分量和由于运动引起的线性加速度分量合成，gx、gy、gz分别为静态重力加速度在加速度计三轴方向的分量，ρ、γ分别是手部俯仰角和横滚角，是手部运动引起的三轴加速度分量，是手部运动引起的加速度合成值。(2)获得运动加速度后，可通过下式得到手部的运动速度：其中，Vt为t时刻装置运动方向速度，Vt0为t0时刻装置手部运动方向速度。(3)图像传感器系统采样帧率f＝15+σ·Vt，σ为常量系数，取σ为50。进一步地，所述系统还包括陀螺仪，陀螺仪获取手势运动数据中的角速度，处理器根据角速度信息调节系统的工作模式(包括运行、空闲和休眠)，所述运行模式为正常模式，其功耗不进行额外节制；所述空闲模式为低功耗模式，其功耗有部分降低；所述休眠模式为超低功耗模式，其功耗远低于前两者，此时系统等待唤醒，具体为：通过运动传感器中三轴陀螺仪获取三轴角速度，任意一轴角速度都小于0.05度/秒超过3秒时，使得系统进入空闲模式；保持空闲模式30s后，控制系统进入休眠模式；否则系统处于运行模式。所述的工作模式的智能切换，其特征在于：(1)所述运行模式为：处理器处于全速运行状态，工作频率为最高频率，处理器所需外围接口皆处于工作状态，图像传感器以30帧每秒进行采集，无线蓝牙将识别结果实时传输至移动终端、存储器实时存储识别数据。(2)所述空闲模式为：处理器降低工作频率，仅用于满足运动传感器需求(加速度计和陀螺仪)；图像传感器停止采集，无线蓝牙停止传输，存储器停止存储。运动传感器继续采集运动数据并发送给处理器进行识别，以识别后续的工作模式。(3)所述休眠模式为：处理器降低工作频率，仅用于满足运动传感器需求(加速度计和陀螺仪)；图像传感器停止采集，无线蓝牙停止传输，存储器停止存储。运动传感器每隔3s采集运动数据。采用以上技术方案实现的应用具有以下特点：1、利于穿戴：采集视觉信号和运动信号的可穿戴式设备穿戴方便，辅助LED可获取光质较好的视觉信号，同时运动信号可辅助手势识别以及低功耗模式识别。2、低功耗：功耗优化为系统集成优化，所用组件都是低功耗器件，传输方式采用低功耗蓝牙传输，通过运动信号进行图像采集帧率调节和节能模式识别，这种方法比直接利用图像之间的计算来判别，具有更小的计算量，从而降低功耗。3、独立单元：系统性能强大，在本地节点进行识别计算，移植性强，可兼容任何平台。附图说明图1系统应用框图；图2控制器架构框图；图3低功耗状态转移图。具体实施方式下面结合附图和具体实例对本专利技术的实施做具体描述：本专利技术公开了一种低功耗手势交互系统，其应用场景说明如图1所示，所述系统适用于面向手势语义的人机交互领域中，如教育、体育、娱乐等，具体应用场景如智能终端PPT演示、远程遥控、沉浸式体感游戏等，都可将本专利技术装置融入其中。本专利技术装置所无线连接的终端可以是PC、Pad、手机等智能终端设备。本专利技术装置的组成框图如图2所示。当使用者将运动传感器(加速度计和陀螺仪)穿戴在手腕上后，开启设备。设备自动进入初始化状态，通过无线蓝牙与智能终端建立稳定的连接。初始化成功后，进入运行状态。图像传感器获取手势图像数据，处理器通过图像传感器获取手势图像数据，对手势进行识别，识别结果存储于存储器，并通过无线蓝牙射频模块发送到移动终端，移动终端根据手势语义进行结果呈现。低功耗智能调节方法是本专利技术的核心。所述的低功耗智能调节方法基于运动信号，加速度计获取手势运动数据中的加速度，通过无线、蓝牙等方式发送给处理器，处理器根据加速度信息调节图像采集帧率，由此实现功耗控制，具体如下：(1)分离重力加速度，得到手部由于运动引起的加速度合成gx＝g·sinρ(1)gy＝g·sinγ·cosρ(2)式中ax、ay、az是加速度计输出的由重力加速度分量和由于运动引起的线性加速度分量合成，gx、gy、gz分别为本文档来自技高网...

【技术保护点】
一种低功耗手势交互系统，其特征在于：包括处理器、图像传感器、加速度计、存储器、无线蓝牙射频模块和移动终端；所述加速度计和图像传感器分别与处理器相连，处理器与存储器、无线蓝牙射频模块相连。图像传感器获取手势图像数据，处理器通过图像传感器获取手势图像数据，对手势进行识别，识别结果存储于存储器，并通过无线蓝牙射频模块发送到移动终端，实现交互。同时，加速度计获取手势运动数据中的加速度，处理器根据加速度信息调节图像采集帧率，由此实现功耗控制。

【技术特征摘要】
1.一种低功耗手势交互系统，其特征在于：包括处理器、图像传感器、加速度计、存储器、无线蓝牙射频模块和移动终端；所述加速度计和图像传感器分别与处理器相连，处理器与存储器、无线蓝牙射频模块相连。图像传感器获取手势图像数据，处理器通过图像传感器获取手势图像数据，对手势进行识别，识别结果存储于存储器，并通过无线蓝牙射频模块发送到移动终端，实现交互。同时，加速度计获取手势运动数据中的加速度，处理器根据加速度信息调节图像采集帧率，由此实现功耗控制。2.根据权利要求1所述的系统，其特征在于，所述处理器通过以下方法调节图像传感器的采集帧率：(1)分离重力加速度，得到手部由于运动引起的加速度合成gx＝g·sinρ(1)gy＝g·sinγ·cosρ(2)式中ax、ay、az是加速度计输出的三轴加速度，gx、gy、gz分别为静态重力加速度在加速度计三轴方向的分量，ρ、γ分别是手部俯仰角和横滚角，是手部运动引起的三轴加速度分量，是手部运动引起的加速度合成值。(2)获...

【专利技术属性】
技术研发人员：金文光，吴贤为，杨华勇，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33