驾驶情境下手势交互控制系统技术方案

本发明专利技术公开了一种驾驶情境下手势交互控制系统，包括：佩戴在驾驶员手中的手势腕带，以及带有显示屏的用户终端设备；其中：手势腕带，用于通过内置传感器采集用户手臂的表面肌电信号和运动轨迹，并对采集到的数据依次进行预处理、特征提取及分类器识别操作，再将获得手势识别结果发送至用户终端设备；用户终端设备，用于接收手势识别结果，并对其进行解析，若解析结果对应预先设定的控制指令，且相应的控制指令能够应用于当前显示的界面，则触发相应控制操作并通过显示屏反馈给用户。该系统基于表面肌电和运动传感器信号的手势识别技术，并通过模式识别算法对其分类识别，并将识别结果用作驾驶中交互应用的控制指令，完成行车过程的交互需求。

Gesture interaction control system in driving environment

The invention discloses a driving situation gesture control system, including: hand gestures wristband worn on the driver, and the user terminal equipment with a display screen; wherein the gesture wristbands for through the surface EMG signal and the motion trajectory of the built-in sensor to collect user of the arm, and the collected data are preprocessed, characteristics the extraction and recognition of the operation, and then gets the gesture recognition result is sent to the user terminal equipment; the user terminal device for receiving the gesture recognition results, and analyzes the control instruction, if the corresponding analytical results set in advance, and the corresponding control instructions can be applied to the current display interface, can trigger the corresponding operation and feedback control to the user through the display screen. The system of gesture recognition technology and surface EMG signals based on motion sensor, and through the pattern recognition algorithm on the classification and recognition, and the recognition results are used to control the application of driving instruction interaction in the interactive process of traffic demand.

【技术实现步骤摘要】
驾驶情境下手势交互控制系统
本专利技术涉及人机交互控制领域，尤其涉及一种驾驶情境下手势交互控制系统。
技术介绍
在行车过程中，驾驶员经常需要对音乐播放、导航、接拨电话以及接收短信等应用进行控制，开车中因直接使用手机引发的交通事故早已屡见不鲜，因此，各类面向驾驶环境的人机交互应用逐渐在市场涌现。在现有的驾驶交互方案及系统中，存在多种以物理按键、旋钮为交互手段的交互系统，该类交互系统将显示屏、按键、旋钮等置于中控台，通过蓝牙或其他无线技术连接手机，实现音乐、导航、电话、短信等交互应用。在现有的驾驶交互方案及系统中，存在多种以触摸屏作为交互手段的交互系统，该类交互系统用触摸屏取代显示屏和部分物理按键，相较于物理按键、旋钮可以节省中控台空间，但一定程度上增加了误操作的可能。在现有的驾驶交互方案及系统中，存在多种以语音控制作为交互手段的交互系统，该类交互系统通过语音识别模块识别驾驶员发出的控制指令，实现特定应用的控制。在上述驾驶交互方案及系统中，通过触摸屏及物理旋钮、按键的交互方式最为常见，此种方式需要驾驶员不时分散注意力操纵中控台。同时，通过语音技术完成交互的控制系统在越来越多的车型上得到应用，语音识别的特点是直观、无触碰，但对复杂指令的响应可能造成错误识别。在过去的30年，基于手势识别的交互控制技术被研究人员广泛关注并成功应用于医疗、健康、游戏等领域；但是，驾驶情境下目前还没有较为完善的手势交互方案。
技术实现思路
本专利技术的目的是提供一种驾驶情境下手势交互控制系统，驾驶员可以通过小幅度、非显见的手势动作准确、安全地选择并执行选定的功能，减少误操作同时无需分散驾驶精力，提高行驶安全。本专利技术的目的是通过以下技术方案实现的：一种驾驶情境下手势交互控制系统，包括：佩戴在驾驶员手中的手势腕带，以及带有显示屏的用户终端设备；其中：所述手势腕带，用于通过内置传感器采集用户手臂的表面肌电信号和运动轨迹，并对采集到的数据依次进行预处理、特征提取及分类器识别操作，再将获得手势识别结果发送至用户终端设备；所述用户终端设备，用于接收手势识别结果，并对其进行解析，若解析结果对应预先设定的控制指令，且相应的控制指令能够应用于当前显示的界面，则触发相应控制操作并通过显示屏反馈给用户。所述手势腕带包括：表面肌电信号采集单元，其利用肌电传感器采集用户手臂的表面肌电信号；运动轨迹采集单元，其利用加速度计、陀螺仪与磁力计采集用户手臂的运动轨迹；系统控制及处理单元，用于对采集到的数据依次进行预处理、特征提取及分类器识别操作，获得手势识别结果；通信单元，用于将手势识别结果发送至用户终端设备。所述用户终端设备包括：数据接收单元，用于接收手势识别结果，并对其进行解析；功能控制单元，用于判定解析结果是否对应预先设定的控制指令，若是，则触发相应控制操作；显示单元，即显示屏，用于控制操作反馈给用户。所述用户终端设备包括：智能手机或者多媒体导航仪；预先设定的控制指令包括：音乐播放器、电话应用、短信应用与导航应用中的功能切换；或者，音乐播放器中音乐的播放、暂停、上一曲、下一曲或者停止和返回；或者，电话应用中呼叫设置的联系人、拨号、接听或者挂断；或者，短信应用中朗读短信、停止朗读和返回、上一条或者下一条；或者，导航应用中缩小地图尺寸、放大地图尺寸、设置目的地、开始导航或者取消和返回。手势识别结果与控制指令的对应关系如下：手势动作1：掌心向下，沿顺时针方向旋转手掌90度，其识别记为手势识别结果1；手势动作2：握拳，其识别记为手势识别结果2；手势动作3：伸掌并曲腕向内，其识别记为手势识别结果3；手势动作4：伸掌并曲腕向外，其识别记为手势识别结果4；手势动作5：握拳，拇指连续弯曲两下，其识别记为手势识别结果5；手势动作6：伸掌，其识别记为手势识别结果6；其中：手势识别结果1对应的控制指令S1包括：音乐播放器、电话应用、短信应用与导航应用中的功能切换；手势识别结果2对应的控制指令S2包括：音乐播放器中音乐的播放与暂停，电话应用中的接听与呼叫联系人，短信应用中朗读短信，以及导航应用中的开始导航；手势识别结果3对应的控制指令S3包括：音乐播放器中的上一曲，短信应用中的上一条，以及导航应用中的缩小地图尺寸；手势识别结果4对应的控制指令S4包括：音乐播放器中的下一曲，短信应用中的下一条，以及导航应用中的放大地图尺寸；手势识别结果5对应的控制指令S5包括：电话应用中设置联系人，以及导航应用中的设置目的地；手势识别结果6对应的控制指令S6包括：音乐播放器中的停止和返回，电话应用中的挂断，短信应用中的停止朗读和返回，导航应用中的取消和返回。所述若解析结果对应预先设定的控制指令，且相应的控制指令能够应用于当前显示的界面，则触发相应控制操作包括：在功能选择界面，共响应2条控制指令：S1用于户功能切换，S2用于确认并进入下级应用。对于控制指令S3～S6不响应；在音乐播放器界面下，共响应4条控制指令：S3用于控制切换至上一曲，S4用于控制切换至下一曲，S2用于控制播放和暂停，S6用于控制停止和返回；对于控制指令S1与S5不响应；在导航界面下，共响应5条控制指令：S3用于控制缩小地图尺寸，S4用于放大地图尺寸，S5用于设置目的地，S2用于开始导航，S6用于取消和返回；对于控制指令S1不响应；在电话界面下，共响应3条控制指令：S5用于设置联系人，S2用于确认并拨号，S6用于挂断；对于控制指令S1、S3与S4不响应；在短信界面下，共响应4条控制指令：S3用于控制切换上一条，S4用于控制切换下一条，S2用于语音播放短信内容，S6用于停止朗读和返回；对于控制指令S1与S5不响应；当有短信时，用户终端设备自动弹出短信界面，此时仅响应控制指令S2朗读短信和S6停止朗读和返回。由上述本专利技术提供的技术方案可以看出，基于表面肌电和运动传感器信号的手势识别技术，通过定义多组非显见、小幅度的手势动作，并通过模式识别算法对其分类识别，最终将识别结果用作驾驶中交互应用的控制指令，在保障汽车行驶安全的前提下，完成行车过程的交互需求。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。图1为本专利技术实施例提供的一种驾驶情境下手势交互控制系统的示意图；图2为本专利技术实施例提供的多媒体导航仪为例的驾驶环境场景示意图；图3为本专利技术实施例提供的非显见动作与显见动作的区分示意图；图4为本专利技术实施例提供的驾驶情境下手势交互控制系统的工作流程图；图5为本专利技术实施例提供的功能选择界面示意图；图6为本专利技术实施例提供的音乐播放器界面示意图；图7为本专利技术实施例提供的导航界面示意图；图8为本专利技术实施例提供的电话界面示意图；图9为本专利技术实施例提供的短信界面示意图。具体实施方式下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。本专利技术实施例提供一种驾驶情境下手势交本文档来自技高网...

【技术保护点】
一种驾驶情境下手势交互控制系统，其特征在于，包括：佩戴在驾驶员手中的手势腕带，以及带有显示屏的用户终端设备；其中：所述手势腕带，用于通过内置传感器采集用户手臂的表面肌电信号和运动轨迹，并对采集到的数据依次进行预处理、特征提取及分类器识别操作，再将获得手势识别结果发送至用户终端设备；所述用户终端设备，用于接收手势识别结果，并对其进行解析，若解析结果对应预先设定的控制指令，且相应的控制指令能够应用于当前显示的界面，则触发相应控制操作并通过显示屏反馈给用户。

【技术特征摘要】
1.一种驾驶情境下手势交互控制系统，其特征在于，包括：佩戴在驾驶员手中的手势腕带，以及带有显示屏的用户终端设备；其中：所述手势腕带，用于通过内置传感器采集用户手臂的表面肌电信号和运动轨迹，并对采集到的数据依次进行预处理、特征提取及分类器识别操作，再将获得手势识别结果发送至用户终端设备；所述用户终端设备，用于接收手势识别结果，并对其进行解析，若解析结果对应预先设定的控制指令，且相应的控制指令能够应用于当前显示的界面，则触发相应控制操作并通过显示屏反馈给用户。2.根据权利要求1所述的一种驾驶情境下手势交互控制系统，其特征在于，所述手势腕带包括：表面肌电信号采集单元，其利用肌电传感器采集用户手臂的表面肌电信号；运动轨迹采集单元，其利用加速度计、陀螺仪与磁力计采集用户手臂的运动轨迹；系统控制及处理单元，用于对采集到的数据依次进行预处理、特征提取及分类器识别操作，获得手势识别结果；通信单元，用于将手势识别结果发送至用户终端设备。3.根据权利要求1所述的一种驾驶情境下手势交互控制系统，其特征在于，所述用户终端设备包括：数据接收单元，用于接收手势识别结果，并对其进行解析；功能控制单元，用于判定解析结果是否对应预先设定的控制指令，若是，则触发相应控制操作；显示单元，即显示屏，用于控制操作反馈给用户。4.根据权利要求1所述的一种驾驶情境下手势交互控制系统，其特征在于，所述用户终端设备包括：智能手机或者多媒体导航仪；预先设定的控制指令包括：音乐播放器、电话应用、短信应用与导航应用中的功能切换；或者，音乐播放器中音乐的播放、暂停、上一曲、下一曲或者停止和返回；或者，电话应用中呼叫设置的联系人、拨号、接听或者挂断；或者，短信应用中朗读短信、停止朗读和返回、上一条或者下一条；或者，导航应用中缩小地图尺寸、放大地图尺寸、设置目的地、开始导航或者取消和返回。5.根据权利要求4所述的一种驾驶情境下手势交互控制系统，其特征在于，手势识别结果与控制指令的对应关系如下：手势动作1：掌心向下，沿顺时针方向旋转手掌90度，其识别记为手势识别结果1；手势动作2：握拳，其识别记为手势识别结果2；手势动作3：伸掌并曲腕向内，其识别记为手势识别结果3；手势...

【专利技术属性】
技术研发人员：陈思同，陈香，张旭，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽,34