一种基于显控台的人机交互方法及系统技术方案

本发明专利技术涉及一种基于显控台的人机交互方法及系统，所述方法包括如下步骤：获取用户的语音信息和手势信息；对所述语音信息进行语音识别，获得与所述语音信息对应的第一控制指令；根据所述手势信息确定手势，将所述手势与数据库中的手势模板进行匹配，所述数据库中包括多个不同的手势模板以及与所述手势模板一一对应的第二控制指令，根据匹配结果获得所述第二控制指令；比对所述第一控制指令和所述第二控制指令，根据比对结果确定最终控制指令；根据所述最终控制指令控制显控台执行对应的动作。本发明专利技术的技术方案能够提高人机交互的便捷性和安全性。

A Man-Machine Interaction Method and System Based on Display Console

The invention relates to a man-machine interaction method and system based on display console, which comprises the following steps: acquiring the user's voice information and gesture information; recognizing the voice information and obtaining the first control instruction corresponding to the voice information; determining the gesture according to the gesture information and matching the gesture template in the database; The database includes several different gesture templates and the second control instructions corresponding to the gesture template one by one. The second control instructions are obtained according to the matching results; the final control instructions are determined by comparing the first control instructions and the second control instructions; and the display console is controlled to perform the corresponding actions according to the final control instructions. The technical scheme of the invention can improve the convenience and safety of human-computer interaction.

【技术实现步骤摘要】
一种基于显控台的人机交互方法及系统
本专利技术涉及人机交互
，尤其涉及一种基于显控台的人机交互方法及系统。
技术介绍
显控台作为军用、交通等领域的电子装备信息平台，采用计算机信息处理技术、显示技术、触控技术和人机交互技术等，用于完成设备电源管理、图像显示和操作控制，可实现相关场景的态势显示、图形标绘、方案推演、动作捕捉和动态数据展示，具有人机交互性强、模块化程度高、舒适度好等优势，在军用、交通等领域的指挥控制系统中发挥重要作用。现有的显控台大多通过显示器、键盘、鼠标或触摸屏完成人机交互。但是，一方面，需要借助键盘、鼠标等辅助设备，人机交互不够便捷；另一方面，只需通过点击等输入就能实现控制，交互过程不够安全，存在安全隐患。
技术实现思路
针对上述现有技术的不足，本专利技术提供一种基于显控台的人机交互方法及系统。本专利技术解决上述技术问题的技术方案如下：第一方面，本专利技术提供了一种基于显控台的人机交互方法，所述方法包括如下步骤：获取用户的语音信息和手势信息。对所述语音信息进行语音识别，获得与所述语音信息对应的第一控制指令。根据所述手势信息确定手势，将所述手势与数据库中的手势模板进行匹配，所述数据库中包括多个不同的所述手势模板以及与所述手势模板一一对应的第二控制指令，根据匹配结果获得所述第二控制指令。比对所述第一控制指令和所述第二控制指令，根据比对结果确定最终控制指令。根据所述最终控制指令控制显控台执行对应的动作。第二方面，本专利技术提供了一种基于显控台的人机交互系统，其特征在于，包括：获取模块，获取用户的语音信息和手势信息。语音识别模块，对所述语音信息进行语音识别，获得与所述语音信息对应的第一控制指令。手势匹配模块，根据所述手势信息确定手势，将所述手势与数据库中的手势模板进行匹配，所述数据库中包括多个不同的所述手势模板以及与所述手势模板一一对应的第二控制指令，根据匹配结果获得所述第二控制指令。比对模块，比对所述第一控制指令和所述第二控制指令，根据比对结果确定最终控制指令。控制模块，根据所述最终控制指令控制显控台执行对应的动作。本专利技术的基于显控台的人机交互系统及方法的有益效果是：获取用户的语音信息和手势信息，可通过不同的通道输入用户的语音信息和手势信息，能够避免信息冲突，对语音信息进行语音识别，确定用户的意图，获得与该语音信息对应的第一控制指令，并根据手势信息确定用户的手势，将手势与数据库中的手势模板进行匹配，能够快速确定与该手势信息对应的第二控制指令。比对第一控制指令和第二控制指令，当第一控制指令与第二控制指令相同时，确定第一控制指令为最终控制指令，当第一控制指令与第二控制指令不同时，可提示用户重新输入语音信息和手势信息，根据最终控制指令就可控制显控台执行对应的动作。本专利技术中通过语音和手势进行交互，不需另外设置辅助设备，简单便捷，并且将语音信息对应的第一控制指令和手势信息对应的第二控制指令进行对比，只有两个控制指令相同时，确定最终控制指令，能够有效保证交互过程中的安全。附图说明图1为本专利技术实施例提供的一种基于显控台的人机交互方法的流程示意图；图2为本专利技术实施例提供的一种基于显控台的人机交互系统的结构示意图。具体实施方式以下结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。如图1所示，本专利技术实施例提供的一种基于显控台的人机交互方法，所述方法包括如下步骤：S110，获取用户的语音信息和手势信息。S120，对所述语音信息进行语音识别，获得与所述语音信息对应的第一控制指令。S130，根据所述手势信息确定手势，将所述手势与数据库中的手势模板进行匹配，所述数据库中包括多个不同的所述手势模板以及与所述手势模板一一对应的第二控制指令，根据匹配结果获得所述第二控制指令。S140，比对所述第一控制指令和所述第二控制指令，根据比对结果确定最终控制指令。S150，根据所述最终控制指令控制显控台执行对应的动作。本实施例中，获取用户的语音信息和手势信息，可通过不同的通道输入用户的语音信息和手势信息，能够避免信息冲突，对语音信息进行语音识别，确定用户的意图，获得与该语音信息对应的第一控制指令，并根据手势信息确定用户的手势，将手势与数据库中的手势模板进行匹配，能够快速确定与该手势信息对应的第二控制指令。比对第一控制指令和第二控制指令，当第一控制指令与第二控制指令相同时，确定第一控制指令为最终控制指令，当第一控制指令与第二控制指令不同时，可提示用户重新输入语音信息和手势信息，根据最终控制指令就可控制显控台执行对应的动作。本专利技术中通过语音和手势进行交互，不需另外设置辅助设备，简单便捷，并且将语音信息对应的第一控制指令和手势信息对应的第二控制指令进行对比，只有两个控制指令相同时，确定最终控制指令，能够有效保证交互过程中的安全。优选地，通过语音通道输入用户的语音信息，并通过手势通道输入用户的手势信息。具体地，通过不同的通道输入用户的语音信息和手势信息，能够避免信息冲突，对语音信息和手势信息进行分开处理。优选地，根据需要选择语音通道或者手势通道，当选择其中一路通道输入对应的信息时，关闭另一路通道，确定输入的信息对应的控制指令为最终控制指令。具体地，当需要加快交互速度，减少交互步骤时，可根据需要选择对应的通道，并关闭另一路通道，通过选择的通道输入对应的信息，确定该信息对应的控制指令，该控制指令即为最终控制指令。能够在需要时，提高交互速度，实现快速控制。优选地，所述对所述语音信息进行语音识别，获得与所述语音信息对应的第一控制指令具体包括如下步骤：对所述语音信息进行滤波和分帧，获得预处理后的语音信息。基于线性预测倒谱系数，对所述预处理后的语音信息进行特征提取，获得特征向量。根据所述数据库中预先存储的声学模型和语言模型对所述特征向量进行解码，获得所述第一控制指令。具体地，首先对语音信息进行预处理，切除语音信息首端和尾端的静音部分，能够避免静音部分对后续步骤造成干扰，并对切除后的语音信息进行声音分帧，切割成多段，相邻帧之间部分重叠。通过对语音帧信息进行预加重、分帧、加窗、自相关分析，而后提取出线性预测倒谱系数，对语音帧信息分析处理，能够去除对语音识别无关紧要的冗余信息，便于后续识别解码。在声学模型中根据声学特征计算每个特征向量在声学特征上的分值，而语言模型中根据语言学的相关理论，计算出该语音信息对应可能的词组序列的概率，根据数据库中的字典，对词组序列进行解码，得到对应的文本信息，进而确定第一控制指令，具体解码过程为现有技术，此处不再赘述。其中，声学模型是通过对大量语音数据进行训练获得的，语言模型是对大量文本信息进行训练获得的。优选地，其特征在于，所述根据所述手势信息确定手势的具体实现为：每间隔标定时间提取所述手势信息中的关键帧数据，所述关键帧数据包括手部坐标，根据不同时刻的所述关键帧数据中的所述手部坐标的相对位置和方向向量，确定所述手势。具体地，可通过LeapMotion体感控制器获取用户的手势信息，每一帧都包括对应时刻用户手的位置，根据手部坐标的相对位置和方向向量确定手势，例如：获取的手部数据中只有一只手的数据时，后面关键帧中的手部坐标与前面关键帧中的手部坐标相比，只有一个方向轴上的坐标发生改变时，则手做平移运动，如本文档来自技高网...

【技术保护点】
1.一种基于显控台的人机交互方法，其特征在于，所述方法包括如下步骤：获取用户的语音信息和手势信息；对所述语音信息进行语音识别，获得与所述语音信息对应的第一控制指令；根据所述手势信息确定手势，将所述手势与数据库中的手势模板进行匹配，所述数据库中包括多个不同的所述手势模板以及与所述手势模板一一对应的第二控制指令，根据匹配结果获得所述第二控制指令；比对所述第一控制指令和所述第二控制指令，根据比对结果确定最终控制指令；根据所述最终控制指令控制显控台执行对应的动作。

【技术特征摘要】
1.一种基于显控台的人机交互方法，其特征在于，所述方法包括如下步骤：获取用户的语音信息和手势信息；对所述语音信息进行语音识别，获得与所述语音信息对应的第一控制指令；根据所述手势信息确定手势，将所述手势与数据库中的手势模板进行匹配，所述数据库中包括多个不同的所述手势模板以及与所述手势模板一一对应的第二控制指令，根据匹配结果获得所述第二控制指令；比对所述第一控制指令和所述第二控制指令，根据比对结果确定最终控制指令；根据所述最终控制指令控制显控台执行对应的动作。2.根据权利要求1所述的基于显控台的人机交互方法，其特征在于，所述对所述语音信息进行语音识别，获得与所述语音信息对应的第一控制指令具体包括如下步骤：对所述语音信息进行滤波和分帧，获得处理后的语音信息；基于线性预测倒谱系数，对所述处理后的语音信息进行特征提取，获得特征向量；根据所述数据库中预先存储的声学模型和语言模型对所述特征向量进行解码，获得所述第一控制指令。3.根据权利要求1所述的基于显控台的人机交互方法，其特征在于，所述根据所述手势信息确定手势的具体实现为：每间隔标定时间提取所述手势信息中的关键帧数据，所述关键帧数据包括手部坐标，根据不同时刻的所述关键帧数据中的所述手部坐标的相对位置和方向向量，确定所述手势。4.根据权利要求1至3任一项所述的基于显控台的人机交互方法，其特征在于，所述根据比对结果确定最终控制指令的具体实现为：当所述第一控制指令与所述第二控制指令相同时，确定所述最终控制指令，所述最终控制指令为所述第一控制指令。5.根据权利要求4所述的基于显控台的人机交互方法，其特征在于，所述根据比对结果确定最终控制指令还包括如下步骤：当所述第一控制指令与所述第二控制指令不同时，提示用户重新输入所述语音...

【专利技术属性】
技术研发人员：杜子飞，
申请(专利权)人：湖北安心智能科技有限公司，
类型：发明
国别省市：湖北,42