本发明专利技术公开了一套基于感兴趣区实现辅助信息提示的人机接口设备及方法，其特点是分别采用摄像机或电磁跟踪器为输入设备、以可透视的头戴式显示器为输出设备，目标是向用户实时提供辅助提示信息；其实现原理是首先识别用户当前所视的目标对象（如飞机座舱仪表），然后将该目标对象对应的辅助提示信息显示在微型头盔显示器上，从而实现智能教学、训练或维修任务；在完成辅助信息提示时无须用户手动操作，因此可以方便地实现无手人机交互，可在飞机座舱、车辆驾驶室、车间操作台、手术室等多种环境下完成智能教学、训练与维修任务，还可以应用于战斗机飞行员头盔瞄准线测量等。
【技术实现步骤摘要】
本专利技术涉及增强现实及人工智能
，具体地讲是，分别采用数字摄像机或电磁跟踪器为输入设备、以可透视的头戴式显不器See-Through HMD为输出设备，目标是向用户实时提供辅助信息。
技术介绍
: 随着虚拟现实技术、增强现实技术及人工智能技术的发展，以智能人机系统为形式的计算机辅助教学、计算机辅助训练、计算机辅助维修、计算机辅助制造等逐步应用于包括国防、工业、教育、医学、娱乐在内的各个领域。在这些人机系统中，普通存在两个需要考虑的问题:一是人机接口问题，即用户在正常的训练、维修等操作中，经常不方便腾出手来使用键盘或鼠标进行输入；虽然语音输入可以免除用户手动操作，但语音识别技术在应用中对大词汇量、非特定词汇的识别率并不高，也不适用于嘈杂环境；肢体语言识别也是目前比较常见的一种人机交互方式，在很多游戏中都广泛采用，但对于座舱、操作台等工作环境经常不适合采用；所以，一套更稳定、可靠且精确的，可以免除用户动手操作的人机接口在很多应用中都非常必要；二是如何快速识别用户所看到的目标，进而向用户提供感兴趣的辅助信息。现有技术的辅助信息提示系统的使用方式是用户需要先确定需要辅助信息提示的对象，根据该对象的特征对相关技术资料(可以是电子版的)进行检索，然后以文字、图像、视频、声音等形式获得辅助信息，其主要时间浪费在根据对象特征进行信息检索的过程中，尤其是在资料量大、所需辅助信息多的情况下，这种辅助信息的获取方式效率很低。
技术实现思路
: 本专利技术的目的是克服上述已有技术的不足，提供基于感兴趣区实现辅助信息提示的人机接口设备。本专利技术的另一目的提供基于感兴趣区实现辅助信息提示的人机接口设备的方法。本专利技术主要解决现有的人机接口设备的语音输入不够可靠精确和肢体语言识别适用范围窄以及向用户提供感兴趣的提示信息效率低等问题。本专利技术的技术方案是:基于感兴趣区实现辅助信息提示的人机接口设备，其特殊之处在于它包括传感器、计算机和可透视的头戴式显示器See-Thixnigh HMD，传感器和可透视的头戴式显示器See-Through HMD分别与计算机通过线路连接。进一步，所述的人机接口设备还包括外加供电模块。进一步，所述的传感器为摄像机，佩戴在用户头部，摄像机视野的方向和范围应尽可能与用户视野重叠。进一步，所述的传感器为电磁跟踪器，电磁跟踪器的电磁场敏感终端佩戴在用户头部；电磁跟踪器的电磁场敏感终端与用户头部的相对位置关系应固定。进一步，所述的计算机根据具体应用环境的需要，可以是普通台式机、便携式计算机、可穿戴式计算机或图形工作站等高级计算机。进一步，所述可透视的头戴式显示器See-ThiOUgh HMD是辅助信息的输出设备，与计算机相连，根据需要，在计算机和可透视的头戴式显示器See-Thixnigh HMD之间设视频适配器。本专利技术提出了分别采用摄像机或电磁跟踪器为输入设备、以可透视的头戴式显示器为输出设备的两种先进人机接口实现方法；方法一是以摄像机为传感器，采用数字图像处理算法实现对用户视线的初步跟踪，再采用基于多模板的特征匹配算法准确识别出用户感兴趣的目标对象；方法二是预先建立目标所处空间(如飞机座舱)的三维数字模型，以电磁跟踪器为传感器，经校准后采用坐标变换实现对用户视线的精确跟踪，进而计算视线与空间模型的交点来识别出用户感兴趣的目标对象。对于两种方法，最终用户感兴趣对象的辅助提示信息均输出到微型头盔显示器上。实现本专利技术的基于感兴趣区实现辅助信息提示的人机接口设备的一种方法，其特殊之处在于包括如下步骤: (1)以工作对象为基准建立坐标系，进而建立目标对象组的三维空间数字模型，确定目标对象间的空间位置关系； ⑵利用各个目 标对象的图像制作可用于特征匹配的模板组； (3)利用MeanShift等跟踪算法实现对用户视线的初步跟踪，从而缩小特征匹配时模板搜索的范围； (4)根据用户视线的停留时间确定感兴趣区； (5)从摄像机中获取帧图像作为特征匹配的匹配图像； (6)在以感兴趣区为中心的一定范围内搜索模板图像，对搜索到的各个模板图像逐一与匹配图像进行特征匹配，其中匹配度最高的目标对象作为用户感兴趣对象； (7)将用户感兴趣对象对应的提示信息显示在微型头盔显示器上。实现本专利技术的基于感兴趣区实现辅助信息提示的人机接口设备的另一种方法，其特殊之处在于包括如下步骤: ⑴以工作对象为基准建立坐标系，进而建立目标对象组的三维空间数字模型； (2)采用电磁跟踪器对用户头部的位置与姿态进行跟踪定位；以Flockof Bird六自由度直流电磁跟踪器为例，该跟踪器由数据处理主机、发射器和电磁场敏感终端组成，数据处理主机与发射器安置于工作空间内的适当位置，电磁场敏感终端借助头盔或头套固定在用户头部; ⑶通过校准与坐标变换算法，计算机出用户头部与视线之间的变换矩阵，从而实现对用户视线的跟踪； (4)根据用户视线的停留时间确定感兴趣区； (5)计算用户视线与三维空间数字模型的交点，从而确定用户感兴趣的目标对象； (6)将目标对象对应的提示信息显示在微型头盔显示器上。本专利技术所述的与已有技术相比具有突出的实质性特点和显著进步，1、在完成辅助信息提示时无须用户手动操作，因此可以方便地实现无手人机交互，可在飞机座舱、车辆驾驶室、车间操作台、手术室等多种环境下完成智能教学、训练与维修任务，还可以应用于战斗机飞行员头盔瞄准线测量等；2、采用可透视的头戴式显示器See-Through HMD，这使得所有显示信息始终跟随用户头部移动，显示在用户眼前，用户不需要来回转动头部查找和观看显示信息，并且信息的提示不会像其它显示设备那样遮挡或者占用用户的视野；3、实现了从用户所见到获得对应辅助信息的全程快速自动化，整体效率大幅提升。附图说明: 图1是本专利技术的基本连接关系 图2是本专利技术的一种方法工作原理 图3基于SURF的Mean Shift目标区域自动初始化流程； 图4利用SURF算法实现Mean Shift自动模块更新的过程 图5人眼直视座舱参考点求解变换矩阵。图面说明: I传感器2计算机3可透视的头戴式显示器(See-Through HMD) 4摄像机6视频适配器7供电模块。具体实施方式: 为了更好地理解与实施，下面结合附图详细说明本专利技术的人机接口设备和实现方法；所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。实施例1，参见图1、2，选用摄像机4做为传感器1，根据需要计算机2选择穿戴式计算机，将摄像机4和可透视的头戴式显示器(See-Through HMD)3分别与计算机2通过线路连接，在计算机2和可透视的头戴式显示器(See-Through HMD)3之间连接视频适配器6，同时在计算机2上外加供电模块7，摄像机4视野的方向和范围与用户视野重叠，形成本专利技术实现方法一的人机接口 设备。实施例2，同实施例1，不同之处是选用电磁跟踪器做为传感器1，电磁跟踪器的电磁场敏感终端佩戴在用户头部，与用户头部的相对位置关系固定；根据需要计算机2选择便携式计算机；形成本专利技术实现方法二的人机接口设备。根据所采用传感器的不同，本系统的实现方法也不同。分为以下两种方法: 一、目标对象识别方法一(必须有摄像机、计算机、HMD) 方法一以本文档来自技高网...
【技术保护点】
基于感兴趣区实现辅助信息提示的人机接口设备，其特征在于它包括传感器（1）、计算机（2）和可透视的头戴式显示器See?Through?HMD（3），传感器（1）和可透视的头戴式显示器See?Through?HMD（3）分别与计算机（2）通过线路连接。
【技术特征摘要】
【专利技术属性】
技术研发人员：乔勇军，谢晓方，李德栋，孙涛，陈青华，曹建，唐江，
申请(专利权)人：中国人民解放军海军航空工程学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。