一种利用视觉进行非接触式人机交互的系统技术方案

一种利用视觉进行非接触式人机交互的系统，属于人机交互领域。通过一种信息在视觉通道上流通的方式实现人与机器人之间的非接触式交互。该系统包括：机器视觉单元，用于获取特定光照条件下的使用者面部图像；信息处理分析单元，用于处理面部图像并计算使用者的视线方向，分析使用者眼动状态提取出蕴含使用者意图的信息，识别意图信息决策机器人应反馈的交互信息；交互信息显示单元，用于以能给人产生视觉刺激的方式为使用者提供机器人的反馈信息，并作为机器人与使用者交互的最直接的平台。本发明专利技术充分利用视觉通道获取、表达信息的自然性、直接性和便捷性，使人机交互过程更简便、迅速、易操作，且对信息通道带宽要求较低。

【技术实现步骤摘要】

本专利技术涉及一种非接触式的人机交互系统，属于人机交互领域，尤其涉及一种利 用视觉进行非接触式人机交互的系统，用于实现人与机器人之间自然、和谐的交流。
技术介绍
机器人技术发展至今，正在朝着更加智能化、拟人化的方向深入，并且人们都期 望机器人能真正融入日常生活，在各个方面成为人们的生活伙伴。人机交互技术，作为人与机器(机器人)之间信息交流的接口技术，是人与机器 人之间信息沟通的桥梁；是使机器人能更好的融入人们生活的关键。因此，人们付出 了近半个多世纪的努力，注入了大量精力来研究开发更加自然、和谐的人机交互方式。 如今，随着多模态人机交互的提出与深入发展，已经进入了第四代阶段。新一代人机 交互的输入方式不再局限于传统意义上的接触式，如键盘、鼠标、触摸屏及操纵杆等， 而更多的是一些新发展起来的与计算机无接触的方式，如语音、手势、脑波和视线等。 其中将视线信息作为输入的交互技术，以其独具的直接性、自然性和双向性成为了最 具潜力的新一代人机接口技术。这种与人无接触的方式使得在一些不具备接触条件下的交互成为可能。比如在某 些场合下，由于危险或不便使得使用者无法与机器进行接触，这样的无接触方式就具 有更大的优势。还有，对于行动不便或那些没有机器操作经验的人来说，这样的方式 更自然、直接且容易适应并掌握。如专利文献ZL200410025125.6中公开的一种人机 交互方法就是以视觉、语音以及手动操作相结合的多通道方式实现人机交互的。此种 交互方法以视觉通道为主来输入信息，使用者通过视觉过程来选择目标，而要激活目 标则要通过语音或手动操作，是传统交互方式的一种改进。这里提出的利用视觉进行交互的方式是完全依靠视觉通道，使用者只利用视觉活 动来实现与机器人信息交互。目前此种方式的交互技术更多的停留在人对机器的单方 向信息输入，具体表现为人对机器的控制，而没有真正体现人与机器之间的信息交流 与互动，因为机器本身缺乏对人的行为的"理解"与"思考"，只是一味地服从命令。 造成此种境况的原因主要是这种交互方式存在一个公认的技术瓶颈"米达斯"接触问题。这个问题最早由Jacob于1990年在他发表的名为"What You Look At Is What You Get: Eye Movement-Based Interaction Techniques," Proc. ACM CHI'90 Human Factors in Computing Systems Conference, pp. 11-18， Addison-Wesley/ACM Press"的文章中提出的。他指出将视线落点信息作为交互的输入信息与传统的将手动鼠标位置 信息输入的方式不同，眼睛不像手一样能靠"点击"来明确触发命令和表达意图。以 他当时提出的方法，视线只要落在了某个按钮上就会触发命令，机器不能有效的区分 有意眼动命令与无意眼动命令，这使得操作者的每一次眼动都会触发一条命令，而有 时人只想随意浏览而无意触发命令，这样就会给操作者带来一些困扰，阻碍此种交互 方式的广泛应用。
技术实现思路
本专利技术的目的是提供一种新的利用视觉进行人机交互的系统。这种交互系统只利 用视觉通道，完全实现了交互过程中信息在视觉通道上的双向流通，目卩，人通过视觉 注意来表达意向，机器人通过机器视觉来接收信息并通过分析"理解"人的目的；然 后机器人通过能给人产生视觉刺激的方式发回反馈信息，人再通过视觉系统接收机器 人传达的信息进行判断，再继续向机器人发出信息。这样使交互过程融入了机器人本 身的智能，真正达到了交互的目的。同时，这样的交互系统能克服"米达斯"接触 问题，提高了这种交互方式的可操作性和可靠性，实现了自然、和谐的人机交互。本专利技术提供了一种利用视觉进行非接触式人机交互的系统，该系统包括机器视 觉单元、信息处理分析单元和交互信息显示单元。机器视觉单元是利用发出特殊波长的主动光源均匀照射使用者面部，结合配套的 敏感相机，持续获得此光照环境下的使用者的面部图像。信息处理分析单元是由使用者面部图像检测出其视线方向，分析其眼动状态并提 取出蕴含意图的信息，识别意图信息做出相应的反馈决策。交互信息显示单元是以能给人产生视觉剌激的方式为使用者提供机器人的反馈 信息，并作为机器人与使用者交互最直接的平台，成为二者之间信息互通的结合部。机器视觉单元将获取的使用者面部图像持续传送至信息处理分析单元，信息处理 分析单元又将反馈决策以命令形式发送至交互信息显示单元。所述机器视觉单元包括两个发出特定波长的近红外光的主动光源，用于均匀地照射使用者的面部。配套相机，用于持续接收使用者面部反射回的由所述光源发出的光线，形成在此 光照条件下使用者面部的图像。两个近红外光源对称地分置于相机两侧，且两光源各自的俯仰角度和和转动角度 均分别可调，用于更大范围地均匀照射使用者面部，同时与配套相机位于同一活动的 平台上形成一个整体， 一起移动和转动。所述信息处理分析单元包括视线检测模块、状态分析及意图提取模块、决策模 块、交互信息产生模块和记忆模块。视线检测模块检测出使用者当前的视线信息，同时将视线信息输送至状态分析及 意图提取模块和记忆模块。状态分析及意图提取模块同时连接至视线检测模块和记忆模块，根据视线检测模 块传入的使用者当前视线信息和记忆模块传入的历史视线信息，从中提取出使用者当 前的意图信息同时输送至决策模块和记忆模块。决策模块同时连接至状态分析及意图提取模块和记忆模块，接收状态分析及意图 提取模块传入的使用者当前的意图信息，并同时接收记忆模块传入的历史意图信息和 任务管理参量，从中分析出使用者的真正意图做出相应的反馈决策向所述交互信息产 生模块发出指令、更新任务管理参量输送至记忆模块。任务管理参量是以数字形式表示当前任务执行状态的用于为决策提供参考的变量。交互信息产生模块连接至决策模块，执行决策模块传入的指令并控制交互信息显 示单元的行动。记忆模块同时连接至视线检测模块、状态分析及意图提取模块和决策模块，存储 历史视线方向信息、眼动状态信息、历史意图信息和任务管理参量。视线检测模块是根据机器视觉单元提供的使用者面部图像，利用图像处理方法提 取出表征视线方向的参量，利用一个参数可自调整的映射模型将视线方向参量映射成 实际视线方向，并利用相应的空间几何模型计算出相应的视线落点位置，将视线方向 和落点位置一起作为视线信息同时输送至状态分析及意图提取模块和记忆模块。参数可自调整的映射模型的参数可根据使用者头部相对于相机的不同位置进行 有规律地自调整，以适应使用者在一定范围内的自然头动。状态分析及意图提取模块是计算视线检测模块传入的当前视线方向与记忆模块7输入的历史视线方向的差作为眼动速率用于识别当前眼动状态，滤除无意图信息的眼 跳状态，再根据历史视线落点位置分布情况进一步进行鉴别，对确定为注视的状态， 计算注视状态时段内所有的视线落点位置均值和方差、还有所有眼动速率的均值和方 差及持续注视状态的具体时长，其中视线落点位置均值又称为注视位置，将上述这五 个数据共同作为蕴含使用者意图的信息分别输送至决策模块和记忆模块。决策模块是根据状态分析及意图提取模块传入的当前意图信息中包含的注视位 置进行有效性判别，判别为无效本文档来自技高网...

【技术保护点】
一种利用视觉进行非接触式人机交互的系统，其特征在于，该系统包括：机器视觉单元、信息处理分析单元和交互信息显示单元，其中机器视觉单元是利用特殊波长的主动光源均匀照射使用者面部，结合配套的敏感相机，持续获得此光照环境下的使用者的面部图像；信息处理分析单元是由使用者面部图像检测出其视线方向，分析其眼动状态并提取出蕴含意图的信息，识别意图信息做出相应的反馈决策；交互信息显示单元是以能给人产生视觉刺激的方式为使用者提供机器人的反馈信息；机器视觉单元将获取的使用者面部图像持续传送至信息处理分析单元，信息处理分析单元又将反馈决策以命令形式发送至交互信息显示单元。

【技术特征摘要】

【专利技术属性】
技术研发人员：黄莹，王志良，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：11[中国|北京]