基于视线追踪的实时人机交互系统及其工作方法技术方案

本发明专利技术公开了一种基于视线追踪的实时人机交互系统及其工作方法，所述系统包括数据采集组件、数据分析处理组件、动作反馈组件和通信及操控组件，其中，数据采集组件用于追踪用户的面部特征信息并建立坐标系；数据分析处理组件与数据采集组件连接，对数据采集组件追踪的信息进行分析处理；动作反馈组件与数据分析处理组件连接，对比分析数据分析处理组件处理的信息以及动作反馈组件中储存的信息，反馈给通信及操控组件；通信及操控组件与动作反馈组件连接，接受动作反馈组件提供的反馈信息，根据反馈信息控制相应设备的动作。根据本发明专利技术，实现了较高的识别可用精度，降低了生产和使用成本。

【技术实现步骤摘要】

本专利技术涉及人机交互智能系统，具体涉及一种基于视线追踪的实时人机交互系统及其工作方法。
技术介绍
随着计算机的普遍应用，人工智能技术、人机交互系统开始发展起来。通过人机交互系统，人与计算机之间完成交流与通信，在最大程度上通过计算机智能为人们完成信息管理，服务和处理等功能。视线追踪技术也称为眼动跟踪技术，是利用电子、机械、光学等各种检测手段获取用户当前视觉注意的方向的技术。视觉注意是指导视线追踪技术应用的基础，它体现了用户注意力集中的目标区域或者感兴趣区域，因此可以根据跟踪用户的视觉路径，来查看用户感兴趣的内容。现有的人机交互一般都是通过手动输入或通过身体接触进行人工操作的方式完成，将视线追踪技术用于人机交互系统中，可以将人们的手解放出来，视线追踪系统将用户的视觉注意目标点实时的输入到计算机中来完成用户的命令，这样不仅避免了传统输入设备需要手参与的冗余，而且增加了设备使用的灵活性与趣味性。当将视线追踪技术应用于计算机领域创建视线追踪系统模拟鼠标操作时，需要对人脸图像进行处理、提取人眼的特征参数，人眼建模，建立人眼空间坐标与计算机屏幕坐标点之间的映射关系，并进行实时的反馈。现阶段国内外均有类似技术出现，但大多需依赖价格高昂的专业设备或通过外接硬件实现目标，且精度大多不能令人满意。
技术实现思路
本专利技术所要解决的技术问题是提供一种具有较高识别可用精度的基于视线追踪的实时人机交互系统及其工作方法。为解决上述技术问题，一方面，本专利技术所采取的技术方案是：一种基于视线追踪的实时人机交互系统，包括数据采集组件、数据分析处理组件、动作反馈组件和通信及操控组件，其中，所述数据采集组件用于追踪用户的面部特征信息，并转换成数据信号输入系统中，同时根据面部特征信息分别建立二维坐标系和三维坐标系；所述数据分析处理组件与数据采集组件连接，用于对数据采集组件追踪的信息进行分析处理；所述动作反馈组件与数据分析处理组件连接，用于对比分析数据分析处理组件处理的信息以及动作反馈组件中储存的信息，并得到反馈信息反馈给通信及操控组件，以判定通信及操控组件的操控动作；所述通信及操控组件与动作反馈组件连接，用于接受动作反馈组件提供的反馈信息，并根据反馈信息控制相应设备的动作。进一步的技术方案在于：所述数据采集组件包括多个设置在同一空间不同位置的摄像头，使其可捕获不同角度的同一空间环境的图像信息。进一步的技术方案在于：所述数据分析处理组件包括图像处理模块和面部特征识点定位模块，其中，所述图像处理模块用于实时对每帧图像进行预处理；面部特征识点定位模块用于识别预处理完成的图像中的用户面部及用户瞳孔坐标点和眼部内外角点，并储存由多帧图像组成的视频流，通过视频流识别用户的面部特征点的变化和视觉注意力的改变。进一步的技术方案在于：所述图像处理模块对每帧图像的预处理，包括但不限于：将多张图像合成为全景图片、灰度处理、高斯模糊、二值化处理，以为之后的识别做准备。进一步的技术方案在于：所述面部特征识点定位模块内设置有多种算法，以用于识别用户的面部特征点的变化和视觉注意力的改变，实现对用户视觉注意目标的实时追踪。进一步的技术方案在于：所述动作反馈组件包括面部特征点数据库模块和视觉注意力数据库模块，其中，面部特征点数据库模块中保存有用户预设的一系列对应特定意义的面部特征动作；视觉注意力数据库模块中保存有用户预设的在一固定空间环境中一系列的特殊视线注意力点，所述特殊视线注意力点在固定空间环境中以三维坐标点和绝对人脸朝向角度储存。进一步的技术方案在于：所述通信及操控组件包括Wi-Fi模块、蓝牙通信模块、红外发射模块中的任意一种或任意几种。另一方面，本专利技术还提供了一种基于视线追踪的实时人机交互系统的工作方法，包括如下步骤：S1：数据采集并建立坐标系：数据采集组件追踪用户的面部特征信息，并转换成数据信号；根据面部特征信息分别建立以用户面部平面建立的二维坐标系和以用户为固定不变点建立的三维坐标系；S2：数据分析：数据分析处理组件对数据采集组件追踪的信息进行分析处理；S3：对比判定：动作反馈组件对比分析数据分析处理组件处理的信息以及动作反馈组件中储存的信息，根据对比结果输出不同结果至通信及操控组件；S4：通信及操控组件根据动作反馈组件输入的特定动作，控制相应设备进行相应操作。进一步的技术方案在于：步骤S1包括：所述步骤S1中，通过数据采集组件中的多个设置在同一空间不同位置的摄像头拍摄多张不同角度的空间环境信息图片，作为面部特征信息。进一步的技术方案在于：步骤S2包括：S21：数据分析处理组件中的图像处理模块将多张不同角度拍摄的空间环境信息图片通过算法合成为一张空间环境信息全景图片并做相应图片预处理；S22：所述数据分析处理组件中的面部特征识点定位模块对S21合成的全景图片做面部特征点定位，并储存进缓存临时保存。采用上述技术方案所产生的有益效果在于：本专利技术所述的人机交互系统精度较高，根据视线追踪技术的方法，结合人脸检测的相关理论，运用图像处理手段，降低了生产和使用成本，能解放人手方便做更多的事情。附图说明下面结合附图和具体实施方式对本专利技术作进一步详细的说明。图1是本专利技术系统的组成示意图。具体实施方式下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，但是本专利技术还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本专利技术内涵的情况下做类似推广，因此本专利技术不受下面公开的具体实施例的限制。图1为本专利技术提供的基于视线追踪的实时人机交互系统的组成示意图，如图所示，本专利技术提供的基于视线追踪的实时人机交互系统，包括数据采集组件、数据分析处理组件、动作反馈组件和通信及操控组件。其中，所述数据采集组件与数据分析处理组件相连；动作反馈组件与数据分析处理组件连接；通信及操控组件与动作反馈组件相连；通信及操控组件同时与相应设备，即相应的智能电器相连接。所述数据采集组件用于追踪用户的面部特征信息，并转换成数据信号输入到系统中，同时根据采集到的面部特征信息建立坐标系，所述坐标系包括二维坐标系和三维坐标系。其中，三维坐标系以用户在其所在的空间环境的位置为基准点建立；二维坐标系以用户的面部平面为基准平面建立。数据采集组件包括多个摄像头，多个摄像头分别安装在同一空间中的不同位置，保证所有摄像头在工作状态时，能够以360°无死角追踪捕获用户的面部特征信息，此处的空间为客厅、书房或者卧室等用户所处的空间。为保证追踪拍摄效果，所述摄像头均选用高分辨率网络摄像头。所述数据分析处理组件用于对数据采集组件追踪的信息进行分析处理。数据分析处理组件将摄像头拍摄到的多个图片信息通过特定的算法进行预处理，将多个图片信息合成为空间环境信息的全景图片，对全景图片图像中的面部特征进行识别分析，并进行临时缓存。数据分析处理组件包括图像处理模块和面部特征识点定位模块。所述图像处理模块用于实时对每帧图像进行预处理，包括但不限于：将多张图片合成为全景图片、灰度处理、本文档来自技高网...

【技术保护点】
一种基于视线追踪的实时人机交互系统，其特征在于：包括数据采集组件、数据分析处理组件、动作反馈组件和通信及操控组件，其中，所述数据采集组件用于追踪用户的面部特征信息，并转换成数据信号输入系统中，同时根据面部特征信息分别建立二维坐标系和三维坐标系；所述数据分析处理组件与数据采集组件连接，用于对数据采集组件追踪的信息进行分析处理；所述动作反馈组件与数据分析处理组件连接，用于对比分析数据分析处理组件处理的信息以及动作反馈组件中储存的信息，并得到反馈信息反馈给通信及操控组件，以判定通信及操控组件的操控动作；所述通信及操控组件与动作反馈组件连接，用于接受动作反馈组件提供的反馈信息，并根据反馈信息控制相应设备的动作。

【技术特征摘要】
1.一种基于视线追踪的实时人机交互系统，其特征在于：包括数据采集组件、数据分析处理组件、动作反馈组件和通信及操控组件，其中，所述数据采集组件用于追踪用户的面部特征信息，并转换成数据信号输入系统中，同时根据面部特征信息分别建立二维坐标系和三维坐标系；所述数据分析处理组件与数据采集组件连接，用于对数据采集组件追踪的信息进行分析处理；所述动作反馈组件与数据分析处理组件连接，用于对比分析数据分析处理组件处理的信息以及动作反馈组件中储存的信息，并得到反馈信息反馈给通信及操控组件，以判定通信及操控组件的操控动作；所述通信及操控组件与动作反馈组件连接，用于接受动作反馈组件提供的反馈信息，并根据反馈信息控制相应设备的动作。2.根据权利要求1所述的基于视线追踪的实时人机交互系统，其特征在于：所述数据采集组件包括多个设置在同一空间不同位置的摄像头，使其可捕获不同角度的同一空间环境的图像信息。3.根据权利要求1所述的基于视线追踪的实时人机交互系统，其特征在于：所述数据分析处理组件包括图像处理模块和面部特征识点定位模块，其中，所述图像处理模块用于实时对每帧图像进行预处理；面部特征识点定位模块用于识别预处理完成的图像中的用户面部及用户瞳孔坐标点和眼部内外角点，并储存由多帧图像组成的视频流，通过视频流识别用户的面部特征点的变化和视觉注意力的改变。4.根据权利要求3所述的基于视线追踪的实时人机交互系统，其特征在于：所述图像处理模块对每帧图像的预处理，包括但不限于：将多张图像合成为全景图片、灰度处理、高斯模糊、二值化处理，以为之后的识别做准备。5.据权利要求3所述的基于视线追踪的实时人机交互系统，其特征在于：所述面部特征识点定位模块内设置有多种算法，以用于识别用户的面部特征点的变化和视觉注意力的改变，实现对用户视觉注意目标的实时追踪。6.根据权利要求1所述的基于视线追踪的实时人机交互系...

【专利技术属性】
技术研发人员：兰泽华，刘欣刚，卫原，牟映东，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51