一种非接触式目控操作系统和方法技术方案

一种非接触式目控操作系统，包括显示用于操作的对象的显示终端，该系统还包括：图像获取装置，提供操作者头部正面的图像；图像处理装置，根据所提供的图像计算操作者的头部姿态参数和眼睛姿态参数的值；视线方向分析装置，根据所计算的头部姿态参数和眼睛姿态参数的值确定操作者的视线在所述显示终端的显示区域上的位置并根据所确定的视线位置判断操作者所注视的对象；通知装置，通知操作者所判断出的注视对象；动作分析装置，根据所计算的头部姿态参数和眼睛姿态参数的值中的至少一个单独参数值随时间的变化对操作者的动作进行识别并根据识别结果确定操作指令；和操作执行装置，基于所判断出的注视对象和所确定的操作指令执行操作。

【技术实现步骤摘要】

本专利技术涉及一种非接触式操作系统和方法，尤其涉及。
技术介绍
现有的操作装置几乎都需要用手来进行操作，其输入装置包括鼠标、键盘、触敏屏等。在操作这样的操作装置时，需要用手移动鼠标或者用手接触触摸屏等，因此在公共场合很容易传播病菌。此外，对不方便利用手动方式进行操作的残疾人来说，使用手动装置之类的接触式操作装置是有障碍的。佳能公司曾专利技术过一种新的“人-机”摄影控制方式，其原理主要是眼球经红外光束照射时会在眼角膜上反射出红外光斑，而这个红外光斑会与瞳孔中心形成横竖两个方向的角度差，该角度差的值会随着眼球的转动(即视线的改变)而变化。通过微型检测装置就可以读取到这个差值的大小，将其与预先储存的眼控对焦点的间隔角度基准值进行对比，从而计算出拍摄者的视线是通过哪一个自动对焦点注视到主体的，进而可以完成相应的自动对焦。在上面所公开的方案中，要求人眼贴近相机的取景器，实际上也属于接触式方式。另外，上述方案工作时需要有红外光束发生装置。
技术实现思路
本专利技术的目的是针对传统接触式操作方式的上述缺陷提供一种能以非接触的方式进行操作的途径。根据本专利技术的一个方面，提供了一种非接触式操作系统，包括显示用于操作的对象的显示终端，该系统还包括图像获取装置，提供操作者头部正面的图像；图像处理装置，根据所述图像获取装置所提供的操作者头部正面的图像计算操作者的头部姿态参数和眼睛姿态参数的值；视线方向分析装置，根据所述图像处理装置所计算的头部姿态参数和眼睛姿态参数的值确定操作者的视线在所述显示终端的显示区域上的位置，并根据所确定的视线位置判断操作者所注视的对象； 通知装置，以操作者可感知的方式通知操作者所判断出的注视对象；动作分析装置，根据所述图像处理装置所计算的头部姿态参数和眼睛姿态参数的值中的至少一个单独参数值随时间的变化对操作者的动作进行识别，并根据识别结果确定操作指令；和操作执行装置，基于所述视线方向分析装置所判断出的注视对象和所述动作分析装置所确定的操作指令执行操作。根据本专利技术的另一个方面，提供了一种非接触式操作方法，以对显示屏幕的显示区域上的用于操作的对象进行操作，包括(a)提供操作者头部正面的图像；(b)根据所提供的操作者头部正面的图像计算操作者的头部姿态参数和眼睛姿态参数的值；(c)根据所计算的头部姿态参数和眼睛姿态参数的值确定操作者的视线在所述显示区域上的位置，并根据所确定的视线位置判断操作者所注视的对象；(d)以操作者可感知的方式通知操作者所判断出的注视对象；(e)根据所计算的头部姿态参数和眼睛姿态参数的值中的至少一个单独参数值随时间的变化对操作者的动作进行识别，并根据识别结果确定操作指令；和(f)基于所判断出的注视对象和所确定的操作指令执行操作，其中步骤(c)和步骤(e)并行进行或顺序进行。根据本专利技术的操作系统以图像获取装置为输入装置，通过图像获取装置提供操作者的头部正面的图像，并运用图像处理装置来分析操作者头部和眼睛的姿态参数。通过将这些参数进一步转化为操作者视线所对应的、显示终端的屏幕上的相应区域来确定操作对象，并通过利用图像获取装置接收某些特定动作来实现非接触式操作。利用本专利技术，操作者可以距离显示终端及图像获取装置50cm左右，实现了真正的非接触式操作。因此本专利技术的有益效果是有助于防止使用公用设施时传播病菌；和为不方便利用手动方式进行接触式操作的残疾人提供了便利。本专利技术的附加优点是避免了因经常接触使用而可能对操作设备造成的人为磨损。附图简述参照附图，结合对实施方式的详细描述将能够更加清楚地了解本专利技术，其中附图说明图1是根据本专利技术的非接触式操作系统的一个实施例的框图；图2是根据本专利技术的一个实施例的操作者脸部及双眼的示意图；图3是根据本专利技术的一个实施例的操作者眼睛和瞳孔的示意图；图4是一个眼睛姿态参数随时间的变化图；和图5是一个头部姿态参数随时间的变化图。具体实施例方式详述参照图1，其示出了根据本专利技术的非接触式操作系统的一个实施例的框图。如图所示，该操作系统包括图像获取装置10、连接到图像获取装置10的图像处理装置12、连接到图像处理装置12的视线方向分析装置14和动作分析装置16、连接到视线方向分析装置14和动作分析装置16的操作执行装置18、连接到操作执行装置18的显示终端20以及连接到视线方向分析装置14的通知装置(未示出)。在显示终端20的显示区域上显示用于操作的对象，所述对象可以采用按钮的形式或其它形式。图像处理装置12、视线方向分析装置14、动作分析装置16、操作执行装置18和通知装置可以是在处理器上运行的软件模块或在处理器外部单独实现的硬件电路。图像获取装置10捕捉操作者头部正面的图像并以一定的帧率提供所捕捉的操作者头部正面的图像给图像处理装置12。优选地，图像获取装置10以每秒30帧的帧率提供操作者头部正面的图像给图像处理装置12。在一个特定实施例中，图像获取装置10是一只分辨率为640×480的摄像头，该摄像头可以放置在显示终端20的屏幕上方，使得当操作者坐在显示终端的屏幕前时该摄像头对准操作者的头部正面以捕捉操作者头部正面的图像。图像处理装置12根据图像获取装置10所提供的操作者头部正面的图像计算操作者的头部姿态参数和眼睛姿态参数的值。在一个实施例中，头部姿态参数包括与头部的俯仰姿势有关的头部俯仰参数和与头部的水平转动角度有关的头部水平转动参数，眼睛姿态参数包括与视线在水平方向上的注视方向有关的水平注视参数和与视线在竖直方向上的注视方向有关的竖直注视参数。可以根据操作者脸部和双眼的大小、双眼相对于脸部的位置以及瞳孔的位置来计算这些参数的值，因此在该实施例中，对所提供的每帧图像，图像处理装置12检测操作者头部正面的图像中操作者脸部的位置及大小，这可以利用人脸检测技术或其它已知技术来完成；继而在所检测出的操作者脸部上检测出操作者双眼的位置及大小，这可以通过模板匹配算法或其它已知方法来实现；进而在所检测出的双眼上分别确定瞳孔的位置及中心坐标，例如，用直方图的方法来确定。现在参照图2和图3作进一步描述。图2是所检测到的操作者脸部及双眼的示意图，其示出了检测出的操作者脸部高度H和脸部宽度W。根据双眼的位置可以求出眉心的位置，根据操作者脸部的位置及大小、双眼的位置及大小和眉心的位置可以求出操作者双眼距下颌的高度Y1和眉心距脸部左侧边缘的距离X1，也分别在图2中示出。因此，可以计算头部俯仰参数(下文用a1表示)的值，即比值a1＝Y1/H，其大小与操作者头部的俯仰姿势有关，俯仰角在±10度的范围内时，操作者越向上仰，该比值越大；反之越小。也可以计算头部水平转动参数(下文用a2表示)的值，即比值a2＝X1/W，其大小与操作者头部的水平转动角度有关，水平转动角度在±30度的范围内时，操作者越向右转，该比值越小；越向左转，该比值越大。图3是操作者眼睛和瞳孔的示意图，其示出了操作者眼睛的宽度W2和高度Y2。根据眼睛的位置和大小及瞳孔的中心坐标可以求出操作者瞳孔中心到眼睛外侧的距离X2，也在图3中示出。因此，可以计算水平注视参数(下文用a3表示)的值，即比值a3＝X2/W2，其大小与操作者视线在水平方向上的注视方向有关。也可以计算竖直注视参数(下文用a4表示)的值，即比值a4＝Y2/W2，其大小与操作者视本文档来自技高网...

【技术保护点】
一种非接触式操作系统，包括显示用于操作的对象的显示终端，该系统还包括：　　　　图像获取装置，提供操作者头部正面的图像；　　　　图像处理装置，根据所述图像获取装置所提供的操作者头部正面的图像计算操作者的头部姿态参数和眼睛姿态参数的值；　　　　视线方向分析装置，根据所述图像处理装置所计算的头部姿态参数和眼睛姿态参数的值确定操作者的视线在所述显示终端的显示区域上的位置，并根据所确定的视线位置判断操作者所注视的对象；　　　　通知装置，以操作者可感知的方式通知操作者所判断出的注视对象；　　　　动作分析装置，根据所述图像处理装置所计算的头部姿态参数和眼睛姿态参数的值中的至少一个单独参数值随时间的变化对操作者的动作进行识别，并根据识别结果确定操作指令；和　　　　操作执行装置，基于所述视线方向分析装置所判断出的注视对象和所述动作分析装置所确定的操作指令执行操作。

【技术特征摘要】

【专利技术属性】
技术研发人员：王浩，黄英，夏煜，
申请(专利权)人：北京中星微电子有限公司，
类型：发明
国别省市：11[中国|北京]