一种多屏幕系统的眼动控制精度提升方法技术方案

本发明专利技术提出一种多屏幕系统的眼动控制精度提升方法，利用操作员的面部图像预测其当前感兴趣或需要操作的屏幕，系统自行进行兴趣屏切换，使用该屏幕对应的摄像头进行屏内视线追踪

【技术实现步骤摘要】
一种多屏幕系统的眼动控制精度提升方法


[0001]本专利技术属于多屏幕的电子信息系统的人机交互领域，特别涉及一种多屏幕系统的眼动控制精度提升方法
。

技术介绍

[0002]随着现代信息技术的发展，各类电子信息系统的信息收集与处理能力愈发强大
。
在一个复杂的电子信息系统中，人机交互界面往往是由多个屏幕构成的，因为操作者需要处理多种来源
、
形式的信息，并进行判断
、
操作，人机交互的方式直接制约着人
‑
机整体的信息处理效率
。
[0003]由于面对多个屏幕，操作者在进行信息获取或系统操作时需要选择其感兴趣的屏幕，并且该兴趣屏会发生频繁的切换
。
现有的主流人机交互方式仍是键盘鼠标或手柄等基于传统硬件的交互，在基于传统硬件的交互方式中，当存在大量
、
快速
、
频繁的跨屏幕操作行为时，单一的手动操作响应时间较长，要求操作员手眼配合充分
。
[0004]目前，新兴的基于眼动追踪的眼动交互，兴趣屏幕的切换反映在交互流程中即光标
、
当前选定控件或屏幕显示的视线落点的跨屏幕移动，切换兴趣屏意味着操作者的头部朝向有所转动，并且视线落点发生大范围的转移，必然带来视线追踪的困难，包括视线落点的飘动与误差
、
注视点估计的延迟等问题
。
由于此类操作在实际交互流程中频繁
、
重复地出现，带来的视线追踪的困难会影响眼动控制的精度
。
[0005]在现有的眼动控制系统中，多使用单目视线追踪，即利用一个摄像头进行视线追踪，但跨屏幕操作行为伴随着视线落点的大范围快速移动，导致视线落点在大范围转移后的瞬间注视点定位出现漂移或抖动，有较大误差，给准确估计视线落点带来了一定困难，在转移后需要一定时间稳定注视点；同时，伴随着跨屏幕操作，操作者的头部位姿会发生一定变化，由于实现视线追踪的神经网络模型本身的局限性，当输入网络模型的面部图像具有多种头部姿态时，注视点的估计精度会快速下降
。
[0006]综上所述，现有技术中，普通的单目视线追踪难以满足现代
、
未来信息系统的多屏幕人机交互需求，需要进一步的研究使人机交互流程更加自然，降低操作者的操作压力与误操作率
。

技术实现思路

[0007]本专利技术解决的技术问题是：为了解决操作多屏幕系统时跨屏视线追踪困难的问题，
[0008]本专利技术提出一种多屏幕系统的眼动控制精度提升方法，提高了眼动控制的流畅程度，实现了操作员无需手动操作设备
、
只需转动头部即可自然切换屏幕的功能，满足了在高度复杂信息环境下的自然人机交互需求
。
[0009]一种多屏幕系统的眼动控制精度提升方法包括以下步骤：
[0010]步骤1：对操作员头部图像的人脸检测与面部关键点进行识别，包括以下子步骤：
[0011]步骤
1.1
：将一摄像头定义为兴趣屏判断摄像头，通过兴趣屏判断摄像头获取待检测图像，对待检测图像进行等倍缩小，直到图像大小大于等于设定的最小人脸大小；
[0012]步骤
1.2
：将步骤
1.1
得到的一系列图像输入全卷积网络
P
‑
Net
结构，经过训练，最终得到最终输出人脸检测边框与五个人脸面部特征点即左眼
、
右眼
、
鼻子
、
左嘴角和右嘴角的坐标；
[0013]步骤2：对操作员头部位姿进行识别，将来步骤
1.2
得到的坐标系和相机坐标系进行过转换，最终得到头部位姿；
[0014]步骤3：根据头部欧拉角进行兴趣屏预测与摄像头切换，包括以下步骤：
[0015]步骤
3.1
：设定每个屏幕所在视场的欧拉角范围：当
[
θ
x
,
θ
y
,
θ
z
]∈[{
θ
α
n
‑
,
θ
β
n
‑
,
θ
χ
n
‑
},{
θ
α
n+
,
θ
β
n+
,
θ
χ
n+
}]时，系统判断操作员对第
n
块屏幕感兴趣，使用第
n
块屏幕的摄像头进行屏幕内的注视点估计，其中
[
θ
x
,
θ
y
,
θ
z
]为操作员头部欧拉角，
[{
θ
α
n
‑
,
θ
β
n
‑
,
θ
χ
n
‑
},{
θ
α
n+
,
θ
β
n+
,
θ
χ
n+
}]为第
n
个屏幕所在的欧拉角区间，具体的欧拉角区间上下限是根据实际实施中摄像头与屏幕相对于操作员的相对位置确定的；
[0016]步骤
3.2
：当实际操作时头部欧拉角落入对应屏幕视场欧拉角范围，则判断该屏幕是操作员所感兴趣的；同时设置头部欧拉角停留时间阈值，当欧拉角停留在对应屏幕视场欧拉角范围的时间超过预设的时间阈值，系统将眼动控制的图像输入来源切换到当前兴趣屏幕对应的摄像头，保持眼动控制流程的自然流畅
。
[0017]进一步的，所述步骤
1.1
中，对从摄像头输入的操作员头部图像进行特定倍数的缩小，图像边长的合理缩小倍数约在
0.7
至
0.8
区间内，图像边长按原边长的缩小倍数不断缩小，直到图像大小大于等于设定的最小人脸大小
。
[0018]进一步的，所述步骤
1.2
中，包括以下子步骤：
[0019]步骤
1.2.1
：初始
P
‑
Net
网络结构包括4层卷积层，1层最大池化层，使用
PreLU
与
Softmax
激活函数；对
P
‑
Net
网络结构所得结果使用边框回归与非极大值抑制，得到人脸候选框；
[0020]步骤
1.2.2
：将上述候选人脸窗口变换至
nxn
大小，输入下一级卷积网络
R
‑
Net
，
R
‑
Net
卷积网络结构包括3层卷积层，2层最大池化层，3层全连接层，使用
P本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种多屏幕系统的眼动控制精度提升方法，其特征在于，包括以下步骤：步骤1：对操作员头部图像的人脸检测与面部关键点进行识别，包括以下子步骤：步骤
1.1
：将一摄像头定义为兴趣屏判断摄像头，通过兴趣屏判断摄像头获取待检测图像，对待检测图像进行等倍缩小，直到图像大小大于等于设定的最小人脸大小；步骤
1.2
：将步骤
1.1
得到的一系列图像输入全卷积网络
P
‑
Net
结构，经过训练，最终得到最终输出人脸检测边框与五个人脸面部特征点即左眼
、
右眼
、
鼻子
、
左嘴角和右嘴角的坐标；步骤2：对操作员头部位姿进行识别，将来步骤
1.2
得到的坐标系和相机坐标系进行过转换，最终得到头部位姿；步骤3：根据头部欧拉角进行兴趣屏预测与摄像头切换，包括以下步骤：步骤
3.1
：设定每个屏幕所在视场的欧拉角范围：当
[
θ
x
,
θ
y
,
θ
z
]∈[{
θ
α
n
‑
,
θ
β
n
‑
,
θ
χ
n
‑
},{
θ
α
n+
,
θ
β
n+
,
θ
χ
n+
}]
时，系统判断操作员对第
n
块屏幕感兴趣，使用第
n
块屏幕的摄像头进行屏幕内的注视点估计，其中
[
θ
x
,
θ
y
,
θ
z
]
为操作员头部欧拉角，
[{
θ
α
n
‑
,
θ
β
n
‑
,
θ
χ
n
‑
},{
θ
α
n+
,
θ
β
n+
,
θ
χ
n+
}]
为第
n
个屏幕所在的欧拉角区间，具体的欧拉角区间上下限是根据实际实施中摄像头与屏幕相对于操作员的相对位置确定的；步骤
3.2
：当实际操作时头部欧拉角落入对应屏幕视场欧拉角范围，则判断该屏幕是操作员所感兴趣的；同时设置头部欧拉角停留时间阈值，当欧拉角停留在对应屏幕视场欧拉角范围的时间超过预设的时间阈值，系统将眼动控制的图像输入来源切换到当前兴趣屏幕对应的摄像头，保持眼动控制流程的自然流畅
。2.
如权利要求1所述的一种多屏幕系统的眼动控制精度提升方法，其特征在于，所述步骤
1.1
中，对从摄像头输入的操作员头部图像进行特定倍数的缩小，图像边长的合理缩小倍数约在
0.7
至
0.8
区间内，图像边长按原边长的缩小倍数不断缩小，直到图像大小大于等于设定的最小人脸大小
。3.
如权利要求1所述的一种多屏幕系统的眼动控制精度提升方法，其特征在于，所述步骤
1.2
中，包括以下子步骤：步骤
1.2.1
：...

【专利技术属性】
技术研发人员：陈军，江炳锟，刘崇辉，胡晓宇，汤志荔，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：