【技术实现步骤摘要】
基于视点追踪的智能人机交互方法
[0001]本专利技术属于基于视点追踪的人机交互
,具体涉及一种基于视点追踪的智能人机交互方法。
技术介绍
[0002]人类对视点追踪的研究从早期的借助外部硬件设备判断眼动行为,发展到如今的利用摄像头或传感器估计用户视点位置的视点追踪技术。在视点追踪技术进步的同时,人类也开始追求更为高效的人机交互方式,于是诞生了基于视点追踪的人机交互技术。
[0003]视点追踪技术是一种利用专业设备,采集、分析用户眼部信息,从而确定用户视觉关注点的技术。视点追踪技术在众多领域都有着广泛的应用,例如在教育领域,可以根据学生的视线落点和关注区域来评估学生的上课质量;在心理学领域,可以根据视点变化检测人的精神状态,实现对心理疾病的治疗;在安全领域,可以根据用户预设的视点轨迹进行身份验证;在交通领域,可以根据用户视线判断盲区,辅助汽车驾驶等。在未来,视点追踪技术凭借兼容性,将与更多的领域相结合,有着广阔的应用前景。
[0004]人机交互技术是指人与计算机通过信息交换来实现期望的任务。人机交互研究首要关心的是能够改善人机互动的新型界面的设计、视线和评估,从而实现更具直观和稳健的人机交互方式。所以,人机交互自然而然地涉及到计算机科学和人文科学两个学科的内容,其中计算机科学包括图像处理、计算机视觉、编程语言等,人文科学包括人工工程学、认知心理学等。基于视点追踪的智能人机交互技术,将计算机科学和人文科学有机的联合在一起,形成了一种更为直观和稳健的人机交互方式。
[0005]基于视点追踪的 ...
【技术保护点】
【技术特征摘要】
1.基于视点追踪的智能人机交互方法,其特征在于,包括下列步骤:步骤1,通过计算机自带的摄像头采集图像,并对采集到的图像进行人脸检测,基于人脸检测框提取人脸图像;对人脸图像进行人脸特征点检测,得到人脸图像的人脸特征点;步骤2,头部姿态估计:步骤201,定义一个包括6个关键点的3D人脸模型,其中,3D人脸模型的6个关键点为:每只眼睛分别包括左右眼角两个关键点,嘴巴包括左右嘴角两个关键点;步骤202,在步骤1得到的人脸特征点中,查找与3D人脸模型的6个关键点位置对应的特征点,得到2D关键点;并基于2D关键点中的两只眼睛的关键点从人脸图像中提取出眼睛图像;步骤203,基于3D人脸模型的6个关键点和对应的2D关键点,采用EPNP(efficient perspective
‑
n
‑
point)算法获取头部旋转向量r,并基于头部旋转向量r计算旋转矩阵R
′
及对应的欧拉角,其中的欧拉角确定了头部的旋转角度,即2D头部角度;步骤204,归一化处理:定义头部坐标系,该坐标系包括x、y和z轴,其中,x轴为连接两个眼睛的中点,方向从右向左;y轴为从右眼睛中点向嘴巴方向出发,且垂直于x轴,z轴为从右眼睛中点指向人脸后方且垂直于x轴和y轴;计算头部坐标系和相机坐标系之间的平移向量t
r
;根据公式e
r
=t
r
+e
h
分别计算左右眼在相机坐标系中的位置e
r
,其中e
h
为两个眼角关键点的中点;计算转换矩阵T=SR
′
,其中,缩放矩阵S=diag(1,1,d
n
/‖e
r
‖),d
n
表示相机坐标系原点;基于转换矩阵T对2D关键点中的眼睛的关键点位置进行转换,以及对2D头部角度进行转换,得到归一化后的2D眼睛关键点位置和2D头部角度;步骤3,基于深度学习的视点追踪处理;采用卷积神经网络VGG16架构作为视点追踪的网络模型,将眼睛图像作为模型的输入,并将归一化后的2D头部角度输入...
【专利技术属性】
技术研发人员:邢建川,刘梓然,曾凤,陈洋,周春文,付鱼,杨布雨,
申请(专利权)人:电子科技大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。