一种基于双目摄像头的视线测量方法和装置制造方法及图纸

技术编号:32248043 阅读:27 留言:0更新日期:2022-02-09 17:51
本发明专利技术提供了一种基于双目摄像头的视线测量方法和装置,所述方法包括:通过双目摄像头拍摄第一照片和第二照片;照片均包括观测点和标定板;检测第一照片中第一人脸和第二照片中第二人脸,根据第一人脸和第二人脸,获得瞳孔信息;通过第三摄像头得到观测点标定板坐标系中的第三坐标;根据第三坐标,结合第一信息和第二信息,获得视线的向量。本发明专利技术相对于现有技术,基于双目摄像头获取瞳孔在标定板坐标系中的坐标,结合观测点的坐标,实现了实时地对多种姿态视线进行测量,同时能实时地跟踪到受试者的瞳孔移动,对场景的布置较为简单,节约了大量的布置成本。约了大量的布置成本。约了大量的布置成本。

【技术实现步骤摘要】
一种基于双目摄像头的视线测量方法和装置


[0001]本专利技术涉及视线追踪领域,尤其涉及一种基于双目摄像头的视线测量方法和装置。

技术介绍

[0002]目前视线追踪技术主要利用电子、光学、机械以及计算机算法等方法以获取受试者的当前观察方向。视线追踪技术被广泛应用于虚拟现实,疲劳检测、人机交互等多个领域。现有技术主要通过机器学习算法进行视线追踪,但是现有技术普遍需要收集大量的视线数据并且前提是测量过程中受试者不能移动,因此局限性大,场景的布置也极为繁琐。

技术实现思路

[0003]本专利技术提供了一种基于双目摄像头的视线测量方法和装置,以解决获取受试者视线观察方向的同时能追踪受试者的技术问题。
[0004]为了解决上述技术问题,本专利技术实施例提供了一种基于双目摄像头的视线测量方法,包括:通过第一摄像头拍摄第一照片,通过第二摄像头拍摄第二照片;所述第一照片和所述第二照片中均包括受试者的人脸和标定板;其中,所述双目摄像头为所述第一摄像头和所述第二摄像头;检测所述第一照片中第一人脸和所述第二照片中第二人脸,根据所述第一人脸和所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双目摄像头的视线测量方法,其特征在于,包括:通过第一摄像头拍摄第一照片,通过第二摄像头拍摄第二照片;所述第一照片和所述第二照片中均包括受试者的人脸和标定板;其中,所述双目摄像头为所述第一摄像头和所述第二摄像头;检测所述第一照片中第一人脸和所述第二照片中第二人脸,根据所述第一人脸和所述第二人脸,获得所述第一人脸的第一瞳孔的第一信息和所述第二人脸的第二瞳孔的第二信息;通过第三摄像头拍摄所述标定板,获取所述标定板相对于所述第三摄像头的旋转矩阵和平移向量,得到观测点在所述标定板的坐标系中的第三坐标;根据所述第三坐标,结合所述第一信息和所述第二信息,获得视线的向量。2.如权利要求1所述的一种基于双目摄像头的视线测量方法,其特征在于,所述通过第三摄像头拍摄所述标定板,获取所述标定板相对于所述第三摄像头的旋转矩阵和平移向量,具体为:通过第三摄像头拍摄所述标定板,识别所述标定板中的阿鲁科标记;根据所述阿鲁科标记,得到所述标定板的坐标系原点相对于所述第三摄像头的坐标系原点的旋转矩阵和平移向量。3.如权利要求1至2任意一项所述的一种基于双目摄像头的视线测量方法,其特征在于,所述根据所述第一人脸和所述第二人脸,获得所述第一人脸的第一瞳孔的第一信息和所述第二人脸的第二瞳孔的第二信息,具体为:根据所述第一人脸和所述第二人脸,获得所述第一瞳孔在所述第一人脸中的第一像素坐标和第一向量,并获得所述第二瞳孔在所述第二人脸中的第二像素坐标和第二向量;其中,所述第一向量为所述第一摄像头的坐标系内所述第一摄像头与所述第一瞳孔相对位置向量;所述第二向量为所述第二摄像头的坐标系内所述第二摄像头与所述第二瞳孔相对位置向量。4.如权利要求3所述的一种基于双目摄像头的视线测量方法,其特征在于,所述根据所述第三坐标,结合所述第一信息和所述第二信息,获得视线的向量,具体为:根据第一像素坐标和第一向量,获得第一瞳孔在所述标定板的坐标系中的第一瞳孔坐标;根据第二像素坐标和第二向量,获得第二瞳孔在所述标定板的坐标系中的第二瞳孔坐标;根据所述第三坐标,结合所述第一瞳孔坐标和所述第二瞳孔坐标的中值,获得视线的向量。5.如权利要求3所述的一种基于双目摄像头的视线测量方法,其特征在于,所述根据所述第一人脸和所述第二人脸,获得所述第一瞳孔在所述第一人脸中的第一像素坐标和第一向量,并获得所述第二瞳孔在所述第二人脸中的第二像素坐标和第二向量,具体为:根据所述第一人脸,通过机器学习提取所述第一人脸中的所有的第一特征点,计算获得所述第一瞳孔在所述第一人脸中的第一像素坐标和第一向量;其中,所述第一特征点包括所述第一瞳孔;根据所述第二人脸,通过机器学习提取所述第二人脸中的所有的第二特征点,计算获
得所述第二瞳孔在所述第二人脸中的第二像素坐标和第二向量;其中,所述第二特征点包括所述第二瞳孔。6.一种基于双目摄像头的视线测量装置,其特征在于,包括拍摄模块、检测模块、获取模块和视线向量模块;其中,所述拍摄模块用于通过第一摄像头拍...

【专利技术属性】
技术研发人员:郭锡刘国清王启程杨广徐涵全丹辉
申请(专利权)人:深圳佑驾创新科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1