一种双目视线追踪方法、装置及设备制造方法及图纸

本发明专利技术涉及一种双目视线追踪方法、装置及设备，方法包括：获取左眼的第一左眼图像和第二左眼图像，所述第一左眼图像和所述第二左眼图像为双目相机中第一相机和第二相机同时分别采集到的左眼图像；根据所述第一左眼图像得到左眼的瞳孔中心和左眼的虹膜边缘的三个图像点的四个二维坐标；根据所述第二左眼图像得到左眼的瞳孔中心和三个图像点的另外四个二维坐标；根据左眼的瞳孔中心和三个图像点对应的二维坐标得到相机坐标系下的左眼的瞳孔中心和三个图像点的三维坐标；根据左眼的瞳孔中心和三个图像点的三维坐标得到左眼的视线方向。通过计算左眼的瞳孔中心和左眼的虹膜边缘的三个图像点的三维坐标，从而准确地确定左眼的视线方向。的视线方向。的视线方向。

【技术实现步骤摘要】
一种双目视线追踪方法、装置及设备


[0001]本专利技术涉及视觉追踪
，尤其涉及一种双目视线追踪方法、装置及设备。

技术介绍

[0002]视觉追踪技术也称为眼动追踪技术，是利用软件算法、机械、电子、光学等各种检测手段获取受试者当前视觉注意方向的技术，它广泛应用于人机交互、辅助驾驶、心理研究、虚拟现实和军事等多个领域。
[0003]现有视线追踪方法中，常见的视线追踪方法是基于单目相机的视线追踪方法，而基于单目相机的视线追踪方法，因为其无法计算目标物的深度信息，所以在人脸关键点的3D位置信息时，需要借助外部的平均人脸信息进行近似计算，该种方法会使得计算结果误差较大，从而得到的视线方向的误差也较大。
[0004]因此，需要提供一种提高视线追踪精度并且提升计算效率的双目视线追踪方法来解决上述技术问题。

技术实现思路

[0005]为了解决上述技术问题，本专利技术提供了一种双目视线追踪方法、装置及设备。解决了现有技术中基于单目相机的视线追踪方法需要借助外部的平均人脸信息进行近似计算，计算结果误差较大的问题。
[0006]本专利技术的技术效果通过如下实现的：
[0007]一种双目视线追踪方法，所述方法包括：
[0008]获取左眼的第一左眼图像和第二左眼图像，所述第一左眼图像和所述第二左眼图像为双目相机中第一相机和第二相机同时分别采集到的左眼图像；
[0009]根据所述第一左眼图像得到左眼的瞳孔中心的第一二维坐标和位于左眼的虹膜边缘的第一图像点的第二二维坐标、第二图像点的第三二维坐标、第三图像点的第四二维坐标；
[0010]根据所述第二左眼图像得到左眼的瞳孔中心的第五二维坐标和位于左眼的虹膜边缘的第一图像点的第六二维坐标、第二图像点的第七二维坐标、第三图像点的第八二维坐标；
[0011]根据所述第一二维坐标、所述第二二维坐标、所述第三二维坐标、所述第四二维坐标、所述第五二维坐标、所述第六二维坐标、所述第七二维坐标和所述第八二维坐标得到左眼的瞳孔中心的第一三维坐标、所述第一图像点的第二三维坐标、所述第二图像点的第三三维坐标和所述第三图像点的第四三维坐标；
[0012]根据所述第一三维坐标、所述第二三维坐标、所述第三三维坐标和所述第四三维坐标得到左眼的视线方向。
[0013]进一步地，根据所述第一左眼图像得到左眼的瞳孔中心的第一二维坐标和位于左眼的虹膜边缘的第一图像点的第二二维坐标、第二图像点的第三二维坐标、第三图像点的
第四二维坐标，包括：
[0014]根据所述第一左眼图像得到左眼的瞳孔中心的第一二维坐标和左眼的两个眼角顶点的第一眼角坐标和第二眼角坐标；
[0015]根据所述第一眼角坐标和所述第二眼角坐标得到左眼的两个眼角顶点之间的连线与虹膜边缘相交的第一交点的二维坐标和第二交点的二维坐标，所述第一交点的二维坐标和所述第二交点的二维坐标即为所述第一图像点的第二二维坐标和所述第二图像点的第三二维坐标；
[0016]根据所述第一二维坐标、第一眼角坐标和第二眼角坐标得到过左眼的瞳孔中心作左眼的两个眼角顶点之间连线的垂线与虹膜边缘相交的第三交点的二维坐标和第四交点的二维坐标，所述第三交点的二维坐标或所述第四交点的二维坐标即为所述第三图像点的第四二维坐标。
[0017]进一步地，根据所述第一二维坐标、所述第二二维坐标、所述第三二维坐标、所述第四二维坐标、所述第五二维坐标、所述第六二维坐标、所述第七二维坐标和所述第八二维坐标得到左眼的瞳孔中心的第一三维坐标、所述第一图像点的第二三维坐标、所述第二图像点的第三三维坐标和所述第三图像点的第四三维坐标，包括：
[0018]基于双目测距法根据所述第一二维坐标和所述第五二维坐标得到所述第一三维坐标；
[0019]基于双目测距法根据所述第二二维坐标和所述第六二维坐标得到所述第二三维坐标；
[0020]基于双目测距法根据所述第三二维坐标和所述第七二维坐标得到所述第三三维坐标；
[0021]基于双目测距法根据所述第四二维坐标和所述第八二维坐标得到所述第四三维坐标。
[0022]进一步地，根据所述第一三维坐标、所述第二三维坐标、所述第三三维坐标和所述第四三维坐标得到左眼的视线方向，包括：
[0023]根据所述第二三维坐标、所述第三三维坐标和所述第四三维坐标确定出所述第二三维坐标、所述第三三维坐标和所述第四三维坐标所在的第一平面；
[0024]根据所述第一平面确定出所述第一平面对应的第一法向量；
[0025]根据所述第一三维坐标和所述第一法向量得到与所述第一法向量平行的第一空间向量，所述第一空间向量即为左眼的视线方向。
[0026]进一步地，根据所述第一三维坐标、所述第二三维坐标、所述第三三维坐标和所述第四三维坐标得到左眼的视线方向，之后包括：
[0027]获取右眼的第一右眼图像和第二右眼图像，所述第一右眼图像和所述第二右眼图像为双目相机中第一相机和第二相机同时分别采集到的右眼图像；
[0028]根据所述第一右眼图像得到右眼的瞳孔中心的第九二维坐标和位于右眼的虹膜边缘的第四图像点的第十二维坐标、第五图像点的第十一二维坐标、第六图像点的第十二二维坐标；
[0029]根据所述第二右眼图像得到右眼的瞳孔中心的第十三二维坐标和位于右眼的虹膜边缘的第四图像点的第十四二维坐标、第五图像点的第十五二维坐标、第六图像点的第
十六二维坐标；
[0030]根据所述第九二维坐标、所述第十二维坐标、所述第十一二维坐标、所述第十二二维坐标、所述第十三二维坐标、所述第十四二维坐标、所述第十五二维坐标和所述第十六二维坐标得到右眼的瞳孔中心的第五三维坐标、所述第四图像点的第六三维坐标、所述第五图像点的第七三维坐标和所述第六图像点的第八三维坐标；
[0031]根据所述第五三维坐标、所述第六三维坐标、所述第七三维坐标和所述第八三维坐标得到右眼的视线方向。
[0032]进一步地，根据所述第一右眼图像得到右眼的瞳孔中心的第九二维坐标和位于右眼的虹膜边缘的第四图像点的第十二维坐标、第五图像点的第十一二维坐标、第六图像点的第十二二维坐标，包括：
[0033]根据所述第一右眼图像得到右眼的瞳孔中心的第九二维坐标和右眼的两个眼角顶点的第一眼角坐标和第二眼角坐标；
[0034]根据所述第一眼角坐标和所述第二眼角坐标得到右眼的两个眼角顶点之间的连线与虹膜边缘相交的第五交点的二维坐标和第六交点的二维坐标，所述第五交点的二维坐标和所述第六交点的二维坐标即为所述第四图像点的第十二维坐标和所述第五图像点的第十一二维坐标；
[0035]根据所述第九二维坐标、第一眼角坐标和第二眼角坐标得到过右眼的瞳孔中心作右眼的两个眼角顶点之间连线的垂线与虹膜边缘相交的第七交点的二维坐标和第八交点的二维坐标，所述第七交点的二维坐标或所述第八交点的二维坐标即为所述第六图像点的第八三维坐标。
[0036]进一步地，根据所述第九二维坐标、所述第十二本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双目视线追踪方法，其特征在于，所述方法包括：获取左眼的第一左眼图像和第二左眼图像，所述第一左眼图像和所述第二左眼图像为双目相机中第一相机和第二相机同时分别采集到的左眼图像；根据所述第一左眼图像得到左眼的瞳孔中心的第一二维坐标和位于左眼的虹膜边缘的第一图像点的第二二维坐标、第二图像点的第三二维坐标、第三图像点的第四二维坐标；根据所述第二左眼图像得到左眼的瞳孔中心的第五二维坐标和位于左眼的虹膜边缘的第一图像点的第六二维坐标、第二图像点的第七二维坐标、第三图像点的第八二维坐标；根据所述第一二维坐标、所述第二二维坐标、所述第三二维坐标、所述第四二维坐标、所述第五二维坐标、所述第六二维坐标、所述第七二维坐标和所述第八二维坐标得到左眼的瞳孔中心的第一三维坐标、所述第一图像点的第二三维坐标、所述第二图像点的第三三维坐标和所述第三图像点的第四三维坐标；根据所述第一三维坐标、所述第二三维坐标、所述第三三维坐标和所述第四三维坐标得到左眼的视线方向。2.根据权利要求1所述的双目视线追踪方法，其特征在于，根据所述第一左眼图像得到左眼的瞳孔中心的第一二维坐标和位于左眼的虹膜边缘的第一图像点的第二二维坐标、第二图像点的第三二维坐标、第三图像点的第四二维坐标，包括：根据所述第一左眼图像得到左眼的瞳孔中心的第一二维坐标和左眼的两个眼角顶点的第一眼角坐标和第二眼角坐标；根据所述第一眼角坐标和所述第二眼角坐标得到左眼的两个眼角顶点之间的连线与虹膜边缘相交的第一交点的二维坐标和第二交点的二维坐标，所述第一交点的二维坐标和所述第二交点的二维坐标即为所述第一图像点的第二二维坐标和所述第二图像点的第三二维坐标；根据所述第一二维坐标、第一眼角坐标和第二眼角坐标得到过左眼的瞳孔中心作左眼的两个眼角顶点之间连线的垂线与虹膜边缘相交的第三交点的二维坐标和第四交点的二维坐标，所述第三交点的二维坐标或所述第四交点的二维坐标即为所述第三图像点的第四二维坐标。3.根据权利要求2所述的双目视线追踪方法，其特征在于，根据所述第一二维坐标、所述第二二维坐标、所述第三二维坐标、所述第四二维坐标、所述第五二维坐标、所述第六二维坐标、所述第七二维坐标和所述第八二维坐标得到左眼的瞳孔中心的第一三维坐标、所述第一图像点的第二三维坐标、所述第二图像点的第三三维坐标和所述第三图像点的第四三维坐标，包括：基于双目测距法根据所述第一二维坐标和所述第五二维坐标得到所述第一三维坐标；基于双目测距法根据所述第二二维坐标和所述第六二维坐标得到所述第二三维坐标；基于双目测距法根据所述第三二维坐标和所述第七二维坐标得到所述第三三维坐标；基于双目测距法根据所述第四二维坐标和所述第八二维坐标得到所述第四三维坐标。4.根据权利要求3所述的双目视线追踪方法，其特征在于，根据所述第一三维坐标、所述第二三维坐标、所述第三三维坐标和所述第四三维坐标得到左眼的视线方向，包括：根据所述第二三维坐标、所述第三三维坐标和所述第四三维坐标确定出所述第二三维坐标、所述第三三维坐标和所述第四三维坐标所在的第一平面；
根据所述第一平面确定出所述第一平面对应的第一法向量；根据所述第一三维坐标和所述第一法向量得到与所述第一法向量平行的第一空间向量，所述第一空间向量即为左眼的视线方向。5.根据权利要求1所述的双目视线追踪方法，其特征在于，根据所述第一三维坐标、所述第二三维坐标、所述第三三维坐标和所述第四三维坐标得到左眼的视线方向，之后包括：获取右眼的第一右眼图像和第二右眼图像，所述第一右眼图像和所述第二右眼图像为双目相机中第一相机和第二相机同时分别采集到的右眼图像；根据所述第一右眼图像得到右眼的瞳孔中心的第九二维坐标和位于右眼的虹膜边缘的第四图像点的第十二维坐标、第五图像点的第十一二维坐标、第六图像点的第十二二维坐标；根据所述第二右眼图像得到右眼的瞳孔中心的第十三二维坐标和位于右眼的虹膜边缘的第四图像点的第十四二维坐标、第五图像点的第十五二维坐标、第六图像点的第十六二维坐标；根据所述第九二维坐标、所述第十二维坐标、所述第十一二维坐标、所述第十二二维坐标、所述第十...

【专利技术属性】
技术研发人员：季栋辉，于波，朱成彦，
申请(专利权)人：中汽创智科技有限公司，
类型：发明
国别省市：