基于三维视线估计和屏幕平面估计的鼠标定位的方法技术

本申请公开了一种基于三维视线估计和屏幕平面估计的鼠标定位的方法，属于图像处理技术领域。本申请的基于三维视线估计和屏幕平面估计的鼠标定位的方法，包括：基于用户彩色图像，确定用户彩色图像中目标人脸的视线方向向量，用户彩色图像由第一相机采集；基于视线方向向量和目标点的坐标，确定目标人脸的视线表示向量，目标点的坐标由第一相机采集的用户深度图像以及用户彩色图像确定；基于视线表示向量和目标屏幕的屏幕表示向量，确定视线表示向量与屏幕表示向量的第一交点坐标，第一交点坐标为第一相机对应的第一坐标系下的坐标；基于第一交点坐标和目标旋转平移矩阵，确定第二交点坐标；基于第二交点坐标，控制目标屏幕中的鼠标移动。鼠标移动。鼠标移动。

【技术实现步骤摘要】
基于三维视线估计和屏幕平面估计的鼠标定位的方法


[0001]本申请属于图像处理
，尤其涉及一种基于三维视线估计和屏幕平面估计的鼠标定位的方法。

技术介绍

[0002]视觉估计技术是利用机械、光学和相机等各种检测手段获取受试者当前注视方向的技术，广泛应用于人机交互、辅助驾驶、心理研究、虚拟现实和军事等多个领域。目前基于视线估计的鼠标定位方法主要根据图片中人眼的虹膜、瞳孔和普尔钦斑等进行3D建模来实现，该方法需要高分辨相机以及额外的光源，对硬件系统要求较高；且该方法从图像中获得的几何关系准确度不高，极大的影响到了定位的精度和准确度。

技术实现思路

[0003]本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请提出一种基于三维视线估计和屏幕平面估计的鼠标定位的方法，能够提高最终定位的精度和准确度。
[0004]第一方面，本申请提供了一种基于三维视线估计和屏幕平面估计的鼠标定位的方法，该方法包括：
[0005]基于用户彩色图像，确定所述用户彩色图像中目标人脸的视线方向向量，所述用户彩色图像由第一相机采集；
[0006]基于所述视线方向向量和目标点的坐标，确定目标人脸的视线表示向量，所述目标点的坐标由所述第一相机采集的用户深度图像以及所述用户彩色图像确定；
[0007]基于所述视线表示向量和目标屏幕的屏幕表示向量，确定所述视线表示向量与所述屏幕表示向量的第一交点坐标，所述第一交点坐标为所述第一相机对应的第一坐标系下的坐标；
[0008]基于所述第一交点坐标和目标旋转平移矩阵，确定第二交点坐标，所述第二交点坐标为所述目标屏幕对应的第二坐标系下的坐标，所述目标旋转平移矩阵为所述第一相机和所述目标屏幕之间的旋转平移矩阵；
[0009]基于所述第二交点坐标，控制所述目标屏幕中的鼠标移动。
[0010]根据本申请实施例提供的基于三维视线估计和屏幕平面估计的鼠标定位的方法，通过采集用户彩色图像以获得视线方向向量，并基于视线方向向量和目标点的坐标获得视线表示向量，再基于视线方向向量和屏幕表示向量确定第一交点坐标，然后基于第一交点坐标和目标旋转平移矩阵，确定第二交点坐标，再控制目标屏幕中的鼠标移动至第二交点坐标，在实际应用过程中能够通过用户彩色图像中的目标人脸的特征以及对应的用户深度图像预测出视线坐标，具有较高的精确性和准确性，从而有助于提高后续定位结果的精准性；通过建立第一相机与目标屏幕之间的目标旋转平移矩阵，适用于任意情境下的坐标系转换从而实现准确定位，拓宽了应用场景，且无需设置额外光源等其他设备以及特定设备，定位成本较低且易于实现。
[0011]本申请一个实施例的基于三维视线估计和屏幕平面估计的鼠标定位的方法，所述基于用户彩色图像，确定所述用户彩色图像中目标人脸的视线方向向量，包括：
[0012]对所述用户彩色图像进行图像分割，获取所述目标人脸对应的脸部图像和所述目标人脸中目标人眼对应的眼部图像中的至少一种；所述目标人眼包括左眼或右眼中的至少一个；
[0013]对所述脸部图像和所述眼部图像中的至少一种进行特征提取，获取视线特征；
[0014]基于所述视线特征，确定所述视线方向向量。
[0015]根据本申请一个实施例的基于三维视线估计和屏幕平面估计的鼠标定位的方法，通过对用户彩色图像进行图像分割并获得眼部图像，再对脸部图像和眼部图像中的至少一种进行特征提取，并获取视线特征，然后基于视线特征确定视线方向向量，能够在进行视线估计时结合用户头部转动特征以及眼部特征等多种特征，综合预测出用户实时的视线方向，有效提高了视线定位的精度和准确度，且适用于任意用户姿态，拓宽了定位范围。
[0016]本申请一个实施例的基于三维视线估计和屏幕平面估计的鼠标定位的方法，所述对所述脸部图像和所述眼部图像中的至少一种进行特征提取，获取视线特征，包括：
[0017]对所述脸部图像进行特征提取，获取头部转动特征；
[0018]对所述眼部图像进行特征提取，获取眼部特征；
[0019]融合所述头部转动特征和所述眼部特征，获取所述视线特征。
[0020]根据本申请一个实施例的基于三维视线估计和屏幕平面估计的鼠标定位的方法，通过分别对脸部图像和眼部图像进行特征提取，以得到头部转动特征和眼部特征，并融合头部转动特征和眼部特征以获得视线特征，能够在进行视线估计时根据用户头部转动，预测出用户实时的视线方向，进而提高视线估计的精度。
[0021]本申请一个实施例的基于三维视线估计和屏幕平面估计的鼠标定位的方法，在所述基于用户彩色图像，确定所述用户彩色图像中目标人脸的视线方向向量之前，所述方法还包括：
[0022]获取所述第一相机与第二相机之间的第一旋转平移矩阵，并获取所述第二相机与所述目标屏幕之间的第二旋转平移矩阵；
[0023]基于所述第一旋转平移矩阵和所述第二旋转平移矩阵，确定所述目标旋转平移矩阵。
[0024]根据本申请一个实施例的基于三维视线估计和屏幕平面估计的鼠标定位的方法，通过获取第一旋转平移矩阵RT1和第二旋转平移矩阵RT2以得到目标旋转平移矩阵R
s
，从而建立第一相机与目标屏幕之间的坐标转换关系，能够在实际执行过程中基于目标旋转平移矩阵R
s
将预测得到的第一交点坐标转换为目标屏幕中的鼠标位置坐标，适用于任意通用模型所输出的视线方向向量，无需基于特定应用场景单独训练模型，具有广泛的应用场景且通用性高。
[0025]本申请一个实施例的基于三维视线估计和屏幕平面估计的鼠标定位的方法，所述获取所述第一相机与第二相机之间的第一旋转平移矩阵，并获取所述第二相机与所述目标屏幕之间的第二旋转平移矩阵，包括：
[0026]获取所述第一相机采集的第一标定板对应的第一图像，以及所述第二相机采集的第二标定板对应的第二图像；所述第一标定板为双面标定板的第一面，所述第二标定板为
所述双面标定板的第二面，所述第一相机和所述第二相机的视场相对；
[0027]基于所述第一图像，确定所述第一相机与所述第一标定板之间的第三旋转平移矩阵；
[0028]基于所述第二图像，确定所述第二相机与所述第二标定板之间的第四旋转平移矩阵；
[0029]基于所述第一图像，获取所述第一标定板的第一原点位置；
[0030]基于所述第二图像，获取所述第二标定板的第二原点位置；
[0031]基于所述第一原点位置、所述第二原点位置和所述双面标定板的厚度，确定所述第一标定板和所述第二标定板之间的第五旋转平移矩阵；
[0032]基于所述第三旋转平移矩阵、所述第四旋转平移矩阵和所述第五旋转平移矩阵，确定所述第一旋转平移矩阵。
[0033]根据本申请一个实施例的基于三维视线估计和屏幕平面估计的鼠标定位的方法，通过基于第三旋转平移矩阵、第四旋转平移矩阵和第五旋转平移矩阵，确定第一相机与第二相机之间的第一旋转平移矩阵RT1，能够标定第一相机与第二相机之间的位置关系，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于三维视线估计和屏幕平面估计的鼠标定位的方法，其特征在于，包括：基于用户彩色图像，确定所述用户彩色图像中目标人脸的视线方向向量，所述用户彩色图像由第一相机采集；基于所述视线方向向量和目标点的坐标，确定目标人脸的视线表示向量，所述目标点的坐标由所述第一相机采集的用户深度图像以及所述用户彩色图像确定；基于所述视线表示向量和目标屏幕的屏幕表示向量，确定所述视线表示向量与所述屏幕表示向量的第一交点坐标，所述第一交点坐标为所述第一相机对应的第一坐标系下的坐标；基于所述第一交点坐标和目标旋转平移矩阵，确定第二交点坐标，所述第二交点坐标为所述目标屏幕对应的第二坐标系下的坐标，所述目标旋转平移矩阵为所述第一相机和所述目标屏幕之间的旋转平移矩阵；基于所述第二交点坐标，控制所述目标屏幕中的鼠标移动。2.根据权利要求1所述的基于三维视线估计和屏幕平面估计的鼠标定位的方法，其特征在于，所述基于用户彩色图像，确定所述用户彩色图像中目标人脸的视线方向向量，包括：对所述用户彩色图像进行图像分割，获取所述目标人脸对应的脸部图像和所述目标人脸中目标人眼对应的眼部图像中的至少一种；所述目标人眼包括左眼或右眼中的至少一个；对所述脸部图像和所述眼部图像中的至少一种进行特征提取，获取视线特征；基于所述视线特征，确定所述视线方向向量。3.根据权利要求2所述的基于三维视线估计和屏幕平面估计的鼠标定位的方法，其特征在于，所述对所述脸部图像和所述眼部图像中的至少一种进行特征提取，获取视线特征，包括：对所述脸部图像进行特征提取，获取头部转动特征；对所述眼部图像进行特征提取，获取眼部特征；融合所述头部转动特征和所述眼部特征，获取所述视线特征。4.根据权利要求1
‑
3任一项所述的基于三维视线估计和屏幕平面估计的鼠标定位的方法，其特征在于，在所述基于用户彩色图像，确定所述用户彩色图像中目标人脸的视线方向向量之前，所述方法还包括：获取所述第一相机与第二相机之间的第一旋转平移矩阵，并获取所述第二相机与所述目标屏幕之间的第二旋转平移矩阵；基于所述第一旋转平移矩阵和所述第二旋转平移矩阵，确定所述目标旋转平移矩阵。5.根据权利要求4所述的基于三维视线估计和屏幕平面估计的鼠标定位的方法，其特征在于，所述获取所述第一相机与第二相机之间的第一旋转平移矩阵，并获取所述第二相机与所述目标屏幕之间的第二旋转平移矩阵，包括：获取所述第一相机采集的第一标定板对应的第一图像，以及所述第二相机采集的第二标定板对应的第二图像；所述第一标定板为双面标定板的第一面，所述第二标定板为所述双面标定板的第二面，所述第一相机和所述第二相机的视场相对；基于所述第一图像，确定所述第一相机与所述第一标定板之间的第三旋转平移矩阵；
基于所述第二图像，确定所述第二相机与所述第二标定板之间的第四...

【专利技术属性】
技术研发人员：王孝文，张越一，熊志伟，
申请(专利权)人：中国科学技术大学先进技术研究院，
类型：发明
国别省市：