基于单目相机的人眼定位方法、装置以及设备制造方法及图纸

本发明专利技术公开了一种基于单目相机的人眼定位方法、装置以及设备。本发明专利技术的构思在于，通过单目相机以及参考点预先标定出驾驶员个体的刚体参数，即驾驶员真实的瞳距特征信息，以此作为后续定位操作的基础，而在实际定位阶段则由对应关系读取当前驾驶员的瞳距特征信息，并结合实时采集的2D图像的信息，测算驾驶员眼睛在真实空间中的位置。本发明专利技术与现有基于单目相机测距的方案像相比能够显著提升定位精度，并且具有成本低、操作便捷的优势，易于广泛施用在DSM领域中。

Eye location method, device and equipment based on monocular camera

【技术实现步骤摘要】
基于单目相机的人眼定位方法、装置以及设备
本专利技术涉及驾驶员状态监控
，尤其涉及一种基于单目相机的人眼定位方法、装置以及设备。
技术介绍
在驾驶员状态监控(DriverStateMonitor，DSM)领域，其中涉及到对驾驶员凝视目标点或目标区域的监控技术。具体来说，驾驶员在驾驶过程中的凝视目标可由目标位置或区域以及驾驶员凝视射线确定。其中，目标位置或区域可以通过预先对相机标定并对座舱进行三维建模来确定；驾驶员凝视射线则可以由驾驶员凝视方向和凝视原点构成，其中驾驶员凝视方向可通过对单目相机采集到的驾驶员人脸图像分析得到。然而由于单目相机的2D成像特性，较难获取物体的深度信息，例如凝视原点信息(即人眼的空间位置)便无法精确测得。此外，目前采用单目相机进行测距的一些现有方案，更忽略了驾驶员个体差异，这就额外增加了误差因素，导致定位精度更差。
技术实现思路
鉴于上述，本专利技术旨在提供一种基于单目相机的人眼定位方法、装置以及设备，并相应地提出一种计算机可读存储介质以及计算机程序产品，通过这些方面能够在较低成本条件下获得较高精度的人眼空间位置信息。本专利技术采用的技术方案如下：第一方面，本专利技术提供了一种针基于单目相机的人眼定位方法，包括：基于设定的参考点以及单目相机，预先测量并存储驾驶员的实际瞳距参数；通过单目相机采集驾驶员的当前图像；根据相应于当前驾驶员的所述实际瞳距参数以及所述当前图像的信息，求取驾驶员的眼睛到相机的第一距离；利用所述第一距离以及所述当前图像的信息，确定驾驶员眼睛的空间位置。在其中至少一种可能的实现方式中，所述基于设定的参考点以及单目相机，预先测量并存储驾驶员的实际瞳距参数包括：提示驾驶员凝视所述参考点，并利用单目相机采集驾驶员图像；根据所述驾驶员图像，获得图像中左右瞳孔及两瞳孔中点的位置、头部偏转角以及视线方向；根据所述两瞳孔中点的位置、所述参考点的位置以及所述视线方向，求取驾驶员的实际两瞳孔中点与相机的第二距离；基于图像中左右瞳孔的位置、单目相机焦距、所述头部偏转角以及所述第二距离，确定并存储驾驶员的实际瞳距参数。在其中至少一种可能的实现方式中，所述根据相应于当前驾驶员的所述实际瞳距参数以及所述当前图像的信息，求取驾驶员的眼睛到相机的第一距离包括：基于当前驾驶员的身份读取相应的所述实际瞳距参数；对所述当前图像进行处理，获得当前图像中左右瞳孔的位置以及头部偏转角；根据所述实际瞳距参数、当前图像中左右瞳孔的位置、单目相机焦距、以及所述头部偏转角，确定所述第一距离；其中所述第一距离是指当前驾驶员的实际两瞳孔中点与相机的距离。在其中至少一种可能的实现方式中，所述利用所述第一距离以及所述当前图像的信息，确定驾驶员眼睛的空间位置包括：从当前图像中获取两瞳孔中点相对于单目相机的空间位置信息；根据所述空间位置信息以及所述第一距离，确定当前驾驶员的眼睛的实际空间位置。第二方面，本专利技术提供了一种基于单目相机的人眼定位装置，包括：瞳距标定模块，用于基于设定的参考点以及单目相机，预先测量并存储驾驶员的实际瞳距参数；图像采集模块，用于通过单目相机采集驾驶员的当前图像；人眼距离计算模块，用于根据相应于当前驾驶员的所述实际瞳距参数以及所述当前图像的信息，求取驾驶员的眼睛到相机的第一距离；人眼空间定位模块，用于利用所述第一距离以及所述当前图像的信息，确定驾驶员眼睛的空间位置。在其中至少一种可能的实现方式中，所述瞳距标定模块包括：图像采集单元，用于提示驾驶员凝视所述参考点，并利用单目相机采集驾驶员图像；图像处理单元，用于根据所述驾驶员图像，获得图像中左右瞳孔及两瞳孔中点的位置、头部偏转角以及视线方向；人眼距离计算单元，用于根据所述两瞳孔中点的位置、所述参考点的位置以及所述视线方向，求取驾驶员的实际两瞳孔中点与相机的第二距离；瞳距参数构建单元，基于图像中左右瞳孔的位置、单目相机焦距、所述头部偏转角以及所述第二距离，确定并存储驾驶员的实际瞳距参数。在其中至少一种可能的实现方式中，所述人眼距离计算模块包括：瞳距参数读取单元，用于基于当前驾驶员的身份读取相应的所述实际瞳距参数；图像处理单元，用于对所述当前图像进行处理，获得当前图像中左右瞳孔的位置以及头部偏转角；人眼距离计算单元，用于根据所述实际瞳距参数、当前图像中左右瞳孔的位置、单目相机焦距、以及所述头部偏转角，确定所述第一距离；其中所述第一距离是指当前驾驶员的实际两瞳孔中点与相机的距离。在其中至少一种可能的实现方式中，所述人眼空间定位模块包括：从当前图像中获取两瞳孔中点相对于单目相机的空间位置信息；根据所述空间位置信息以及所述第一距离，确定当前驾驶员的眼睛的实际空间位置。第三方面，本专利技术提供了一种基于单目相机的人眼定位设备，包括：一个或多个处理器、存储器以及一个或多个计算机程序，所述存储器可以采用非易失性存储介质，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备(可以是处理器)执行时，使得所述设备执行如第一方面或者第一方面的任一可能实现方式中的所述方法。第四方面，本专利技术提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行如第一方面或者第一方面的任一可能实现方式中的所述方法。第五方面，本专利技术还提供了一种用于驾驶员状态监控系统的计算机程序产品，当所述计算机程序产品被计算机设备执行时，用于使所述驾驶员状态监控系统执行第一方面或者第一方面的任一可能实现方式中的所述方法。在第五方面的一种可能的设计中，该产品涉及到的相关程序可以全部或者部分存储在与处理器封装在一起的存储器上，也可以部分或者全部存储在不与处理器封装在一起的存储介质上。本专利技术的构思在于，通过单目相机以及参考点预先标定出驾驶员个体的刚体参数，即驾驶员真实的瞳距特征信息，以此作为后续定位操作的基础，而在实际定位阶段则由对应关系读取当前驾驶员的瞳距特征信息，并结合实时采集的2D图像的信息，测算驾驶员眼睛在真实空间中的位置。本专利技术与现有基于单目相机测距的方案像相比能够显著提升定位精度，并且具有成本低、操作便捷的优势，易于广泛施用在DSM领域中。附图说明为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作进一步描述，其中：图1为本专利技术提供的基于单目相机的人眼定位方法的实施例的流程图；图2为本专利技术提供的测量存储实际瞳距参数的实施例的流程图；图3为本专利技术提供的求取实际瞳距的实施例的参考图；图4为本专利技术提供的求取人眼到相机实际距离的实施例的流程图；图5为本专利技术提供的基于单目相机的人眼定位装置的实施例的方框图。具体实施方式下面本文档来自技高网...

【技术保护点】
1.一种基于单目相机的人眼定位方法，其特征在于，包括：/n基于设定的参考点以及单目相机，预先测量并存储驾驶员的实际瞳距参数；/n通过单目相机采集驾驶员的当前图像；/n根据相应于当前驾驶员的所述实际瞳距参数以及所述当前图像的信息，求取驾驶员的眼睛到相机的第一距离；/n利用所述第一距离以及所述当前图像的信息，确定驾驶员眼睛的空间位置。/n

【技术特征摘要】
1.一种基于单目相机的人眼定位方法，其特征在于，包括：
基于设定的参考点以及单目相机，预先测量并存储驾驶员的实际瞳距参数；
通过单目相机采集驾驶员的当前图像；
根据相应于当前驾驶员的所述实际瞳距参数以及所述当前图像的信息，求取驾驶员的眼睛到相机的第一距离；
利用所述第一距离以及所述当前图像的信息，确定驾驶员眼睛的空间位置。


2.根据权利要求1所述的基于单目相机的人眼定位方法，其特征在于，所述基于设定的参考点以及单目相机，预先测量并存储驾驶员的实际瞳距参数包括：
提示驾驶员凝视所述参考点，并利用单目相机采集驾驶员图像；
根据所述驾驶员图像，获得图像中左右瞳孔及两瞳孔中点的位置、头部偏转角以及视线方向；
根据所述两瞳孔中点的位置、所述参考点的位置以及所述视线方向，求取驾驶员的实际两瞳孔中点与相机的第二距离；
基于图像中左右瞳孔的位置、单目相机焦距、所述头部偏转角以及所述第二距离，确定并存储驾驶员的实际瞳距参数。


3.根据权利要求1所述的基于单目相机的人眼定位方法，其特征在于，所述根据相应于当前驾驶员的所述实际瞳距参数以及所述当前图像的信息，求取驾驶员的眼睛到相机的第一距离包括：
基于当前驾驶员的身份读取相应的所述实际瞳距参数；
对所述当前图像进行处理，获得当前图像中左右瞳孔的位置以及头部偏转角；
根据所述实际瞳距参数、当前图像中左右瞳孔的位置、单目相机焦距、以及所述头部偏转角，确定所述第一距离；其中所述第一距离是指当前驾驶员的实际两瞳孔中点与相机的距离。


4.根据权利要求3所述的基于单目相机的人眼定位方法，其特征在于，所述利用所述第一距离以及所述当前图像的信息，确定驾驶员眼睛的空间位置包括：
从当前图像中获取两瞳孔中点相对于单目相机的空间位置信息；
根据所述空间位置信息以及所述第一距离，确定当前驾驶员的眼睛的实际空间位置。


5.一种基于单目相机的人眼定位装置，其特征在于，包括：
瞳距标定模块，用于基于设定的参考点以及单目相机，预先测量并存储驾驶员的实际瞳距参数；
图像采集模块，用于通过单目相机采集驾驶员的当前图像；
人眼距离计算模块，用于根据相应于当前驾驶员的所述实际瞳距参数以及...

【专利技术属性】
技术研发人员：高万军，李超龙，吴子扬，柳燕飞，汪华锋，和卫民，刘俊峰，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：安徽;34