一种人眼视线与前景图像叠加的方法及系统技术方案

一种用于辅助驾驶领域的人眼视线与前景图像叠加的方法及装置，该方法包括有以下步骤：S1：寻找驾驶员的视线位置，得到人眼位置在相机坐标系的三维坐标；S2：利用前景相机拍摄驾驶员的前视野图像；S3：将所述步骤S1的所述相机坐标系的三维坐标与驾驶员前视野图像叠加形成叠加图像，所述叠加图像的第一层显示实时的驾驶员视线位置；所述叠加图像的第二层显示实时所述前景相机拍摄的前视野图像。还包括一采集装置，其可以采集高质量的用于神经网络训练用图像数据，为视线的捕捉提供数据支持。本发明专利技术通过该图像的叠加可以为计算机处理视线位置的检测提供多种应用。另外由于采用的高质量的神经网络训练用数据以及与其配套的神经网络，保证了视线检测的精度。

A Method and System for Superposition of Human Vision and Foreground Images

A method and device for superposition of human eye sight and foreground image in the field of assistant driving includes the following steps: S1: finding the driver's position of sight, obtaining the three-dimensional coordinates of human eye position in the camera coordinate system; S2: taking the driver's foreground vision image with the foreground camera; S3: putting the three-dimensional coordinates of the camera coordinate system in front of the driver. The visual field image is superimposed to form a superimposed image, the first layer of the superimposed image displays the real-time driver's line of sight position, and the second layer of the superimposed image displays the real-time foreground field image taken by the foreground camera. It also includes a acquisition device, which can collect high quality image data for neural network training and provide data support for line of sight capture. The invention can provide a variety of applications for computer processing of line-of-sight position detection by superimposing the image. In addition, because of the high quality training data of neural network and the matching neural network, the accuracy of line-of-sight detection is guaranteed.

【技术实现步骤摘要】
一种人眼视线与前景图像叠加的方法及系统
本申请涉及人工智能的图像数据处理领域。具体地说，涉及的是计算机处理人脸图像数据与实时前景图像的融合。
技术介绍
对人眼视线方向的确定包括对人眼位置的确定，人眼注视点位置的确定，当在真实三维空间中将上述两点位置确定后，两者位置的连线即为人眼视线的方向。然而在辅助驾驶领域或者是自动驾驶领域，对于人眼视线并没有完全利用。例如CN106886759A，该现有技术中仅是关注到有于头部是否有偏转，当发现头部有偏转，人眼朝向后视镜观看时，说明司机想看到正常驾驶位置上难以看到的盲区，此时会将盲区的图像显示出来。该检测人眼的视线变化不够精细，当头部没有偏转时，系统无法查觉出此时驾驶员的意图。例如CN104619558A，该现有技术中公开的检测系统也可以检测人眼视线方向的变化，检查驾驶中视线方向是否对准镜子，当检测到该视线对准镜子，则系统默认此时的驾驶员需要观察后视镜，此时会分别根据驾驶员观察的是左后视镜还是右后视镜去分别调整该后视镜的角度，以方便驾驶员能够通过后视镜看到更多的视野。该现有技术存在的缺点在于：必须在人眼大范围的视线角度变换的情况下才能得到该视线方向变化的信息，即仍然存在检测视线变化不够精细的问题。例如CN107054225A，该现有技术中公开的检测系统用于检测驾驶员的人眼视线方向，当发现驾驶中凝视车辆控制面板上的显示屏和/或控制键时，说明此时驾驶员的视线方向不在驾驶室前方，此时将前方视野图像投影到该显示屏上，以方便驾驶员虽然没有注视前方，但仍然能够看到前方物体。该检测装置实际检测的是头部的偏移，仍然转动角度较大，无法做到对人眼视线方向的精确捕捉。技术方案为解决上述问题，并且为了将精确得到人眼视线方向与驾驶情景有效的结合，本专利技术提供了一种视线叠加装置及方法，以解决现有技术中无法得到人眼视线方向精确方向，从而无法与驾驶情景有效结合的技术问题。本专利技术的目的是提供一种建立在高精度人眼视线定位基础上的，与前方视线图像形成叠加的方法，以及执行该方法的装置。通过该方法，计算机或者驾驶员能够实时得到此时视线在前方视野中的位置，为后继精确的人机交互以及视线追踪应用提供可能。本专利技术的一个方面包括如下技术方案：一种人眼视线位置与前景图像叠加的方法，该方法包括有以下步骤：S1：寻找驾驶员的视线位置，得到人眼位置在内景相机(DMS相机)坐标系的三维坐标及视线方向矢量；S2：利用前景相机拍摄驾驶员的前视野图像作为前景图像；S3：将所述步骤S1的所述内景相机坐标系的三维坐标与所述步骤S2中的所述前景图像叠加形成叠加图像，所述叠加图像包括两层；其中第一层显示实时的驾驶员视线位置；第二层实时显示所述前景相机拍摄的前景图像；其中所述步骤S3中，通过标定数据，将所述步骤S1中的内景相机(DMS相机)坐标系下人眼位置和所述视线方向矢量转换到前景相机坐标系下的人眼位置和/或视线方向矢量；其中所述步骤S1中采用神经网络计算所述视线方向矢量。优选的，所述步骤S1中得到人眼位置在相机坐标系的三维坐标的方法，包括如下步骤：S11.固定前景相机与内景相机(DMS相机)，并且标定所述前景相机与所述内景相机的几何位置关系；S12.采用所述内景相机(DMS相机)采集人脸图像；S13.将所述人脸图像经过人脸特征点网络模型，得到人脸上两个内眼角，两个外眼角以及鼻尖的五个像素坐标；并计算得到双眼的中心坐标；S14.由步骤S13得到的所述双眼的中心坐标，经过神经网络的视线位置计算，得到采集的所述人脸图像的视线方向矢量；S15.通过步骤S13得到的所述双眼的中心坐标以及鼻尖的坐标计算出人眼三维坐标系到内景相机坐标系的旋转矩阵，进而得到所述人眼位置在所述内景相机(DMS相机)坐标系的三维坐标。优选的，在前景相机坐标系下，已知所述双眼的中心坐标和所述视线方向矢量。以眼睛中心为起点，以所述视线矢量为方向，所述视线矢量与前景图像平面的交点即为在前景图像中驾驶员的注视点；其中人眼在内景相机坐标系下的坐标为Point(x,y,z)，人眼在前景相机下的坐标为Point(u,v,w)；内景相机根据神经网络预测出的视线矢量V(rot_x,rot_y,rot_z)，前景相机下视线矢量V(rot_u,rot_v,rot_w)；将所述内景相机坐标系下的坐标位置变换到所述前景相机坐标下的坐标位置包括以下步骤：Point(u,v,w)＝R2*(Point(x,y,z))+T2；V(rot_u,rot_v,rot_w)＝R2*V1(rot_x,rot_y,rot_z)；以Point(u,v,w)为起点，以V(rot_u,rot_v,rot_w)为方向向量，构造一条射线，其与前景相机像平面存在一个交点，该点即为视线点。其中人眼坐标系到内景相机坐标系变化的旋转矩阵[R1|T1]；所述内景相机到所述前景相机的旋转矩阵[R2|T2]；R1，T1分别代表从人眼坐标系到内景相机坐标系变换的旋转和平移变换参数；R2，T2分别代表从内景相机坐标系到前景相机坐标系变换的旋转和平移变换参数。优选的，其中步骤S1中经过神经网络的视线位置计算，得到采集的所述人脸图像的视线方向矢量；所述神经网络包含5个卷积模块，每个所述卷积模块采用ShuffleNet结构；以头部图像为输入层，将输入图像标准化为224*224的尺寸，然后使用3*3的卷积核以2个像素为步长进行卷积，使用ReLu激活函数，得到特征图的尺寸为112*112，再使用最大值池化，以2个像素为步长进行降采样，得到尺寸为56*56的特征图。优选的，所述5个卷积模块使用了混洗单元(shuffleunit)的网络结构；在第一shuffleunit模块的右分支中，56*56的特征图先进行逐点组卷积，然后进行通道混洗(channelshuffle)，再用3*3的卷积核以2个像素为步长进行深度卷积(depthwiseconvolution)，然后进行逐点组卷积。本专利技术的另一方面，提供了一种人眼视线位置与前景图像叠加的系统，其执行上述的叠加方法。优选的，其中包括有一计算装置，用于提取一采集装置采集的图像中的人眼特征点位置，并且计算该人眼位置坐标；此外还通过所述人眼凝视位置相机计算相对应的凝视位置坐标，并且计算人眼在所述内景相机(DMS相机)的坐标系下3D位置；所述计算装置包括权利要求4所述的神经网络，该神经网络用于将各角度人脸部图像中的人眼位置图像、视线凝视位置坐标输入到所述神经网络中进行训练，训练得到当输入人脸部图像时，能够精确输出人眼视线方向。优选的，所述采集装置包括：多个支架，所述多个支架包括多个横向支架和多个纵向支架；所述多个相机固定在多个所述横向支架和纵向支架的交叉位置；一滑轨结构，其包括横向滑轨和纵向滑轨，该滑轨结构能够在支架上沿水平方向和竖直方向自由移动；一光源固定在所述横向滑轨和所述纵向滑轨的交叉位置；所述人眼凝视位置相机与该光源固定，使所述人眼凝视位置相机能随所述光源移动而移动。优选的，所述多个相机包括有相机的光轴方向与人的面部垂直的方向呈方向45°的相机，该角度保证了拍摄到人脸扭转最大90°的所述人眼图像。根据本专利技术的另一方面，还包括上述方法在自动驾驶和/辅助驾驶中的应用。本专利技术对通过上述坐标变换的方法可准确本文档来自技高网...

【技术保护点】
1.一种人眼视线位置与前景图像叠加的方法，该方法包括有以下步骤：S1：寻找驾驶员的视线位置，得到人眼位置在内景相机(DMS相机)坐标系的三维坐标及视线方向矢量；S2：利用前景相机拍摄驾驶员的前视野图像作为前景图像；S3：将所述步骤S1的所述内景相机坐标系的三维坐标与所述步骤S2中的所述前景图像叠加形成叠加图像，所述叠加图像包括两层；其中第一层显示实时的驾驶员视线位置；第二层实时显示所述前景相机拍摄的前景图像；其中所述步骤S3中，通过标定数据，将所述步骤S1中的内景相机(DMS相机)坐标系下人眼位置和所述视线方向矢量转换到前景相机坐标系下的人眼位置和/或视线方向矢量；其中所述步骤S1中采用神经网络计算所述视线方向矢量。

【技术特征摘要】
1.一种人眼视线位置与前景图像叠加的方法，该方法包括有以下步骤：S1：寻找驾驶员的视线位置，得到人眼位置在内景相机(DMS相机)坐标系的三维坐标及视线方向矢量；S2：利用前景相机拍摄驾驶员的前视野图像作为前景图像；S3：将所述步骤S1的所述内景相机坐标系的三维坐标与所述步骤S2中的所述前景图像叠加形成叠加图像，所述叠加图像包括两层；其中第一层显示实时的驾驶员视线位置；第二层实时显示所述前景相机拍摄的前景图像；其中所述步骤S3中，通过标定数据，将所述步骤S1中的内景相机(DMS相机)坐标系下人眼位置和所述视线方向矢量转换到前景相机坐标系下的人眼位置和/或视线方向矢量；其中所述步骤S1中采用神经网络计算所述视线方向矢量。2.根据权利要求1所述的方法，所述步骤S1中得到人眼位置在所述内景相机坐标系的三维坐标的方法，包括如下步骤：S11.固定前景相机与内景相机(DMS相机)，并且标定所述前景相机与所述内景相机的几何位置关系；S12.采用所述内景相机采集人脸图像；S13.将所述人脸图像经过人脸特征点网络模型，得到人脸上两个内眼角，两个外眼角以及鼻尖的五个像素坐标；并计算得到双眼的中心坐标；S14.由步骤S13得到的所述双眼的中心坐标，经过所述神经网络的视线位置计算，得到采集的所述人脸图像的视线方向矢量；S15.通过步骤S13得到的所述双眼的中心坐标以及鼻尖的坐标计算出人眼三维坐标系到内景相机坐标系的旋转矩阵，进而得到所述人眼位置在所述内景相机坐标系的三维坐标。3.根据权利要求1-2所述的方法，在所述前景相机坐标系下，已知所述双眼的中心坐标和所述视线方向矢量。以眼睛中心为起点，以所述视线矢量为方向，所述视线矢量与前景图像平面的交点即为在前景图像中驾驶员的注视点；其中人眼在内景相机坐标系下的坐标为Point(x,y,z)，人眼在前景相机下的坐标为Point(u,v,w)；内景相机根据神经网络预测出的视线矢量V(rot_x,rot_y,rot_z)，前景相机下视线矢量V(rot_u,rot_v,rot_w)；将所述内景相机坐标系下的坐标位置变换到所述前景相机坐标下的坐标位置包括以下公式：Point(u,v,w)＝R2*(Point(x,y,z))+T2；V(rot_u,rot_v,rot_w)＝R2*V1(rot_x,rot_y,rot_z)；其中以Point(u,v,w)为起点，以V(rot_u,rot_v,rot_w)为方向向量，构造一条射线，其与前景相机像平面存在一个交点，该点即为视线点。其中人眼坐标系到内...

【专利技术属性】
技术研发人员：侯喆，王晋玮，
申请(专利权)人：初速度苏州科技有限公司，
类型：发明
国别省市：江苏,32