一种基于点云的交通场景视线追踪方法及系统技术方案

本发明专利技术提供了一种基于点云的交通场景视线追踪方法及系统，获取驾驶员图像、车外图像数据和点云数据；对驾驶员图像进行人脸检测，获取包含眼睛区域的面部关键点；对驾驶员图像进行眼睛视线估计，并进行三维坐标转换；将转换后的三维坐标转换至雷达坐标系；对点云数据进行预处理，提取地面点，并将地表建筑物进行聚类，计算每类形心坐标；计算每类形心坐标距离雷达坐标系下视线的欧氏距离，保留符合要求的形心坐标，并计算平均值；将平均值对应的点投影至车外图像上，得到驾驶员的视线追踪目标。本发明专利技术能够检测到驾驶员当前正在看向的目标物体或区域，解决头部偏转时视线追踪定位不精准等问题。精准等问题。精准等问题。

【技术实现步骤摘要】
一种基于点云的交通场景视线追踪方法及系统


[0001]本专利技术属于驾驶员注意力追踪
，具体涉及一种基于点云的交通场景视线追踪方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]车辆辅助驾驶系统(ADAS)在减少交通事故方面发挥着越来越重要的作用。近年来，ADAS中的注视估计是智能座舱系统中的一个热门话题，有人提出用它来监测驾驶员的注意力状态。但是驾驶员注视估计存在一些困难，包括头部姿态、捕捉方向、遮挡、不同驾驶员的个性化、实时性要求等。这些困难使得驾驶员的注视估计仍然是一个待解决的问题。
[0004]目前有研究学者提出可以通过可穿戴智能眼镜或头部方位传感器等设备来监测驾驶员当前状态；然而，在真实驾驶环境中，基于传感器的监测方法会对驾驶员产生干扰，造成不可预测的风险，也会影响驾驶员的驾驶体验，并不能反映真实结果。

技术实现思路

[0005]本专利技术为了解决上述问题，提出了一种基于点云的交通场景视线追踪方法及系统，本专利技术能够检测到驾驶员当前正在看向的目标物体或区域，解决头部偏转时视线追踪定位不精准等问题。
[0006]根据一些实施例，本专利技术采用如下技术方案：
[0007]一种基于点云的交通场景视线追踪方法，包括以下步骤：
[0008]获取驾驶员图像、车外图像数据和点云数据；
[0009]对驾驶员图像进行人脸检测，获取包含眼睛区域的面部关键点；
[0010]对驾驶员图像进行眼睛视线估计，并进行三维坐标转换；
[0011]将转换后的三维坐标转换至雷达坐标系；
[0012]对点云数据进行预处理，提取地面点，并将地表建筑物进行聚类，计算每类形心坐标；
[0013]计算每类形心坐标距离雷达坐标系下视线的欧氏距离，保留符合要求的形心坐标，并计算平均值；
[0014]将平均值对应的点投影至车外图像上，得到驾驶员的视线追踪目标。
[0015]作为可选择的实施方式，所述眼睛区域包括驾驶员左眼，提取左眼二维坐标，利用左眼两个眼角的坐标平均值代替眼球中心位置。
[0016]作为可选择的实施方式，进行三维坐标转换的具体过程包括：利用视线估计模型，得到基于人头坐标系的驾驶员左眼视线，转换为视线欧拉角，将左眼二维坐标转换为六元数。
[0017]作为可选择的实施方式，将转换后的三维坐标转换至雷达坐标系的具体过程为构
建相机系统和雷达坐标系的转换关系，利用转换关系进行转换。
[0018]作为进一步的，具体包括：
[0019]将转换相机旋转至与室内相机相同视角，用棋盘格标定单目相机的内外参；
[0020]将转换相机翻转至车外相机视角，采用雷达与相机联合标定的方法，得到转换相机坐标系在雷达坐标系下的转换关系；
[0021]记录此时转换相机的坐标系相对于固定云台坐标系的相对位置；
[0022]利用标定得到外参矩阵做矩阵乘法，得到车内相机坐标系转换至雷达坐标系下的转换关系；
[0023]将左眼六元数转换为雷达坐标系下的左眼六元数。
[0024]作为可选择的实施方式，对点云数据进行预处理，提取地面点，并将地表建筑物进行聚类的具体过程包括采用布料点云滤波算法，分离地面点云，将可能代表地面的点被标记为地面点而不用于聚类，其次，把剩余的地表建筑、障碍物点组分为多个聚类，同一类的点具有相同的一个标签，核心对象邻域内稀疏的点数，聚类后被当做噪声点，过滤掉所有的噪声离群点，标记为
‑
1，另作存储；对分隔聚类点按照标签存储。
[0025]作为可选择的实施方式，计算每类形心坐标的具体过程包括：在得到聚类后的点云坐标后，计算每一类簇的形心坐标，在三维空间中，假设每类障碍物的质量分布均匀，取将障碍物类分为相等的两部分的所有超平面的交点，即为该类所有点的平均值。
[0026]作为可选择的实施方式，计算每类形心坐标距离雷达坐标系下视线的欧氏距离，保留符合要求的形心坐标的具体过程包括：计算各个聚类中的形心坐标离视线的欧式距离，为每类点云增加欧氏距离属性，保留欧氏距离TopK小的形心坐标。
[0027]一种基于点云的交通场景视线追踪系统，包括：
[0028]图像采集模块，被配置为获取驾驶员图像、车外图像数据和点云数据；
[0029]关键点提取模块，被配置为对驾驶员图像进行人脸检测，获取包含眼睛区域的面部关键点；
[0030]视线估计模块，被配置为对驾驶员图像进行眼睛视线估计，并进行三维坐标转换；
[0031]坐标转换模块，被配置为将转换后的三维坐标转换至雷达坐标系；
[0032]聚类模块，被配置为对点云数据进行预处理，提取地面点，并将地表建筑物进行聚类，计算每类形心坐标；
[0033]计算模块，被配置为计算每类形心坐标距离雷达坐标系下视线的欧氏距离，保留符合要求的形心坐标，并计算平均值；
[0034]图像融合模块，被配置为将平均值对应的点投影至车外图像上，得到驾驶员的视线追踪目标。
[0035]一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述方法中的步骤。
[0036]一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述方法中的步骤。
[0037]与现有技术相比，本专利技术的有益效果为：
[0038]本专利技术能够准确估计驾驶员在当前正在注视的目标物体的要求，实现驾驶员头部偏转时的视线估计任务，完成从视线到3D注视目标物体的转换。能够检测到驾驶员当前正
在看向的目标物体或区域，解决头部偏转时视线追踪定位不精准等问题。
[0039]本专利技术将基于驾驶室内相机中的人头坐标系转换至车外相机系统下，便于统一空间视线点计算的坐标系。
[0040]本专利技术提出了视线方向向量上3D点云物体到图像的转换方法，有效解决点云聚类算法带来的误差问题和点云数据降采样后稀疏噪声点的干扰；通过对比驾驶员当前视线落点区域和交通场景下的显著性目标之间的误差，给予驾驶员安全注视信息提醒，实现智能辅助驾驶。
[0041]为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
[0042]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0043]图1为本实施例的流程图；
[0044]图2为本实施例的雷达和多视角相机系统标定转换图。
[0045]图3为本实施例点云坐标计算图；
[0046]图4为本实施例的视线追踪结果图。
具体实施方式：
[0047]下面结合附图与实施例对本专利技术作进一步说明。
[0048]应该指出，以下详细说明都是例示性的，旨在对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于点云的交通场景视线追踪方法，其特征是：包括以下步骤：获取驾驶员图像、车外图像数据和点云数据；对驾驶员图像进行人脸检测，获取包含眼睛区域的面部关键点；对驾驶员图像进行眼睛视线估计，并进行三维坐标转换；将转换后的三维坐标转换至雷达坐标系；对点云数据进行预处理，提取地面点，并将地表建筑物进行聚类，计算每类形心坐标；计算每类形心坐标距离雷达坐标系下视线的欧氏距离，保留符合要求的形心坐标，并计算平均值；将平均值对应的点投影至车外图像上，得到驾驶员的视线追踪目标。2.如权利要求1所述的一种基于点云的交通场景视线追踪方法，其特征是：所述眼睛区域包括驾驶员左眼，提取左眼二维坐标，利用左眼两个眼角的坐标平均值代替眼球中心位置。3.如权利要求1所述的一种基于点云的交通场景视线追踪方法，其特征是：进行三维坐标转换的具体过程包括：利用视线估计模型，得到基于人头坐标系的驾驶员左眼视线，转换为视线欧拉角，将左眼二维坐标转换为六元数。4.如权利要求1所述的一种基于点云的交通场景视线追踪方法，其特征是：将转换后的三维坐标转换至雷达坐标系的具体过程为构建相机系统和雷达坐标系的转换关系，利用转换关系进行转换；具体包括：将转换相机旋转至与室内相机相同视角，用棋盘格标定单目相机的内外参；将转换相机翻转至车外相机视角，采用雷达与相机联合标定的方法，得到转换相机坐标系在雷达坐标系下的转换关系；记录此时转换相机的坐标系相对于固定云台坐标系的相对位置；利用标定得到外参矩阵做矩阵乘法，得到车内相机坐标系转换至雷达坐标系下的转换关系；将左眼六元数转换为雷达坐标系下的左眼六元数。5.如权利要求1所述的一种基于点云的交通场景视线追踪方法，其特征是：对点云数据进行预处理，提取地面点，并将地表建筑物进行聚类的具体过程包括采用布料点云滤波算法，分离地面点云，将可能代表地面的点被标记为地面点而不用于聚类，其次，把剩余的地表建筑、障碍物点组分为多个聚类，同一类的点具有相同的一个标签，核心...

【专利技术属性】
技术研发人员：常发亮，杨易蓉，刘春生，刘泽昊，路彦沙，
申请(专利权)人：山东大学，
类型：发明
国别省市：