一种基于点云的交通场景视线追踪方法及系统技术方案

本发明专利技术提供了一种基于点云的交通场景视线追踪方法及系统，获取驾驶员图像、车外图像数据和点云数据；对驾驶员图像进行人脸检测，获取包含眼睛区域的面部关键点；对驾驶员图像进行眼睛视线估计，并进行三维坐标转换；将转换后的三维坐标转换至雷达坐标系；对点云数据进行预处理，提取地面点，并将地表建筑物进行聚类，计算每类形心坐标；计算每类形心坐标距离雷达坐标系下视线的欧氏距离，保留符合要求的形心坐标，并计算平均值；将平均值对应的点投影至车外图像上，得到驾驶员的视线追踪目标。本发明专利技术能够检测到驾驶员当前正在看向的目标物体或区域，解决头部偏转时视线追踪定位不精准等问题。精准等问题。精准等问题。

【技术实现步骤摘要】
一种基于点云的交通场景视线追踪方法及系统


[0001]本专利技术属于驾驶员注意力追踪
，具体涉及一种基于点云的交通场景视线追踪方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]车辆辅助驾驶系统(ADAS)在减少交通事故方面发挥着越来越重要的作用。近年来，ADAS中的注视估计是智能座舱系统中的一个热门话题，有人提出用它来监测驾驶员的注意力状态。但是驾驶员注视估计存在一些困难，包括头部姿态、捕捉方向、遮挡、不同驾驶员的个性化、实时性要求等。这些困难使得驾驶员的注视估计仍然是一个待解决的问题。
[0004]目前有研究学者提出可以通过可穿戴智能眼镜或头部方位传感器等设备来监测驾驶员当前状态；然而，在真实驾驶环境中，基于传感器的监测方法会对驾驶员产生干扰，造成不可预测的风险，也会影响驾驶员的驾驶体验，并不能反映真实结果。

技术实现思路

[0005]本专利技术为了解决上述问题，提出了一种基于点云的交通场景视线追踪方法及系统，本专利技术能够检测到本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于点云的交通场景视线追踪方法，其特征是：包括以下步骤：获取驾驶员图像、车外图像数据和点云数据；对驾驶员图像进行人脸检测，获取包含眼睛区域的面部关键点；对驾驶员图像进行眼睛视线估计，并进行三维坐标转换；将转换后的三维坐标转换至雷达坐标系；对点云数据进行预处理，提取地面点，并将地表建筑物进行聚类，计算每类形心坐标；计算每类形心坐标距离雷达坐标系下视线的欧氏距离，保留符合要求的形心坐标，并计算平均值；将平均值对应的点投影至车外图像上，得到驾驶员的视线追踪目标。2.如权利要求1所述的一种基于点云的交通场景视线追踪方法，其特征是：所述眼睛区域包括驾驶员左眼，提取左眼二维坐标，利用左眼两个眼角的坐标平均值代替眼球中心位置。3.如权利要求1所述的一种基于点云的交通场景视线追踪方法，其特征是：进行三维坐标转换的具体过程包括：利用视线估计模型，得到基于人头坐标系的驾驶员左眼视线，转换为视线欧拉角，将左眼二维坐标转换为六元数。4.如权利要求1所述的一种基于点云的交通场景视线追踪方法，其特征是：将转换后的三维坐标转换至雷达坐标系的具体过程为构建相机系统和雷达坐标系的转换关系，利用转换关系进行转换；具体包括：将转换相机旋转至与室内相机相同视角，用棋盘格标定单目相机的内外参；将转换相机翻转至车外相机视角，采用雷达与相机联合标定的方法，得到转换相机坐标系在雷达坐标系下的转换关系；记录此时转换相机的坐标系相对于固定云台坐标系的相对位置；利用标定得到外参矩阵做矩阵乘法，得到车内相机坐标系转换至雷达坐标系下的转换关系；将左眼六元数转换为雷达坐标系下的左眼六元数。5.如权利要求1所述的一种基于点云的交通场景视线追踪方法，其特征是：对点云数据进行预处理，提取地面点，并将地表建筑物进行聚类的具体过程包括采用布料点云滤波算法，分离地面点云，将可能代表地面的点被标记为地面点而不用于聚类，其次，把剩余的地表建筑、障碍物点组分为多个聚类，同一类的点具有相同的一个标签，核心...

【专利技术属性】
技术研发人员：常发亮，杨易蓉，刘春生，刘泽昊，路彦沙，
申请(专利权)人：山东大学，
类型：发明
国别省市：