一种行车过程中驾驶员前视预瞄区域的获取方法技术

本发明专利技术公开了一种行车过程中驾驶员前视预瞄区域的获取方法，包括如下步骤：步骤一、在行驶过程中同步采集驾驶员视角的前视图像及行车记录仪获取的路况图像，并获取驾驶员视角图像坐标系下的行车眼动数据；步骤二、对所述驾驶员视角图像进行图像矫正；步骤三、获得所述驾驶员视角图像坐标系下的注视点，并且计算采样周期内的修正注视点图像坐标；步骤四、对所述驾驶员视角图像和所述行车记录以获取的路况图像进行匹配，消除驾驶员视角图像的动态抖动，获取消除抖动后的修正注视点图像坐标；步骤五、将所述消除抖动后的修正注视点图像坐标投影到世界坐标系，得到驾驶员前视预瞄区域。

【技术实现步骤摘要】
一种行车过程中驾驶员前视预瞄区域的获取方法
本专利技术属于驾驶员视觉建模
，特别涉及一种行车过程中驾驶员前视预瞄区域的获取方法。
技术介绍
在行车过程中，驾驶员通过眼睛观察道路环境，如道路标识，红绿灯，周围车辆，行人等目标，然后大脑对视觉输入信息进行加工处理，在保证安全驾驶的前提下，产生行车决策，进而指导手脚对车辆的方向盘、油门踏板、刹车踏板进行操纵，实现预期的车辆控制。因此，驾驶员的视觉行为在行车过程具有重要的作用，是大脑产生行车决策的先行条件，是指导车辆按照预期轨迹行驶的基础。驾驶车辆是一项动态控制任务，在该任务中，驾驶员必须从大量主要是视觉输入中选择相关信息，以做出决策并执行适当的控制响应。尽管有时司机必须对一些意外事件做出反应，但一般来说，司机执行的计划行动是由他们对前方展开的道路、行人和交通场景的期望以及他们实际观察到的现实所决定的。驾驶员从道路的视觉观察中获取信息，将这些几何信息转换为驾驶决策与操纵行为。视觉在人类控制自我运动方面起着主导作用，驾驶员和车辆之间的交互取决于驾驶员如何处理来自前方道路和周围环境的信息。在考虑视觉认知的驾驶员模型中，可以通过驾驶员驾驶过程中注视点的位置及前方视野，对驾驶员进行可靠的操纵稳定性评价，驾驶员自身也能够及时感知前方道路信息，做出决策和适当的控制行为，使控制效果更具人性化。驾驶过程中，驾驶员可以根据前方车道、障碍车辆等信息，提前预判是否需要进行转向操作，这一过程被称为预瞄，驾驶员的预瞄行为可以提升车辆控制的稳定性。驾驶员预瞄行为是模拟一个真实驾驶员的视觉预瞄输入-控制输出的实际驾驶过程，进而通过一个以侧向偏差或航向角偏差作为反馈量的PI控制器模型形式来进行表征。通过模拟了驾驶员真实的预瞄行为，提取获取前方道路的信息来进行车辆横向控制，能够取得较高的路径跟踪精度。驾驶员预瞄建模不仅可以用于汽车操纵稳定性的评价，在智能汽车轨迹跟踪中也有着广泛的应用前景。那么如何获取真实驾驶过程中的预瞄点以及构建鸟瞰视角投影，对于研究行车过程的驾驶员行为，与构建人性化的驾驶员横向控制模型具有重要的意义；对于获得控制精度接近甚至优于真实驾驶员的控制模型，研究人-车-路交互、获得更人性化的控制效果具有重要的作用。目前驾驶员视觉预瞄的很多研究都是从理论推导或者模拟假设进行求解，缺乏真实行车过程获取驾驶员前视预瞄行为的方法。
技术实现思路
本专利技术设计开发了一种能够在行车过程中获取驾驶员前视预瞄点及鸟瞰投影视图的方法，在行驶过程中同步采集驾驶员视角的前视图像及行车记录仪获取的路况图像，并获取驾驶员视角图像坐标系下的行车注视点坐标，对所述驾驶员视角图像进行图像矫正，根据所述图像坐标系下的注视点坐标进行变化得到注视点的空间坐标，进而得到所述驾驶员前视预瞄点，将所述注视点的空间坐标投影到鸟瞰视角视图，得到前视预瞄的鸟瞰投影视图。本专利技术的目的是通过实车驾驶利用图像处理技术得到驾驶员真实的预瞄点。本专利技术提供的技术方案为：一种行车过程驾驶员前视预瞄点及鸟瞰视角投影获取方法，包括如下步骤：步骤一、在行驶过程中同步采集驾驶员视角的前视图像及行车记录仪获取的路况图像，并获取驾驶员视角图像坐标系下的行车眼动数据；步骤二、对所述驾驶员视角图像进行图像矫正；步骤三、获得所述驾驶员视角图像坐标系下的注视点，并且计算采样周期内的修正注视点图像坐标；步骤四、对所述驾驶员视角图像和所述行车记录以获取的路况图像进行匹配，消除驾驶员视角图像的动态抖动，获取消除抖动后的修正注视点图像坐标；步骤五、将所述消除抖动后的修正注视点图像坐标投影到世界坐标系，得到驾驶员前视预瞄区域。优选的是，在所述步骤二中，通过如下公式对图像进行矫正：其中，(xu，yu)是矫正后得到的像素点坐标，(xd，yd)为所述像素点畸变后的坐标，(x0，y0)为畸变中心坐标，rd为所述像素点距离畸变中心的距离，λ为畸变系数。优选的是，在所述步骤四中，获取消除抖动后的修正注视点图像坐标，包括如下步骤：步骤1、在行车记录仪采集的图像中筛选多个第一特征点，在同时刻采集所述驾驶员视角图像中筛选出多个第二特征点；其中，所述多个第一特征点与所述多个第二特征点为一一对应关系；步骤2、随机选择4对相互对应的第一特征点和第二特征点，并且得到所述第一特征点与所述第二特征点之间的变换矩阵；步骤3、根据所述变换矩阵及所述驾驶员视角图像坐标系下的修正注视点坐标计算得到所述消除抖动后的修正注视点图像坐标；式中，为变换矩阵，(x,y)为驾驶员视角视频中图像坐标系下的修正注视点坐标；(x',y')为消除抖动后的修正注视点图像坐标。优选的是，在所述步骤1中，通过如下公式筛选出所述第一特征点：其中，能够满足det(H)＝0的所有的像素点即为所述第一特征点，f(x,y)是图像在该像素点的灰度值。优选的是，在所述步骤2中，得到变化矩阵包括如下步骤：步骤a、选取m组特征点；并且根据所述m组特征点分别计算出m个初始变化矩阵：其中，每组所述特征点均包括随机选择的4对相互对应的第一特征点和第二特征点；步骤b、使用所述m个初始变化矩阵分别变换所有第二特征点，得到的变换后的第二特征点；步骤c、计算所述变换后的第二特征点与其对应的所述第一特征点的匹配误差；筛选出匹配误差最小的计算结果对应的初始变换矩阵，即为所述变换矩阵；其中，所述匹配误差为：式中，(x1′0,y1′0)表示变换后的第二特征点的坐标，(x1,y1)表示第一特征点的坐标。优选的是，在所述步骤c中，当所述匹配误差S≤10时，保留对应的初始变换矩阵，否则舍弃对应的初始变换矩阵。优选的是，在所述步骤五中，通过如下变换将将所述消除抖动后的预瞄点图像坐标投影到世界坐标系：其中，(x',y')为消除抖动后的修正注视点图像坐标，(x″，y″)为所述消除抖动后的修正注视点图像坐标投射到鸟瞰视角路面上的坐标；H'为通过行车记录仪相机位姿参数计算的透视矩阵。优选的是，所述通过行车记录仪相机位姿参数计算的透视矩阵为：其中，(X0,Y0)为修正注视点图像中心坐标，R为行车记录仪相机位置的旋转正交矩阵，T为行车记录仪相机位置的平移矩阵，f为行车记录仪相机焦距。本专利技术的有益效果是：本专利技术提供的行车过程中驾驶员前视预瞄区域的获取方法，通过行车过程对驾驶员眼动数据及前视视频图像数据进行采集，获取驾驶员视角图像坐标下的注视点，最终得到预瞄点的鸟瞰视角投影；本专利技术能够通过实车驾驶过程得到更为真实的预瞄点，克服了现有技术中从理论推导进行的求解，缺乏实车测试的数据支撑的缺陷。附图说明图1为本专利技术所述的行车过程驾驶员注视点获取流程图。图2为本专利技术所述的将驾驶员视角图像投影到路平面的示意图。具体实施方式下面结合附图对本专利技术做进一步的本文档来自技高网...

【技术保护点】
1.一种行车过程中驾驶员前视预瞄区域的获取方法，其特征在于，包括如下步骤：/n步骤一、在行驶过程中同步采集驾驶员视角的前视图像及行车记录仪获取的路况图像，并获取驾驶员视角图像坐标系下的行车眼动数据；/n步骤二、对所述驾驶员视角图像进行图像矫正；/n步骤三、获得所述驾驶员视角图像坐标系下的注视点，并且计算采样周期内的修正注视点图像坐标；/n步骤四、对所述驾驶员视角图像和所述行车记录以获取的路况图像进行匹配，消除驾驶员视角图像的动态抖动，获取消除抖动后的修正注视点图像坐标；/n步骤五、将所述消除抖动后的修正注视点图像坐标投影到世界坐标系，得到驾驶员前视预瞄区域。/n

【技术特征摘要】
1.一种行车过程中驾驶员前视预瞄区域的获取方法，其特征在于，包括如下步骤：
步骤一、在行驶过程中同步采集驾驶员视角的前视图像及行车记录仪获取的路况图像，并获取驾驶员视角图像坐标系下的行车眼动数据；
步骤二、对所述驾驶员视角图像进行图像矫正；
步骤三、获得所述驾驶员视角图像坐标系下的注视点，并且计算采样周期内的修正注视点图像坐标；
步骤四、对所述驾驶员视角图像和所述行车记录以获取的路况图像进行匹配，消除驾驶员视角图像的动态抖动，获取消除抖动后的修正注视点图像坐标；
步骤五、将所述消除抖动后的修正注视点图像坐标投影到世界坐标系，得到驾驶员前视预瞄区域。


2.根据权利要求1所述的行车过程中驾驶员前视预瞄区域的获取方法，其特征在于，在所述步骤二中，通过如下公式对图像进行矫正：






其中，(xu，yu)是矫正后得到的像素点坐标，(xd，yd)为所述像素点畸变后的坐标，(x0，y0)为畸变中心坐标，rd为所述像素点距离畸变中心的距离，λ为畸变系数。


3.根据权利要求2所述的行车过程中驾驶员前视预瞄区域的获取方法，其特征在于，在所述步骤四中，获取消除抖动后的修正注视点图像坐标，包括如下步骤：
步骤1、在行车记录仪采集的图像中筛选多个第一特征点，在同时刻采集所述驾驶员视角图像中筛选出多个第二特征点；
其中，所述多个第一特征点与所述多个第二特征点为一一对应关系；
步骤2、随机选择4对相互对应的第一特征点和第二特征点，并且得到所述第一特征点与所述第二特征点之间的变换矩阵；
步骤3、根据所述变换矩阵及所述驾驶员视角图像坐标系下的修正注视点坐标计算得到所述消除抖动后的修正注视点图像坐标；



式中，为变换矩阵，(x,y)为驾驶员视角视频中图像坐标系下的修正注视点坐标；(x',y')为消除抖动后的修正注视点图像坐标。


4.根据权利要求3所述的行车过程中驾驶员前视预瞄区域的获取方法，其特征在于...

【专利技术属性】
技术研发人员：胡宏宇，程铭，赵宇婷，盛愈欢，
申请(专利权)人：吉林大学，
类型：发明
国别省市：吉林;22