基于定位和视觉技术融合的车道级定位方法及系统技术方案

本发明专利技术公开了一种基于定位和视觉技术融合的车道级定位方法及系统，该方法通过将高精度定位设备获取的车辆中心点与最右车道线的真实距离和视频设备获取的车辆中心点与图像中最右车道线的像素距离作为数据融合的输入值，采用朴素贝叶斯和D

【技术实现步骤摘要】
基于定位和视觉技术融合的车道级定位方法及系统


[0001]本专利技术涉及北斗定位与图像处理分析领域，具体涉及一种基于定位和视觉技术融合的车道级定位方法及系统。

技术介绍

[0002]随着我国公路建设取得了令世界瞩目的成绩，其中高速公路总里程已经位于世界第一位。与此同时，我国公路交通事故问题却日益严重。公路具有车速高、封闭性强、车型复杂等特点，致使公路交通事故伤亡与财产损失相比于城市道路更为严重。为应对我国公路交通安全的严峻形势，须深入研究车辆运行特征与规律，提高车道级定位的准确度和鲁棒性，并应用于工程实践，不断提升公路交通安全管理水平，增强事故预防与处置能力。
[0003]长期以来，传统的单一设备车道级定位方法容易受到外部环境干扰，如定位设备会受到隧道的影响，视频设备会受限于天气的状况，均无法应付复杂的路况。如现有车载视频设备通过识别车辆前方左右车道线数目从而实现车道级定位，但该方法在雨、雪、大雾天气、光线暗等情况下均有可能因视线模糊而造成误判，车道级定位效果较差。

技术实现思路

[0004]本专利技术目的在于提供一种基于定位和视觉技术融合的车道级定位方法及系统，可避免传统车道级定位方法在单一设备工作时状态不稳定而误判的情况，增强了系统的鲁棒性，提供一种高可靠性和准确性的车道级定位结果。
[0005]实现本专利技术目的的技术解决方案如下：
[0006]一种基于定位和视觉技术融合的车道级定位方法，包括：
[0007]定位设备采集行车轨迹经纬度数据并进行数据预处理；
>[0008]车载摄像头采集前方道路图像数据，并检测图像数据中最右车道线；
[0009]计算车辆中心点与最右车道线的真实距离和视频设备获取的车辆中心点与图像中最右车道线的像素距离；
[0010]将车辆中心点与最右车道线的真实距离、视频设备获取的车辆中心点与图像中最右车道线的像素距离作为数据融合的输入值，使用朴素贝叶斯和D
‑
S证据理论数据融合方法输出最终所在车道判别结果。
[0011]本专利技术还一种基于定位和视觉技术融合的车道级定位系统，包括：
[0012]定位设备，采集行车轨迹经纬度数据并进行数据预处理；
[0013]车载摄像头，采集前方道路图像数据，并检测图像数据中最右车道线；
[0014]处理模块，计算车辆中心点与最右车道线的真实距离和视频设备获取的车辆中心点与图像中最右车道线的像素距离；
[0015]将车辆中心点与最右车道线的真实距离、视频设备获取的车辆中心点与图像中最右车道线的像素距离作为数据融合的输入值，使用朴素贝叶斯和D
‑
S证据理论数据融合方法输出最终所在车道判别结果。
[0016]本专利技术与现有技术相比，其显著优点为：
[0017](1)MaskRcnn深度学习网络，该网络实时性强且准确度高，不仅能处理物体检测问题，还能处理语义分割问题；
[0018](2)采用朴素贝叶斯和D
‑
S证据理论结合的方法，它是一种多时空数据融合方法，采用朴素贝叶斯分类器输出概率分配值BPA，并运用D
‑
S证据理论实现了对多时空数据进行融合，在处理多时刻、多设备的数据挖掘融合上相比其他机器学习算法表现出明显的优势；
[0019](3)本专利技术可避免复杂环境下车道级定位设备单一工作状态不稳定，输出高鲁棒性和精准的车道级定位结果；
[0020](4)辅助驾驶员规范行车，保障道路安全。
附图说明
[0021]图1为本专利技术基于定位和视觉技术融合的车道级定位方法流程图。
[0022]图2为d1计算方法示意图。
[0023]图3为d2计算方法示意图。
[0024]图4为数据融合算法整体框架图。
具体实施方式
[0025]由于传统单一设备的车道级定位方法容易受到外部环境干扰，如定位设备会受到隧道的影响而信号接收弱，视频设备会受限于天气的状况导致画面模糊，故均无法应付复杂的路况，故本专利技术提出一种基于定位和视觉技术融合的车道级定位方法，利用高精度定位设备将北斗卫星坐标精度提升至厘米级并结合视频设备，融合定位与视觉技术，实现精准且高鲁棒性的车道级定位。
[0026]该系统所涉及图像实例分割部分，选取MaskRcnn深度学习网络，该网络实时性强且准确度高，不仅能处理物体检测问题，还能处理语义分割问题；该系统所涉及数据融合方法，本专利技术在采用朴素贝叶斯和D
‑
S证据理论结合的方法，它是一种多时空数据融合方法，采用朴素贝叶斯分类器输出概率分配值BPA，并运用D
‑
S证据理论实现了对多时空数据进行融合，在处理多时段、多设备的数据挖掘融合上相比其他机器学习算法表现出明显的优势。
[0027]下面结合附图及具体实施例对本专利技术作进一步详细说明。
[0028]如图1所示，本专利技术基于定位和视觉技术融合的车道级定位方法，其实现包括以下步骤：
[0029]步骤1、车辆携带高精度定位设备并将车载摄像头拍摄前方道路放置车内中控中心位置；
[0030]步骤2、高精度定位设备采集行车轨迹经纬度数据并进行数据预处理：
[0031]将高精度定位设备天线放置车辆顶部中心位置并以5Hz工作频率接收北斗卫星定位数据。
[0032]将高精度定位设备的北斗接收模块传输的数据进行提取，接收到的数据采用信息帧表示，帧头为$BDGGA，其中BD代表北斗定位系统。
[0033]接收到的数据帧格式为$BDGGA，(1)，(2)，(3)，(4)，(5)，(6)，(7)，(8)，(9)，(10)，(11)，(12)，其中各部分数字代表内容如下：
[0034](1)定位UTC时间；
[0035](2)纬度(格式ddmm.mmmm：即dd度，mm.mmmm分)；
[0036](3)N/S(北纬或南纬)；
[0037](4)经度(格式dddmm.mmmm：即ddd度，mm.mmmm分)；
[0038](5)E/W(东经或西经)；
[0039](6)质量因子(0＝没有定位，1＝实时GPS，2＝差分GPS)；
[0040](7)可使用的卫星数(0～8)；
[0041](8)水平精度因子(1.0～99.9)；
[0042](9)天线高程(海平面，－9999.9～99999.9，单位：m)；
[0043](10)大地椭球面相对海平面的高度(－999.9～9999.9，单位：m)；
[0044](11)差分GPS数据年龄，实时GPS时无；
[0045](12)差分基准站号(0000～1023)，实时GPS时无；
[0046]数据以字符串的格式进行传输，通过确定“，”所在位置，来判断“，”后数据代表的内容，在Pycharm平台运用python语言进行经纬度的提取并存储为{(x
i
，y
i
)}。
...

【技术保护点】

【技术特征摘要】
1.一种基于定位和视觉技术融合的车道级定位方法，其特征在于，包括：定位设备采集行车轨迹经纬度数据并进行数据预处理；车载摄像头采集前方道路图像数据，并检测图像数据中最右车道线；计算车辆中心点与最右车道线的真实距离和视频设备获取的车辆中心点与图像中最右车道线的像素距离；将车辆中心点与最右车道线的真实距离、视频设备获取的车辆中心点与图像中最右车道线的像素距离作为数据融合的输入值，使用朴素贝叶斯和D
‑
S证据理论数据融合方法输出最终所在车道判别结果。2.根据权利要求1所述的基于定位和视觉技术融合的车道级定位方法，其特征在于，所述车载摄像头放置车内中控中心位置。3.根据权利要求1所述的基于定位和视觉技术融合的车道级定位方法，其特征在于，所述的定位设备采集行车轨迹经纬度数据并进行数据预处理，具体如下：将定位设备天线放置车辆顶部中心位置并接收北斗卫星定位数据，将定位设备的北斗接收模块传输的数据进行提取，接收到的数据采用信息帧表示，帧头为$BDGGA，其中BD代表北斗定位系统；接收到的数据帧格式为$BDGGA，(1)，(2)，(3)，(4)，(5)，(6)，(7)，(8)，(9)，(10)，(11)，(12)，其中各部分数字代表内容如下：(1)定位UTC时间；(2)纬度；(3)N/S；(4)经度；(5)E/W；(6)质量因子，0＝没有定位，1＝实时GPS，2＝差分GPS；(7)可使用的卫星数；(8)水平精度因子；(9)天线高程；(10)大地椭球面相对海平面的高度；(11)差分GPS数据年龄，实时GPS时无；(12)差分基准站号，实时GPS时无；数据以字符串的格式进行传输，通过确定“，”所在位置，来判断“，”后数据代表的内容，在Pycharm平台运用python语言进行经纬度的提取并存储为{(x
i
，y
i
)}。4.根据权利要求1所述的基于定位和视觉技术融合的车道级定位方法，其特征在于，所述车载摄像头采集前方道路图像数据，并检测图像数据中最右车道线，具体如下：采用MaskRcnn深度学习目标检测方法，检测每帧图像中的最右车道线，同时为每个实例生成一个分割掩码；使用车载摄像头采集的N张道路图片，并使用labelme进行图像中最右车道线的标注，将标注好的图片输入MaskRcnn网络进行训练得到权重；使用训练好的MaskRcnn网络检测最右车道线算法流程如下：a)输入当前帧图片并进行图像预处理；b)输入到预训练好的网络中获得对应的特征层网络；将这些候选的感兴趣区域送入特征金字塔融合网络进行二值分类和回归分析，过滤掉一部分候选的感兴趣区域；对这些剩下的感兴趣区域进行区域特征聚集操作，将原图和特征层网络的像素值对应起来，然后将特征层网络和固定的特征对应；对这些感兴趣区域进行分类、回归分析和MASK掩码生成，随机返还掩码区域即检测到的最右车道线的两个像素坐标点q1(z1，z2)，q2(z3，z4)。5.根据权利要求1所述的基于定位和视觉技术融合的车道级定位方法，其特征在于，所
述计算车辆中心点与最右车道线的真实距离d1和视频设备获取的车辆中心点与图像中最右车道线的像素距离d2，具体如下：d1计算方法：将车辆当前北斗卫星定位数据进行预处理后的经纬度坐标设为(a1,b1)，根据两经纬度点之间距离公式(1)和公式(2)，遍历最右车道线的经纬度点{(x
i
，y
i
)}计算距离，返还最短距离d1即为与最右车道线的真实距离；按照0度经线的基准，东经取经度的正值，西经取经度负值，北纬取90减去纬度值，南纬取90加上纬度值，则经过上述处理过后的两点被记为(ma1,mb1)和(mx
i
,my
i
)；根据三角推导，计算两点距离的如下公式：C＝sin(mb1)*sin(my
i
)*cos(ma1‑
mx
i
)+cos(mb1)*cos(my
i
)
ꢀꢀꢀ
(1)d1＝R*arccos(C)*Pi/180
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)其中R为地球半径，Pi为圆周率；d2计算方法：车载摄像头采集的图像数据尺寸为pt1*pt2，设置图像中心点p(pt1/2，pt2/2)，根据点到直线的距离公式(3)计算p点到q1(z1，z2)、q2(z3，z4)所连直线的距离d2；y＝kx+b
ꢀꢀꢀꢀꢀꢀꢀꢀ
(3)其中k、b为代入q1(z1，z2)、q2(z3，z4)求二元一次方程组所得。6.根据权利要求5所述的基于定位和视觉技术融合的车道级定位方法，其特征在于，步骤4将d1、d2作为数据融合的输入值，使用朴素贝叶斯和D
‑
S证据理论数据融合方法输出最终所在车道判别结果，具体如下：a)收集定位和视频设备输出经处理后的历史数据，记为{S1_data，S2_data}，将其作为朴素贝叶斯分类器的训练样本；b)将训练样本输入到贝叶斯分类器中进行训练，对于连续数据采用连续贝叶斯公式计算，训练得到最终的贝叶斯分类器，公式如下：式中：N
tc
为训练样本中属于类型c{c1，c2，c3，c4}的集合分别对应第一、二、三、四车道，N
t
为训练样本中全体训练集；为训练样本中全体训练集；其中，r为2，所有c的类别构成集合Y，d包括d1，d2分别作为输入值输入；对于连续属性，假设其概率密度近似符合正态分布，并采用概率密度进行计算，即式中，μ
c,i
和σ
c,i
分别为c类样本在第i个样本上取值的均值和方差；c)对于每个实时车道判别周期，采集两个监测设备当前时刻T1和上两个时刻T2、T3的监
测数据，分别将T1到T3两个设备采集的数据输入到朴素贝叶斯分类器中进行分类预测；假设状态评估结果c
j
有4种情况：当前车辆所处路段为四车道即第一、二、三、四车道，则运用式(9)可以得到12个概率分配值BPA；式中，m(c
j
)表示在已知属性为d1，d2的情况下将其分类...

【专利技术属性】
技术研发人员：周竹萍，唐旭，刘博闻，于双志，栾泊蓉，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：