智能网联汽车用路基视觉定位图像处理算法及系统技术方案

本发明专利技术涉及一种对智能网联汽车的高精度定位技术和车路协同的智能网联汽车用路基视觉定位图像处理算法及系统，设有路基摄像头、边缘计算终端、路基车辆网终端和车载车联网终端，其中路基摄像头包含两个以上的摄像机，路基摄像头同步采集同一区域内不同角度的视觉图像后，将每一帧图像及图像时间标记发送给边缘计算终端；边缘计算终端运行上述智能网联汽车用路基视觉定位图像处理方法，实现对视野内所有车辆的实时定位测量和特征提取，获得高精度的车辆信息，包括位置、运行状态、车型、外观；可以实时的实现摄像头视野内的车辆位置和运行状态测量，在5G车联网的高速通讯技术的支持下，可以为智能网联汽车实时的提供高精度的定位信息服务。位信息服务。

【技术实现步骤摘要】
智能网联汽车用路基视觉定位图像处理算法及系统

：
[0001]本专利技术涉及智能网联汽车和智能交通系统领域，具体地说是一种对智能网联汽车的高精度定位技术和车路协同的智能网联汽车用路基视觉定位图像处理算法及系统。

技术介绍
：
[0002]目前，无人驾驶汽车在室外环境下的定位主要依赖于高精度GPS、多线激光雷达、摄像头等传感器进行感知定位。高精度GPS在室外空旷条件下可得到较高精度的全局定位，但在室内或者室外遮挡环境下存在局部定位精度差或丢失定位的问题，无法满足无人驾驶汽车的定位要求。
[0003]地图匹配定位技术也可用于无人驾驶汽车的定位，当车辆在结构化室外环境或者室内环境时，可提前建立该环境的二维栅格地图，车辆行驶时将激光雷达扫描点云数据与已知二维栅格地图进行地图匹配，从而得到车辆在局部环境下的高精度定位。但地图匹配需要提前对行驶环境进行建图，对行驶环境条件有要求，只能用于无人驾驶汽车局部定位。

技术实现思路
：
[0004]本专利技术针对现有技术中智能网联汽车的高精度定位问题，提出了一种能够解决大范围室内外复杂场景下的车辆本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能网联汽车用路基视觉定位图像处理算法，其特征在于，包括以下步骤：步骤1：读取当前时刻的每个摄像头的视频图像；步骤2：对每个摄像头的视频信息前后景分离；步骤3：对前景图像进行特征点提取和卷积神经网络目标检测，对同一时刻(K时刻)的各个摄像头前景图像采用Oriented FAST算法进行特征点提取和卷积神经网络目标检测；步骤4：对各摄像头图像进行特征点匹配；采用Steered BRIEF多目匹配算法对同时刻的多幅图像进行特征点匹配，图像旋转时每个关键点所在图像块中的质心也会跟着旋转从而做到这个坐标方向会随着图像旋转而旋转，也就是说实现了旋转不变性，具体公式如下，首先定义一个二进制操作：其中p(x)代表在x处的强度p，因此描述子就是n个二进制操作结果的组合，如下所示：对于长度为n的描述子，挑选得到n个匹配对，定义为2
×
n的矩阵得到关键点的旋转方向后得到对应的旋转矩阵，之后构造一个旋转的匹配对矩阵S
θ
＝R
θ
S则描述子公式如下：g
n
(p,θ):＝f
n
(p)|(x
i
,y
i
)∈S
θ
利用汉明距离小于最小距离的两倍为筛选的依据结合去除误匹配的算法实现特征点的匹配，之后对摄像头进行内外参数的标定将匹配成功的特征点进行二维到三维的转换，从而实现车辆三维空间求解进而形成对应的特征点云；由小孔成像模型可知像素坐标系与相机坐标系的转换关系如下：f为焦距，dx和dy分别是每个像素在图像平面x和y方向上的物理尺寸，矩阵K即为相机的内参矩阵，其参数由相机自身的参数决定；对于现实空间中已知的坐标系上的点，通过刚体变换将其坐标转移到相机坐标系下，刚体变换包括旋转变换和平移变换，设世界坐标系中点的坐标为(X
W
，Y
W
，Z
W
)
T
,相机坐标系中点的坐标为(X
C
，Y
C
，Z
C
)
T
则二者之间的变换关系如下：
其中，R是一个3
ⅹ
3的旋转矩阵，t是一个3
ⅹ
1的平移向量，[R t]称为相机的外参矩阵，相机的外参矩阵和相机的属性没有关系，只表示坐标系的刚体变换，则像素坐标系与世界坐标系的关系为：步骤5：将卷积神经网络对图像的检测结果和特征点云数据融合，去除误匹配和飞点数据；步骤6：根据多摄像头特征点匹配的结果和摄像头内外参数进行多目视觉特征点坐标转换，获取三维空间特征点云；步骤7：对连续的多个时刻的融合后数据进行滤波和多目标跟踪，获得视野内所有车辆的高精度定位信息、运行状态和车辆外观特征信息；步骤8：通过车载...

【专利技术属性】
技术研发人员：刘清河，张岩坤，赵立军，马琮淦，王大方，
申请(专利权)人：哈尔滨工业大学威海，
类型：发明
国别省市：