当前位置: 首页 > 专利查询>重庆大学专利>正文

自动驾驶系统的多传感器信息融合方法技术方案

技术编号:37455468 阅读:11 留言:0更新日期:2023-05-06 09:27
本发明专利技术涉及无人车领域,具体涉及一种自动驾驶系统的多传感器信息融合方法,包括以下步骤:1)获取原始点云数据集;2)分离非地面点云数据;3)获取若干障碍物点云数据;4)获取各障碍物点云数据对应的三维边界框;5)将RGB图像作为像素平面,并将激光雷达的内、外参矩阵的乘积作为投影变换矩阵;6)利用投影变换矩阵分别投影至相机坐标系下,将相机坐标系下的各个三维边界框分别投影到像素平面,得到对应的障碍物边界框;7)获取对应的各障碍物ROI区域;8)采用贪心算法融合各障碍物ROI区域,得到最终ROI区域;9)利用基于改进Yager合成规则的D

【技术实现步骤摘要】
自动驾驶系统的多传感器信息融合方法


[0001]本专利技术涉及无人车领域,具体涉及一种自动驾驶系统的多传感器信息融合方法。

技术介绍

[0002]在机器视觉、图像处理中,从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域,称为感兴趣区域(region of interest,以下简称为ROI)。在Halcon、OpenCV、Matlab等机器视觉软件上常用到各种算子(Operator)和函数来求得感兴趣区域ROI,并进行图像的下一步处理。
[0003]随着传感器融合技术、人工智能、大数据处理与分析、计算机视觉等领域技术的发展与突破,汽车智能化成为汽车产业发展的重要研究方向。自动驾驶汽车,又称无人驾驶汽车或轮式移动机器人,其系统主要由感知、决策、控制三个部分组成。作为自动化载具,自动驾驶汽车必须具备在无人操作的情况下感测周围环境能力,即智能环境感知,这一能力要求自动驾驶系统可以将各个传感器的数据信息融合,实时获取无人车周边环境以及自身状态信息,然后通过决策规划层来分析处理传感器感知数据,对车辆周围环境信息全面、准确地感知是行车安全性和智能性的保障。基于传感器融合技术的冗余感知系统利用多种具有互补特性的传感器来增强感知能力,实现全天候环境感知,在自动驾驶领域有着广阔的发展前景,是智能环境感知技术的发展趋势。
[0004]采用传感器融合检测的方式进行目标检测是感知阶段中的一项基础性关键工作,可以为自动驾驶汽车提供了感知道路场景中的行人、车辆等目标的类别信息、定位信息以及位置姿态、物理尺寸等参数信息,检测效果的好坏直接影响到决策规划系统的后续处理。
[0005]但是,现有的传感器融合检测方法漏检率高,对重叠物体的检测准确率低,实时性差,直接影响到决策规划系统的后续处理效果。

技术实现思路

[0006]本专利技术的目的是针对现有技术对应的不足,提供一种自动驾驶系统的多传感器信息融合方法,在复杂的交通环境下快速生成各种障碍物的ROI区域,结合两个传感器的优点,对障碍物信息进行快速精确的高鲁棒性判断。
[0007]本专利技术的目的是采用下述方案实现的:一种自动驾驶系统的多传感器信息融合方法,包括以下步骤:
[0008]1)利用激光雷达实时获取车辆周围环境的空间三维信息,形成原始点云数据集;
[0009]2)将原始点云数据集中的地面点云数据与非地面点云数据分离;
[0010]3)根据地面点云数据的反射率信息设置车辆通行区域,并对非地面点云数据进行滤波,得到若干障碍物点云数据;
[0011]4)采用聚类算法分别对各障碍物点云数据进行处理,得到各障碍物点云数据对应的三维边界框;
[0012]5)通过相机获取前方环境信息的RGB图像,并将RGB图像作为像素平面;离线获取
激光雷达的内、外参矩阵,并将激光雷达的内、外参矩阵的乘积作为投影变换矩阵;
[0013]6)将各障碍物点云数据对应的三维边界框利用投影变换矩阵分别投影至相机坐标系下,采用动态阈值算法对相机坐标系下各三维边界框进行放大处理,再通过离线获取相机内参矩阵,将相机坐标系下的各个三维边界框分别投影到像素平面,得到对应的障碍物边界框;
[0014]7)根据像素平面中的各障碍物边界框,分别得到对应的各障碍物ROI区域,并获取各障碍物的类别信息与置信度;
[0015]8)采用贪心算法融合各障碍物ROI区域,得到最终ROI区域,并获取最终ROI区域内各障碍物的类别信息与置信度;
[0016]9)利用基于改进Yager合成规则的D

S证据理论融合算法合成规则,采用下列公式计算融合后障碍物类别检测的置信度以及其他未知类别障碍物的置信度:
[0017][0018]式中,m(A)为融合后障碍物类别检测的置信度,m(X)为其他未知类别障碍物的置信度,A
n
为第n种障碍物的类别信息,n为障碍物类别总数,k表示不同传感器检测到最终ROI区域中障碍物类别的冲突程度,ε为检测结果的可信度,m
n
(A
n
)为第n种类型的传感器检测到最终ROI区域中A
n
类障碍物的置信度,m
i
(A)为第i种传感器输出的对A类障碍物的置信度,m
i
(X)为第i种传感器输出的对其他未知类别障碍物的置信度,为融合后输出的障碍物类别为空集的置信度,恒为零。
[0019]优选地,所述最终ROI区域内各障碍物的类别信息与置信度采用2D图像检测算法获取。
[0020]优选地,所述各障碍物ROI区域的类别信息与置信度均采用3D点云检测算法获取。
[0021]优选地,采用贪心算法融合各障碍物ROI区域,得到最终ROI区域的具体步骤如下:
[0022]①
分别获取各障碍物ROI区域四个顶点在像素平面内的横、纵坐标极值;
[0023]②
利用各障碍物ROI区域四个顶点在像素平面内的横、纵坐标极值,将当前时刻像素平面内的所有障碍物ROI区域分别转换为对应的障碍物矩阵,形成障碍物矩阵集合,用于表示各个障碍物在当前时刻的像素平面上对应的ROI区域;
[0024]③
建立一个最终ROI区域障碍物集合,用于存储最终ROI区域中各障碍物的坐标信息;
[0025]④
将障碍物矩阵集合中的障碍物矩阵按照左边界升序排列;
[0026]⑤
将障碍物矩阵集合中按照左边界升序排列后的第一个障碍物矩阵加入最终ROI区域障碍物集合;
[0027]⑥
按照下列方式依次将障碍物矩阵集合中的障碍物矩阵加入最终ROI区域障碍物集合:
[0028]⑴
若当前选取的障碍物矩阵的横坐标最小值<最终ROI区域障碍物集合中最后一个障碍物矩阵的横坐标最大值,则将当前选取的障碍物矩阵加入最终ROI区域障碍物集合,并与最终ROI区域障碍物集合中其他障碍物矩阵升序排列;
[0029](2)若当前选取的障碍物矩阵的横坐标最小值≥最终ROI区域障碍物集合中最后一个障碍物矩阵的横坐标最大值,则比较最终ROI区域障碍物集合中最后一个障碍物矩阵的横坐标最大值与当前选取的障碍物矩阵的横坐标最大值的大小:
[0030]若最终ROI区域障碍物集合中最后一个障碍物矩阵的横坐标最大值≤当前选取的障碍物矩阵的横坐标最大值,将最终ROI区域障碍物集合中最后一个障碍物矩阵的横坐标最大值修改为当前选取的障碍物矩阵的横坐标最大值;
[0031]若最终ROI区域障碍物集合中最后一个障碍物矩阵的横坐标最大值>当前选取的障碍物矩阵的横坐标最大值,则最终ROI区域障碍物集合中最后一个障碍物矩阵的横坐标最大值不变。
[0032]优选地,对非地面点云数据进行滤波得到若干障碍物点云数据采用的方式为直通滤波、或者体素下采样滤波,以减少点云数量,避免增加计算负担。
[0033]优选地,所述聚类算法为三维空间聚类算法,采用聚类算法分别对各障本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种自动驾驶系统的多传感器信息融合方法,其特征在于,包括以下步骤:1)利用激光雷达实时获取车辆周围环境的空间三维信息,形成原始点云数据集;2)将原始点云数据集中的地面点云数据与非地面点云数据分离;3)根据地面点云数据的反射率信息设置车辆通行区域,并对非地面点云数据进行滤波,得到若干障碍物点云数据;4)采用聚类算法分别对各障碍物点云数据进行处理,得到各障碍物点云数据对应的三维边界框;5)通过相机获取前方环境信息的RGB图像,并将RGB图像作为像素平面;离线获取激光雷达的内、外参矩阵,并将激光雷达的内、外参矩阵的乘积作为投影变换矩阵;6)将各障碍物点云数据对应的三维边界框利用投影变换矩阵分别投影至相机坐标系下,采用动态阈值算法对相机坐标系下各三维边界框进行放大处理,再通过离线获取相机内参矩阵,将相机坐标系下的各个三维边界框分别投影到像素平面,得到对应的障碍物边界框;7)根据像素平面中的各障碍物边界框,分别得到对应的各障碍物ROI区域,并获取各障碍物的类别信息与置信度;8)采用贪心算法融合各障碍物ROI区域,得到最终ROI区域,并获取最终ROI区域内各障碍物的类别信息与置信度;9)利用基于改进Yager合成规则的D

S证据理论融合算法合成规则,采用下列公式计算融合后障碍物类别检测的置信度以及其他未知类别障碍物的置信度:式中,m(A)为融合后障碍物类别检测的置信度,m(X)为其他未知类别障碍物的置信度,A
n
为第n种障碍物的类别信息,n为障碍物类别总数,k表示不同传感器检测到最终ROI区域中障碍物类别的冲突程度,ε为检测结果的可信度,m
n
(A
n
)为第n种类型的传感器检测到最终ROI区域中A
n
类障碍物的置信度,m
i
(A)为第i种传感器输出的对A类障碍物的置信度,m
i
(X)为第i种传感器输出的对其他未知类别障碍物的置信度,为融合后输出的障碍物类别为空集的置信度,恒为零。2.根据权利要求1所述自动驾驶系统的多传感器信息融合方法,其特征在于,所述最终ROI区域内各障碍物的类别信息与置信度采用2D图像检测算法获取。3.根据权利要求1所述自动驾驶系统的多传感器信息融合方法,其特征在于,所述各障碍物ROI区域的类别信息与置信度均采用3D点云检测算法获取。4.根据权利要求1所述自动驾驶系统的多传感器信息融合方法,其特征在于,采用贪心算法融合各障碍物ROI区域,得到最终ROI区域的具体步骤如下:

分别获取各障碍物ROI区域四个顶点在像素平面内的横、纵坐标极值;

利用各障碍物ROI区域四个顶点在像素平面内的横、纵坐标极值,将当前时刻像素平面内的所有障碍物ROI区域分别转换为对应的障碍物矩阵,形成障碍物矩阵集合,用于表示各个障碍物在当前时刻的像素平面上对应的ROI区域;

建立一个最终ROI区域障碍物集合,用于存储最终ROI区域中各障碍物的坐标信息;

将障碍物矩阵集合中的障碍物矩阵按照左边界升序排列;<...

【专利技术属性】
技术研发人员:刘永刚马于博于丰宁翟克宁何文
申请(专利权)人:重庆大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1