【技术实现步骤摘要】
本专利技术涉及智能驾驶，特别涉及一种自动驾驶感知系统冗余校验方法、系统和装置。
技术介绍
1、当前智能汽车已成为全球汽车产业发展的战略方向，而自动驾驶技术是智能汽车发展的核心技术。自动驾驶技术中包括感知算法，决策规划算法，控制算法，定位算法等功能模块，其中环境感知是自动驾驶的首要环节，是车辆和环境交互的纽带，是其他算法模块的基础。一个自动驾驶系统整体表现的好坏，很大程度上都取决于感知系统的好坏，感知系统的功能包括但不限于目标识别、2d/3d目标检测、语义分割、目标跟踪、自由空间分割等，这些都依赖于安装在车辆上的传感器从环境中采集的原始数据。
2、现有自动驾驶技术中环境感知方法分别对激光雷达(lidar)和相机(camera)捕获的点云、图像数据进行感知任务，实现前景提取，这种仅通过单模态数据的感知会有一定的缺陷，例如，相机捕获的数据主要在视野前的较低位置，在复杂场景中物体可能会被遮挡，给目标检测和语义分割带来严峻挑战。另外，受限于机械结构，激光雷达在不同距离具有不同的分辨率，而且容易受到大雾和暴雨等极端天气的影响。单模态数据感知的缺陷使得自动驾驶过程中对环境感知的准确性变差，在某些情况下无法准确感知到准确的环境信息，无法准确感知到环境中的目标物，不能准确预知危险，影响自动驾驶的安全性。
技术实现思路
1、鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的一种自动驾驶感知系统冗余校验方法、系统和装置。
2、本专利技术实施例提供一
3、从多个传感器数据源获取多模态数据；
4、基于预先建立的车辆坐标系，对所述多模态数据进行对齐；
5、对对齐后的多模态数据并行执行前融合和后融合，所述前融合包括对所述对齐后的多模态数据进行前期数据融合处理，得到数据融合后的传感器数据；所述后融合包括将从所述对齐后的多模态数据中检测到的目标物体进行后期目标级融合，得到目标物体融合的传感器数据；
6、基于数据融合后的传感器数据和目标物体融合的传感器数据进行数据校验和合并处理，得到传感器感知数据。
7、在一些可选的实施例中，所述基于预先建立的车辆坐标系，对所述多模态数据进行对齐，包括：
8、以车辆两后轮之间轴线的中点为坐标原点，所述轴线和垂直于轴线的线为横纵坐标轴，建立车辆坐标系；
9、对不同传感器数据源的数据分别进行坐标变换，变换到车辆坐标系中，实现所述多模态数据的对齐。
10、在一些可选的实施例中，对所述对齐后的多模态数据进行前期数据融合处理，得到数据融合后的传感器数据，包括：
11、对图像传感器获取到的图像数据和点云设备获取到的点云数据进行时间和空间同步处理；
12、从所述图像数据中识别出二维目标物体，并确定二维目标物体的边界；
13、根据二维目标物体的边界，将识别出二维目标物体的图像数据组合到点云数据中，得到数据融合后的传感器数据。
14、在一些可选的实施例中，将从所述对齐后的多模态数据中检测到的目标物体进行后期目标级融合，得到目标物体融合的传感器数据，包括：
15、对图像传感器获取到的图像数据和点云设备获取到的点云数据进行时间和空间同步处理；
16、从所述图像数据中识别出二维目标物体，并确定二维目标物体的边界；
17、从所述点云数据中识别出三维目标物体，并确定三维目标物体的边界；
18、根据二维目标物体的边界和三维目标物体的边界，将图像数据中识别出的二维目标物体和点云数据中识别出的三维目标物体进行合并，得到目标物体融合的传感器数据。
19、在一些可选的实施例中，基于数据融合后的传感器数据和目标物体融合的传感器数据进行数据校验和合并处理，得到传感器感知数据，包括：
20、对数据融合后的传感器数据和目标物体融合的传感器数据进行完整性校验；
21、检验通过后，对数据融合后的传感器数据和目标物体融合的传感器数据进行数据融合并对检测到的目标物体进行合并，得到总融合后的传感器感知数据。
22、在一些可选的实施例中，还包括执行下列安全监控机制中的至少一项：
23、对监测数据进行异常监测，监测到异常数据后进行预警提示；
24、分别监控数据对齐、前融合、后融合、数据合并步骤的消耗时长，并显示耗时信息；
25、监控处理器的资源消耗情况，在资源消耗高于预设资源阈值时，进行预警提示；
26、监控前融合和后融合运行状态，当其中之一出现异常时进行预警提示；
27、根据数据融合后的传感器数据和目标物体融合的传感器数据的重叠情况确定融合结果是否准确，若不准确则进行预警提示。
28、在一些可选的实施例中，对监测数据进行异常监测，包括：
29、监测图像传感器获取到的图像数据，根据图像中像素点的像素值，判断图像数据是否存在异常；若一帧图像中邻域像素值相同的像素点在图像中的占比大于设定像素点阈值、或图像中部分像素点相同像素值的持续存留帧数大于设定的存留帧数阈值、或图像中部分像素点相同像素值的持续存留时间大于设定存留时间阈值，认为图像数据存在异常；图像异常包括图像中存在绿屏、黑屏、光斑、丢帧、延迟、畸变、遮挡、污垢中的至少一种；
30、对点云设备获取到的点云数据进行crc校验，根据校验结果确定点云数据是否存在异常，点云数据异常包括空数据、部分字段缺失、强度信息缺失、维度信息缺失中的至少一种。
31、在一些可选的实施例中，分别监控数据对齐、前融合、后融合、数据合并步骤的消耗时长，包括：
32、在执行数据对齐、前融合、后融合、数据合并步骤的各功能模块的输入端为输入数据添加输入时间戳、输出端为输出数据添加输出时间戳；
33、根据所述输入时间戳和所述输出时间戳统计各功能模块的处理时长，得到各步骤的消耗时长。
34、在一些可选的实施例中，根据数据融合后的传感器数据和目标物体融合的传感器数据的重叠情况确定融合结果是否准确，包括：
35、对数据融合后的传感器数据和目标物体融合的传感器数据中的目标物体进行交集和并集处理，根据所述交集处理后的数据和并集处理后的数据中的目标物体边框的交叠匹配程度，得到交并比；
36、根据所述交并比与设定的重叠率阈值的关系确定数据融合后的传感器数据和目标物体融合的传感器数据的融合结果是否准确。
37、本专利技术实施例提供一种自动驾驶感知系统冗余校验装置，包括：
38、数据获取模块，用于从多个传感器数据源获取多模态数据；
39、数据对齐模块，用于基于预先建立的车辆坐标系，对所述多模态数据进行对齐；
40、并行运行的前融合模块和后融合模块，其中，所述前融合模块，用于对所述对齐后的多模态数据进行前期数据融合处理，得到数据融合后的传感器数据；所述本文档来自技高网...
【技术保护点】
1.一种自动驾驶感知系统冗余校验方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述基于预先建立的车辆坐标系，对所述多模态数据进行对齐，包括：
3.如权利要求1所述的方法，其特征在于，
4.如权利要求1所述的方法，其特征在于，基于数据融合后的传感器数据和目标物体融合的传感器数据进行数据校验和合并处理，得到传感器感知数据，包括：
5.如权利要求1-4任一所述的方法，其特征在于，还包括执行下列安全监控机制中的至少一项：
6.如权利要求5所述的方法，其特征在于，对监测数据进行异常监测，包括：
7.一种自动驾驶感知系统冗余校验装置，其特征在于，包括：
8.一种自动驾驶感知系统冗余校验系统，其特征在于，包括：至少2种不同类型的传感器和如权利要求7所述的自动驾驶感知系统冗余校验装置。
9.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现权利要求1-6任一所述的自动驾驶感知系统冗余校验方法。
10.一种车
...【技术特征摘要】
1.一种自动驾驶感知系统冗余校验方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述基于预先建立的车辆坐标系，对所述多模态数据进行对齐，包括：
3.如权利要求1所述的方法，其特征在于，
4.如权利要求1所述的方法，其特征在于，基于数据融合后的传感器数据和目标物体融合的传感器数据进行数据校验和合并处理，得到传感器感知数据，包括：
5.如权利要求1-4任一所述的方法，其特征在于，还包括执行下列安全监控机制中的至少一项：
6.如权利要求5所述的方法，其特征在于，对监测数据进行异常监测，包括：
【专利技术属性】
技术研发人员：张殿坤，张国亮，
申请(专利权)人：苏州畅行智驾汽车科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。