【技术实现步骤摘要】
本专利技术涉及自动驾驶领域，具体地说，本专利技术涉及一种多模态可行驶区域检测算法。
技术介绍
1、多模态感知是指通过多种感知方式(如视觉、听觉、触觉等)来获取环境信息和用户意图的能力；它可以结合不同感知模态的数据，进一步提高对环境和用户的理解和分析能力。
2、现有技术中大多单独使用激光雷达的可行驶区域检测算法存在以下问题：在横向上的探测分辨率低；易受到雨雪天气条件影响；高线束激光雷达造价高昂；另外单独使用图像的可行驶区域检测算法存在以下问题：在纵向上的探测分辨率低；易受到光照等天气条件影响。
技术实现思路
1、本专利技术提供一种多模态可行驶区域检测算法，采用多模态融合的方法，综合考虑视觉和激光雷达的可行驶区域检测结果，使算法更鲁棒，准确性更高。
2、为了实现上述目的，本专利技术采取的技术方案为：一种多模态可行驶区域检测算法，具体包括以下步骤：
3、步骤s1，通过激光雷达算法检测输出车辆前方的可行驶区域；
4、步骤s2，视觉采用yolop深度学习算法检测车辆前方的可行驶区域，得到图像中每个像素点属于可行驶区域的概率pi(u,v)∈[0,1]；yolop算法框架如图2所示：
5、只保留图2的backbone和drivable area segment head进行可行驶区域检测，提高检测速度
6、步骤s3，通过标定信息将第一步中得到的可行驶区域转换到图像坐标系下，得到激光雷达在图像中每个像素点属于可行驶区域的概率p
7、步骤s4，融合激光雷达和相机的检测结果；
8、步骤s5，将可行驶区域结果根据标定信息转换到车辆坐标系，供自动驾驶系统中的下游模块使用。
9、所述步骤s1的具体方案流程如下：
10、步骤s1.1，原始点云预处理，去除杂点；
11、步骤s1.2，将输入的点云使用地面分割算法剔除地面点；
12、步骤s1.3，设置一个高度阈值h，剔除出高度较高的点；
13、步骤s1.4，将去除地面点和较高点后的点云降维到鸟瞰二维视角；
14、步骤s1.5，将降维后的鸟瞰二维点云栅格化，获得可行驶区域，栅格化后有点云的栅格标记为不可行驶栅格，无点云的栅格标记为可行驶栅格。
15、所述步骤s1.2的具体步骤为：
16、步骤s1.21，将感知区域在两个不同大小的尺度上进行pillar(柱体)划分；
17、步骤s1.22，找个每个pillar在z方向的最低点得到minz；
18、步骤s1.23，对于任一点，一定同时属于某一个大pillar和小pillar，计算该点与其所在的两个pillar最低点minz的差值，分别记为d1和d2。若d1与d2的差值小于阈值，则该点被标记为地面点，否则为障碍物点；
19、步骤s1.24，去除掉地面点，剩下的点都认为是障碍物点。
20、所述步骤s4中融合激光雷达和相机的检测结果：图像中每个像素点属于可行驶区域的最终概率
21、所述设置阈值θ，若p(u,v)>θ，则该像素点为可行驶区域，否则为不可行驶区域。
22、采用以上技术方案的有益效果是：
23、1、本专利技术信息丰富度：多模态模型可以同时利用多种不同的数据输入，从而更加全面地理解和处理信息。例如，通过同时利用图像和语音输入，可以更加准确地识别和理解物体的特征和环境背景，从而提高图像识别和语音识别的准确度。
24、2、本专利技术上下文感知能力：多模态模型可以利用多种不同的数据输入，从而更好地理解信息的上下文和语境。例如，在自然语言处理领域，多模态模型可以利用图像或视频输入来更好地理解语言中的隐含信息和情感倾向。
25、3、本专利技术鲁棒性和稳定性：多模态模型可以利用多种不同的数据输入，从而更好地应对数据噪声和输入变化。例如，在人脸识别领域，多模态模型可以同时利用图像和语音输入，从而更好地应对人脸的遮挡和光线变化等问题。
本文档来自技高网...【技术保护点】
1.一种多模态可行驶区域检测算法，其特征在于：具体包括以下步骤：
2.根据权利要求1所述的一种多模态可行驶区域检测算法，其特征在于：所述步骤S1的具体方案流程如下：
3.根据权利要求2所述的一种多模态可行驶区域检测算法，其特征在于：所述步骤S1.2的具体步骤为：
4.根据权利要求1所述的一种多模态可行驶区域检测算法，其特征在于：所述步骤S4中融合激光雷达和相机的检测结果：
5.根据权利要求4所述的一种多模态可行驶区域检测算法，其特征在于：所述设置阈值θ，若P(u,v)>θ，则该像素点为可行驶区域，否则为不可行驶区域。
【技术特征摘要】
1.一种多模态可行驶区域检测算法，其特征在于：具体包括以下步骤：
2.根据权利要求1所述的一种多模态可行驶区域检测算法，其特征在于：所述步骤s1的具体方案流程如下：
3.根据权利要求2所述的一种多模态可行驶区域检测算法，其特征在于：所述步骤s1.2的具体步骤为：<...
【专利技术属性】
技术研发人员：姚斌，姜文娟，徐礼成，王刃，
申请(专利权)人：浙江飞碟汽车制造有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。