【技术实现步骤摘要】
本申请涉及汽车，具体涉及一种智能驾驶环境感知方法、装置、设备及计算机可读存储介质。
技术介绍
1、随着智能驾驶技术的飞速发展，如何快速准确地对智能驾驶车辆周围的环境要素进行感知越来越重要。相关技术中，对智能驾驶车辆周围的环境要素进行感知的方式主要包括两种：一种是采用布置在车辆上的激光雷达来检测车辆与环境要素之间的距离；另一种是利用图神经网络辅助毫米波雷达的方法，从毫米波雷达采集的点云数据中，提取非结构化的点云特征，输入图神经网络模型，输出环境要素的检测结果。但是，仅采用激光雷达检测的方式，检测精度较低；采用图神经网络辅助毫米波雷达的方式，需要大量的样本数据，不断地对图神经网络模型的参数进行优化，耗时较长，且算法相对复杂，导致计算效率较低。
技术实现思路
1、本申请提供一种智能驾驶环境感知方法、装置、设备及计算机可读存储介质，可以解决现有技术中存在的智能驾驶环境感知时，检测精度低、计算效率低等技术问题。
2、第一方面，本申请实施例提供一种智能驾驶环境感知方法，应用于安装有毫米波雷达和相机的车辆，所述智能驾驶环境感知方法包括：
3、对相机采集的图像数据进行分割，得到包含语义信息的图像数据；
4、将毫米波雷达采集的第一点云数据和包含语义信息的图像数据进行融合，得到第二点云数据，第二点云数据为包含语义信息的点云数据；
5、基于第二点云数据，构建车辆周围的环境要素在相机坐标系下的数学模型；
6、基于第二点云数据、包含语义信息的图像数
7、基于环境要素在相机坐标系下的数学模型和环境要素在图像坐标系下的坐标，计算环境要素对应的像素点在相机坐标系下的深度值；
8、基于像素点在相机坐标系下的深度值、环境要素在图像坐标系下的坐标、相机焦距以及相机与车体中心的标定参数，确定车辆与像素点对应的环境要素之间的距离。
9、结合第一方面，在一种实施方式中，所述对相机采集的图像数据进行分割，包括：
10、采用mask2former图像分割模型，对相机采集的图像数据进行分割。
11、结合第一方面，在一种实施方式中，将毫米波雷达采集的第一点云数据和包含语义信息的图像数据进行融合，得到第二点云数据，包括：
12、使用毫米波雷达和相机的标定参数，将第一点云数据转换到相机坐标系下，得到相机坐标系下的第三点云数据，其中，第三点云数据为被赋予语义信息的点云数据；
13、使用相机内参和畸变参数，将相机坐标系下的第三点云数据转换到像素坐标系下，得到第二点云数据。
14、结合第一方面，在一种实施方式中，所述基于第二点云数据，构建车辆周围的环境要素在相机坐标系下的数学模型，包括：
15、当环境要素为道路路面时，提取第二点云数据中语义信息为道路路面的点云数据，计算道路路面的点云数据的法向量和中心点，从而构建出道路路面在相机坐标系下的数学模型；
16、当环境要素为动态目标物时，提取第二点云数据中语义信息为动态目标物的点云数据，计算动态目标物的点云数据的法向量和中心点，从而构建出动态目标物在相机坐标系下的数学模型；
17、当环境要素为静态目标物时，提取第二点云数据中语义信息为静态目标物的点云数据，计算静态目标物的点云数据的法向量和中心点，从而构建出静态目标物在相机坐标系下的数学模型。
18、结合第一方面，在一种实施方式中，所述基于环境要素在相机坐标系下的数学模型和环境要素在图像坐标系下的坐标，计算环境要素对应的像素点在相机坐标系下的深度值，包括：
19、z＝z0-[a*(x0-x)+b*(y0-y)/c]；
20、其中，z为环境要素对应的像素点在相机坐标系下的深度值,(x,y)为环境要素在图像坐标系下的坐标,(x0,y0,z0)为环境要素在相机坐标系下的数学模型的中心点的坐标,(a,b,c)为环境要素在相机坐标系下的数学模型的法向量对应的坐标。
21、结合第一方面，在一种实施方式中，所述基于像素点在相机坐标系下的深度值、环境要素在图像坐标系下的坐标、相机焦距以及相机与车体中心的标定参数，确定车辆与像素点对应的环境要素之间的距离，包括：
22、基于像素点在相机坐标系下的深度值、环境要素在图像坐标系下的坐标以及相机焦距，确定像素点对应的环境要素在相机坐标系下的三维点云坐标；
23、基于环境要素在相机坐标系下的三维点云坐标以及相机与车体中心的标定参数，确定车辆与环境要素之间的距离。
24、结合第一方面，在一种实施方式中，所述毫米波雷达为4d毫米波雷达。
25、第二方面，本申请实施例提供了一种智能驾驶环境感知装置，所述智能驾驶环境感知装置包括：
26、分割模块，用于对相机采集的图像数据进行分割，得到包含语义信息的图像数据；
27、融合模块，用于将毫米波雷达采集的第一点云数据和包含语义信息的图像数据进行融合，得到第二点云数据，第二点云数据为包含语义信息的点云数据；
28、构建模块，用于基于第二点云数据，构建车辆周围的环境要素在相机坐标系下的数学模型；
29、第一确定模块，用于基于第二点云数据、包含语义信息的图像数据和相机内参畸变参数，确定环境要素在图像坐标系下的坐标；
30、计算模块，用于基于环境要素在相机坐标系下的数学模型和环境要素在图像坐标系下的坐标，计算环境要素对应的像素点在相机坐标系下的深度值；
31、第二确定模块，用于基于像素点在相机坐标系下的深度值、环境要素在图像坐标系下的坐标、相机焦距以及相机与车体中心的标定参数，确定车辆与像素点对应的环境要素之间的距离。
32、第三方面，本申请实施例提供了一种智能驾驶环境感知设备，所述智能驾驶环境感知设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的智能驾驶环境感知程序，其中所述智能驾驶环境感知程序被所述处理器执行时，实现如第一方面中任一项所述的智能驾驶环境感知方法的步骤。
33、第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有智能驾驶环境感知程序，其中所述智能驾驶环境感知程序被处理器执行时，实现如第一方面中任一项所述的智能驾驶环境感知方法的步骤。
34、本申请实施例提供的技术方案带来的有益效果包括：
35、通过对相机采集的图像数据进行分割，得到包含语义信息的图像数据；将毫米波雷达采集的第一点云数据和包含语义信息的图像数据进行融合，得到第二点云数据，第二点云数据为包含语义信息的点云数据；基于第二点云数据，构建车辆周围的环境要素在相机坐标系下的数学模型；基于第二点云数据、包含语义信息的图像数据和相机内参畸变参数，确定环境要素在图像坐标系下的坐标；基于环境要素在相机坐标系下的数学模型和环境要素在图像坐标系下的坐标，计算环境要素本文档来自技高网...
【技术保护点】
1.一种智能驾驶环境感知方法，其特征在于，应用于安装有毫米波雷达和相机的车辆，所述智能驾驶环境感知方法包括：
2.如权利要求1所述的智能驾驶环境感知方法，其特征在于，所述对相机采集的图像数据进行分割，包括：
3.如权利要求1所述的智能驾驶环境感知方法，其特征在于，将毫米波雷达采集的第一点云数据和包含语义信息的图像数据进行融合，得到第二点云数据，包括：
4.如权利要求1所述的智能驾驶环境感知方法，其特征在于，所述基于第二点云数据，构建车辆周围的环境要素在相机坐标系下的数学模型，包括：
5.如权利要求1所述的智能驾驶环境感知方法，其特征在于，所述基于环境要素在相机坐标系下的数学模型和环境要素在图像坐标系下的坐标，计算环境要素对应的像素点在相机坐标系下的深度值，包括：
6.如权利要求1所述的智能驾驶环境感知方法，其特征在于，所述基于像素点在相机坐标系下的深度值、环境要素在图像坐标系下的坐标、相机焦距以及相机与车体中心的标定参数，确定车辆与像素点对应的环境要素之间的距离，包括：
7.如权利要求1所述的智能驾驶环境感知
8.一种智能驾驶环境感知装置，其特征在于，所述智能驾驶环境感知装置包括：
9.一种智能驾驶环境感知设备，其特征在于，所述智能驾驶环境感知设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的智能驾驶环境感知程序，其中所述智能驾驶环境感知程序被所述处理器执行时，实现如权利要求1至7中任一项所述的智能驾驶环境感知方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有智能驾驶环境感知程序，其中所述智能驾驶环境感知程序被处理器执行时，实现如权利要求1至7中任一项所述的智能驾驶环境感知方法的步骤。
...【技术特征摘要】
1.一种智能驾驶环境感知方法，其特征在于，应用于安装有毫米波雷达和相机的车辆，所述智能驾驶环境感知方法包括：
2.如权利要求1所述的智能驾驶环境感知方法，其特征在于，所述对相机采集的图像数据进行分割，包括：
3.如权利要求1所述的智能驾驶环境感知方法，其特征在于，将毫米波雷达采集的第一点云数据和包含语义信息的图像数据进行融合，得到第二点云数据，包括：
4.如权利要求1所述的智能驾驶环境感知方法，其特征在于，所述基于第二点云数据，构建车辆周围的环境要素在相机坐标系下的数学模型，包括：
5.如权利要求1所述的智能驾驶环境感知方法，其特征在于，所述基于环境要素在相机坐标系下的数学模型和环境要素在图像坐标系下的坐标，计算环境要素对应的像素点在相机坐标系下的深度值，包括：
6.如权利要求1所述的智能驾驶环境感知方法，其特征在于，所述基于像素点在相机坐...
【专利技术属性】
技术研发人员：王强，郭启翔，陈晖，程飞，张顺，汪峥，何薇，胡博伦，高宠智，晏萌，屈紫君，李嫩，欧阳辰宇，赵金波，于子康，代怡鹏，韩兴隆，
申请(专利权)人：东风汽车股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。