【技术实现步骤摘要】
本申请涉及汽车，尤其涉及传感器感知，具体涉及一种三维特征确定方法、装置、设备及存储介质。
技术介绍
1、雷达能够探测视场内物体的距离、速度和方位角。雷达系统通过发射电磁波，并分析接收被视场中物体反射的电磁波，实现对上述物体属性的探测。毫米波雷达使用毫米量级波长的短波进行探测，且毫米波雷达能够探测物体毫米量级的运动。因此，毫米波雷达成为自动驾驶系统中常用的传感器。
2、但是，毫米波雷达无法直接生成点云，而是在方位-距离平面上，生成表达反射强度、速度的热力图，再通过后处理生成点云或被探测的目标。然而在后处理的过程中，容易造成部分信息的丢失，进而影响在后续的应用过程中的数据精度。
技术实现思路
1、本申请的目的之一在于提供一种三维特征确定方法、装置、设备及存储介质，用于减小确定三维特征的过程中的数据损失，提高三维特征感知精度。
2、为了实现上述目的，本申请采用的技术方案如下：
3、根据本申请涉及的第一方面，提供一种三维特征确定方法，车辆上部署有多个摄像头和多个3d毫米波雷达，该方法包括：三维特征确定装置获取目标摄像头在第一时刻采集到的图像数据，以及目标3d毫米波雷达在距离第一时刻最近的时刻采集到的第一雷达热力图，目标摄像头为多个摄像头中的任意一个，目标3d毫米波雷达为多个3d毫米波雷达中视场与目标摄像头的视场存在重叠的3d毫米波雷达。进一步的，三维特征确定装置根据目标摄像头对应的图像空间，以及第一雷达热力图，确定第二雷达热力图，第二雷达热力图的尺寸与图
4、根据上述技术手段，本申请提供的三维特征确定方法中，基于在车辆上部署的多个摄像头和多个3d毫米波雷达采集到的感知数据，首先对目标摄像头以及目标3d毫米波雷达采集到的感知数据进行时间上的对齐，进一步根据目标摄像头对应的图像空间，确定在于成像平面垂直的宽度深度平面上的雷达热力图，从而实现在确定图像特征以及雷达热力图特征后，融合确定在图像空间中每个体素对应的三维特征，相较于相关技术中基于雷达数据处理后的点云数据，基于雷达热力图特征直接确定三维特征，能够减小数据损失，从而提高感知精度。
5、在一种可能的实施方式中，上述三维特征确定装置根据目标摄像头对应的图像空间，以及第一雷达热力图，确定第二雷达热力图，包括：针对第一雷达热力图中任意一个雷达热力图点，根据雷达热力图点的方向角和距离，确定雷达热力图点在目标摄像头对应的图像空间的宽度深度平面上的投影位置；针对图像空间的宽度深度平面上每个第一体素对应的区域，根据第一体素对应的区域中包括的多个雷达热力图点的值，确定第一体素对应的区域的雷达数据；根据图像空间的宽度深度平面上每个第一体素对应的区域的雷达数据，确定第二雷达热力图。
6、根据上述技术手段，本申请实现了将在3d毫米波雷达的坐标系中的雷达热力图转换到摄像头图像空间的宽度深度平面上的雷达热力图。
7、在一种可能的实施方式中，上述三维特征确定装置根据雷达热力图点的方向角和距离，确定雷达热力图点在目标摄像头对应的图像空间的宽度深度平面上的投影位置，包括：根据雷达热力图点的方向角和距离，以及第一变换矩阵，确定雷达热力图点在整车坐标系中的坐标，第一变换矩阵用于表征整车坐标系到目标3d毫米波雷达的坐标系的变换关系；根据雷达热力图点在整车坐标系中的坐标、目标摄像头的内参矩阵以及第二变换矩阵，确定雷达热力图点在在目标摄像头对应的图像空间的宽度深度平面上的投影位置，第二变换矩阵用于表征整车坐标系到目标摄像头的坐标系的变换关系。
8、根据上述技术手段，本申请实现了确定3d毫米波雷达的坐标系中的雷达热力图点，在摄像头图像空间的宽度深度平面上的投影位置。
9、在一种可能的实施方式中，上述三维特征确定装置根据第一体素对应的区域中包括的多个雷达热力图点的值，确定第一体素对应的区域的雷达数据，包括：将多个雷达热力图点的均值或者最大值，确定为第一体素对应的区域的雷达数据。
10、在一种可能的实施方式中，上述三维特征确定装置根据图像数据确定图像特征，并根据第二雷达热力图确定雷达热力图特征，包括：将图像数据输入预设图像特征提取网络，确定图像特征；将第二雷达热力图输入预设雷达热力图特征提取网络，确定雷达热力图特征。
11、在一种可能的实施方式中，车辆上还部署有4d毫米波雷达，上述三维特征确定方法还包括：三维特征确定装置确定4d毫米波雷达的覆盖区域内的第三体素；根据第三体素对应的三维特征，以及预设伪4d雷达热力图生成网络，生成伪4d雷达热力图；在4d毫米波雷达输出的4d雷达热力图与伪4d雷达热力图之间的相似度小于预设相似度的情况下，对预设图像特征提取网络、预设雷达热力图特征提取网络以及预设伪4d雷达热力图生成网络进行调整。
12、根据上述技术手段，本申请提供的三维特征确定方法中，当车辆上部署有4d毫米波雷达时，确定4d毫米波雷达的覆盖区域内的第三体素，基于在前确定到第三体素对应的三维特征，生成伪4d雷达热力图，进而与部署的4d毫米波雷达生成的4d毫米波雷达热力图比较，来确定第三体素对应的三维特征是否满足精确度要求，若不满足精确度要求，则对前述的多个神经网络进行调整，以提高三维特征的精确度，进而能够在保障三维特征精确度的情况下，提高后续其他基于三维特征进行的任务(目标识别、自动驾驶等)的精确度。另外，在此基础上还可以进一步将基于图像数据和3d雷达热力图生成的三维特征，与4d毫米波雷达生成的三维特征进行融合，提高整车坐标系下多传感器数据的融合效率。
13、在一种可能的实施方式中，伪4d雷达热力图的尺寸为预设伪4d雷达热力图生成网络对应的预设尺寸，在生成伪4d雷达热力图后，三维特征确定方法还包括：三维特征确定装置在4d毫米波雷达输出的4d雷达热力图尺寸不为预设尺寸的情况下，对4d毫米波雷达输出的4d雷达热力图进行采样操作或者插值操作。
14、在一种可能的实施方式中，上述三维特征确定方法还包括：三维特征确定装置根据车辆上部署的多个摄像头的感知范围，确定车辆的感知范围；确定车辆的感知范围内包括的多个第二体素；针对多个第二体素中的任意一个第二体素，根据与第二体素对应的第一体素的三维特征，确定第二体素对应的三维特征；根据多个第二体素中每个第二体素对应的三维特征，生成车辆的感知范围内的环境特征。
15、根据上述技术手段，本申请实现了基于每个摄像头对应的图像空间中第一体素的三维特征，进行空间转换后得到在车辆感知范围内的第二体素对应的三维特征，进而实现了根据第二体素的位置，生成车辆感知范围内的环境特征。
16、在一种可能的实施方式中，上述三维特征确定装置本文档来自技高网...
【技术保护点】
1.一种三维特征确定方法，其特征在于，车辆上部署有多个摄像头和多个3D毫米波雷达，所述方法包括：
2.根据权利要求1所述的三维特征确定方法，其特征在于，所述根据所述目标摄像头对应的图像空间，以及第一雷达热力图，确定第二雷达热力图，包括：
3.根据权利要求2所述的三维特征确定方法，其特征在于，所述根据所述雷达热力图点的方向角和距离，确定所述雷达热力图点在所述目标摄像头对应的图像空间的宽度深度平面上的投影位置，包括：
4.根据权利要求2所述的三维特征确定方法，其特征在于，所述根据第一体素对应的区域中包括的多个雷达热力图点的值，确定第一体素对应的区域的雷达数据，包括：
5.根据权利要求1-4中任意一项所述的三维特征确定方法，其特征在于，所述根据图像数据确定图像特征，并根据所述第二雷达热力图确定雷达热力图特征，包括：
6.根据权利要求5所述的三维特征确定方法，其特征在于，所述车辆上还部署有4D毫米波雷达，所述方法还包括：
7.根据权利要求6所述的三维特征确定方法，其特征在于，所述伪4D雷达热力图的尺寸为所述预设伪4D
8.根据权利要求1-4中任意一项所述的三维特征确定方法，其特征在于，所述方法还包括：
9.根据权利要求8所述的三维特征确定方法，其特征在于，所述根据与所述第二体素对应的第一体素的三维特征，确定所述第二体素对应的三维特征，包括：
10.一种三维特征确定装置，其特征在于，车辆上部署有多个摄像头和多个3D毫米波雷达，所述三维特征确定装置包括获取单元、确定单元以及处理单元；
11.一种三维特征确定设备，其特征在于，部署于车辆，包括存储器和处理器；
12.一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当所述指令在三维特征确定设备上运行时，使得所述三维特征确定设备执行如权利要求1-9中任意一项所述的三维特征确定方法。
13.一种车辆，其特征在于，包括如权利要求11所述的三维特征确定设备。
...【技术特征摘要】
1.一种三维特征确定方法，其特征在于，车辆上部署有多个摄像头和多个3d毫米波雷达，所述方法包括：
2.根据权利要求1所述的三维特征确定方法，其特征在于，所述根据所述目标摄像头对应的图像空间，以及第一雷达热力图，确定第二雷达热力图，包括：
3.根据权利要求2所述的三维特征确定方法，其特征在于，所述根据所述雷达热力图点的方向角和距离，确定所述雷达热力图点在所述目标摄像头对应的图像空间的宽度深度平面上的投影位置，包括：
4.根据权利要求2所述的三维特征确定方法，其特征在于，所述根据第一体素对应的区域中包括的多个雷达热力图点的值，确定第一体素对应的区域的雷达数据，包括：
5.根据权利要求1-4中任意一项所述的三维特征确定方法，其特征在于，所述根据图像数据确定图像特征，并根据所述第二雷达热力图确定雷达热力图特征，包括：
6.根据权利要求5所述的三维特征确定方法，其特征在于，所述车辆上还部署有4d毫米波雷达，所述方法还包括：
7.根据权利要求6所述的三维特征...
【专利技术属性】
技术研发人员：董洋，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。