点云-图像双向融合方法、装置、车辆及存储介质制造方法及图纸

本发明专利技术涉及自动驾驶技术领域，具体涉及一种点云

【技术实现步骤摘要】
点云
‑
图像双向融合方法、装置、车辆及存储介质


[0001]本专利技术涉及自动驾驶
，具体涉及一种点云
‑
图像双向融合方法、装置、车辆及存储介质。

技术介绍

[0002]自动驾驶作为一种可以提升出行效率的技术，将在不久的将来可以大大改善人们的出行方式。其中，自主感知是自动驾驶技术的关键构成部分，其任务是为决策模块和规划模块提供结构化和语义化的信息。复杂环境下的感知技术作为智能车辆的“眼睛”，位于自动驾驶体系最前端，是智能车辆及驾乘人员安全的第一道屏障，为了准确感知复杂多变的交通环境，智能车辆通常采用相机和激光雷达相结合的方式，相机拍摄的图像可以提供稠密的纹理信息，但在成像过程中会丢失环境的深度信息；激光雷达所扫描的点云提供周围环境准确的三维信息，但其工作原理决定了这种三维信息是稀疏的。图像和点云所包含的信息性质互补，两者信息融合可以为自动驾驶提供更准确的信息，但图像和点云的内在特性和数据结构不同，目前图像
‑
点云融合均是为特定任务设计的单向融合。
[0003]相关技术中，专利[CN113887349A]提出一种基于图像和点云融合网络的道路区域图像识别方法，该方法将原始点云直接输入道路区域网络中与图像进行融合，并使用解码、卷积等方法得到是否为道路区域分类类别。
[0004]然而，该方法在自动驾驶中常见的3D目标检测场景中效果不佳，对于自动驾驶车辆的一些复杂场景，经常会需要同时处理基于道路分割等场景任务和基于3D目标检测等场景任务，而基于单向融合的方式无法同时满足此场景的多方面应用需求，亟待解决。

技术实现思路

[0005]本专利技术的目的之一在于提供一种点云
‑
图像双向融合方法，以解决现有技术中的无法同时处理主要依赖图像和主要依赖点云的多种任务的问题；目的之二在于提供一种云
‑
图像双向融合装置；目的之三在于提供一种车辆；目的之四在于提供一种计算机可读存储介质。
[0006]为了实现上述目的，本专利技术采用的技术方案如下：
[0007]一种云
‑
图像双向融合方法，包括以下步骤：
[0008]获取车辆当前所处位置的点云特征图和图像特征图；
[0009]将所述点云特征图中的每个点投影至所述图像特征图的坐标系，得到所述点云特征图中的每个点的齐次坐标；
[0010]根据所述齐次坐标、所述点云特征图中的每个点和所述图像特征图中每个像素得到融合后的图像特征图和融合后的点云特征图。
[0011]根据上述技术手段，通过将点云数据和图像数据进行双向融合，可以供车辆根据不同的自动驾驶场景选择合适的特征图进行环境感知，有助于提升车辆对复杂环境感知的准确性和可靠性。
[0012]进一步地，所述根据所述齐次坐标、所述点云特征图中的每个点和所述图像特征图中每个像素得到融合后的图像特征图和融合后的点云特征图，包括：
[0013]基于所述齐次坐标，确定所述点云特征图中的每个点与所述图像特征图中每个像素的对齐关系；
[0014]基于所述对齐关系，计算所述图像特征图中每个像素在所述点云特征图中对齐点的特征平均值，得到第一转移特征图；
[0015]拼接所述第一转移特征图和所述图像特征图，得到所述融合后的图像特征图。
[0016]根据上述技术手段，通过齐次坐标可以得到点云特征图中的所有点与图像特征图中的所有像素间的一一对齐关系，将根据对齐关系得到的第一转移特征图和图像特征图进行拼接即可得到融合后的图像特征图。
[0017]进一步地，所述根据所述齐次坐标、所述点云特征图中的每个点和所述图像特征图中每个像素得到融合后的图像特征图和融合后的点云特征图，还包括：
[0018]基于所述齐次坐标，按照点云多尺度特征图的最大尺寸构建栅格，并将所述点云特征图特征映射到栅格；
[0019]提取所述栅格内的图像特征，得到第二转移特征图；
[0020]拼接所述第二转移特征图和所述点云特征图得到所述融合后的点云特征图。
[0021]根据上述技术手段，通过齐次坐标可以基于点云多尺度特征图的最大尺寸构建栅格，提取栅格中点云特征图特征映射到栅格的图像特征得到第二转移特征图，将第二转移特征图和点云特征图进行拼接即可得到融合后的点云特征图。
[0022]进一步地，在根据所述齐次坐标、所述点云特征图中的每个点和所述图像特征图中每个像素得到所述融合后的图像特征图和所述融合后的点云特征图之后，还包括：
[0023]获取当前驾驶场景需求；
[0024]若所述当前驾驶场景需求为图像信息，则采用所述融合后的图像特征图，若所述当前驾驶场景需求为点云信息，则采用所述融合后的点云特征图。
[0025]根据上述技术手段，在车辆自动驾驶的复杂场景中，可以根据不同的驾驶场景需求选取相应的融合特征图，有助于提升车辆对复杂环境感知的准确性和可靠性。
[0026]进一步地，所述将所述点云特征图中的每个点投影至所述图像特征图的坐标系，得到所述点云特征图中的每个点的齐次坐标，包括：
[0027]基于预设的投影公式，将所述点云特征图中的每个点投影至所述图像特征图的坐标系，得到所述点云特征图中的每个点的齐次坐标，其中，所述预设的投影公式为：
[0028][0029]其中，k
i
为比例因子，[u
i v
i 1]T
为所述每个点的齐次坐标，u
i
为所述每个点的齐次坐标的横坐标，v
i
为所述每个点的齐次坐标的纵坐标，h为所述图像特征图相比原始图像的缩放比例，Q为相机投影矩阵，为激光雷达与相机之间的外参矩阵，[x
i y
i z
i 1]T
为所述点云特征图中第i个点的三维齐次坐标，x
i
为所述三维齐次坐标的横坐标，y
i
为所述三维齐次坐标的纵坐标，z
i
为所述三维齐次坐标的竖坐标。
[0030]根据上述技术手段，可以根据预设的投影公式对点云特征图中的所有点向图像特征图的坐标系进行投影，从而得到齐次坐标。
[0031]一种点云
‑
图像双向融合装置，包括：
[0032]获取模块，用于获取车辆当前所处位置的点云特征图和图像特征图；
[0033]投影模块，用于将所述点云特征图中的每个点投影至所述图像特征图的坐标系，得到所述点云特征图中的每个点的齐次坐标；
[0034]融合模块，用于根据所述齐次坐标、所述点云特征图中的每个点和所述图像特征图中每个像素得到融合后的图像特征图和融合后的点云特征图。
[0035]进一步地，所述融合模块，具体用于：
[0036]基于所述齐次坐标，确定所述点云特征图中的每个点与所述图像特征图中每个像素的对齐关系；
[0037]基于所述对齐关系，计算所述图像特征图中每个像素在所述点云特征图中对齐点的特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种点云
‑
图像双向融合方法，其特征在于，包括以下步骤：获取车辆当前所处位置的点云特征图和图像特征图；将所述点云特征图中的每个点投影至所述图像特征图的坐标系，得到所述点云特征图中的每个点的齐次坐标；根据所述齐次坐标、所述点云特征图中的每个点和所述图像特征图中每个像素得到融合后的图像特征图和融合后的点云特征图。2.根据权利要求1所述的方法，其特征在于，所述根据所述齐次坐标、所述点云特征图中的每个点和所述图像特征图中每个像素得到融合后的图像特征图和融合后的点云特征图，包括：基于所述齐次坐标，确定所述点云特征图中的每个点与所述图像特征图中每个像素的对齐关系；基于所述对齐关系，计算所述图像特征图中每个像素在所述点云特征图中对齐点的特征平均值，得到第一转移特征图；拼接所述第一转移特征图和所述图像特征图，得到所述融合后的图像特征图。3.根据权利要求1所述的方法，其特征在于，所述根据所述齐次坐标、所述点云特征图中的每个点和所述图像特征图中每个像素得到融合后的图像特征图和融合后的点云特征图，还包括：基于所述齐次坐标，按照点云多尺度特征图的最大尺寸构建栅格，并将所述点云特征图特征映射到栅格；提取所述栅格内的图像特征，得到第二转移特征图；拼接所述第二转移特征图和所述点云特征图得到所述融合后的点云特征图。4.根据权利要求1
‑
3中任一项所述的方法，其特征在于，在根据所述齐次坐标、所述点云特征图中的每个点和所述图像特征图中每个像素得到所述融合后的图像特征图和所述融合后的点云特征图之后，还包括：获取当前驾驶场景需求；若所述当前驾驶场景需求为图像信息，则采用所述融合后的图像特征图，若所述当前驾驶场景需求为点云信息，则采用所述融合后的点云特征图。5.根据权利要求1所述的方法，其特征在于，所述将所述点云特征图中的每个点投影至所述图像特征图的坐标系，得到所述点云特征图中的每个点的齐次坐标，包括：基于预设的投影公式，将所述点云特征图中的每个点投影至所述图像特征图的坐标系，得到所述点云特征图中的每个点的齐次坐标，其中，所述预设的投影公式为：其中，k
i
为比例因子，[u
i v
i 1]
T
为所述每个点的齐次坐标，u
...

【专利技术属性】
技术研发人员：黄浩林，马理镜，
申请(专利权)人：深蓝汽车科技有限公司，
类型：发明
国别省市：