图像处理方法、计算机程序产品、存储介质及电子设备技术

本申请涉及图像处理技术领域，提供一种图像处理方法、计算机程序产品、存储介质及电子设备。其中，图像处理方法包括：获取待处理图像，并利用主干网络提取待处理图像的图像特征；获取多个初始查询特征，每个初始查询特征对应BEV空间中的一个子区域；将多个初始查询特征输入解码网络，与同样输入解码网络的图像特征进行交互计算，得到对应的多个最终查询特征；基于多个最终查询特征，利用分割网络得到对应的多个子区域内的目标分割结果；根据多个子区域内的目标分割结果，得到BEV空间中的总体目标分割结果。该方法显著提高了在BEV空间下进行目标分割的精度。下进行目标分割的精度。下进行目标分割的精度。

【技术实现步骤摘要】
图像处理方法、计算机程序产品、存储介质及电子设备


[0001]本申请涉及图像处理
，具体而言，涉及一种图像处理方法、计算机程序产品、存储介质及电子设备。

技术介绍

[0002]在自动驾驶中，常常需要基于车载摄像头采集的图像在鸟瞰视角(Bird
’
s Eye View，简称BEV)空间中分割出车道线，以便执行后续的驾驶规划等操作。
[0003]在现有技术中，通常会从车载摄像头采集的图像中提取图像特征并估计图像的深度信息，然后利用估计出的深度信息将图像特征转换到BEV空间下，最后利用BEV空间下的特征进行车道线的分割。然而，此种方法估计出的深度信息本就具有较大的误差，再利用深度信息将图像特征转换到BEV空间下更是进一步扩大了误差，导致车道线分割结果精度较低。

技术实现思路

[0004]本申请实施例的目的在于提供一种图像处理方法、计算机程序产品、存储介质及电子设备，以改善上述技术问题。
[0005]为实现上述目的，本申请提供如下技术方案：
[0006]第一方面，本申请实施例提供一种图像处理方法，包括：获取待处理图像，并利用主干网络提取所述待处理图像的图像特征；获取多个初始查询特征；其中，每个初始查询特征对应BEV空间中的一个子区域，所述BEV空间为所述待处理图像的拍摄范围在鸟瞰视角下对应的平面区域；将所述多个初始查询特征输入解码网络，与同样输入所述解码网络的所述图像特征进行交互计算，得到对应的多个最终查询特征；基于所述多个最终查询特征，利用分割网络得到对应的多个子区域内的目标分割结果；根据所述多个子区域内的目标分割结果，得到所述BEV空间中的总体目标分割结果。
[0007]上述方法中的目标可以包括、但不限于各类地图元素，例如车道线、可行驶区域、车辆、行人等一种或多种元素，该方法的有益效果包括：
[0008]其一，由于初始查询特征是与BEV空间中的子区域对应的，因此与图像特征进行交互计算后，直接就可以得到与BEV空间中的子区域相对应的最终查询特征，这一过程并不需要将图像特征转换到BEV空间下，从而避免了转换带来的误差，显著提高了在BEV空间下进行目标分割的精度。
[0009]其二，由于最终查询特征与BEV空间中的子区域具有对应关系，因此根据每个最终查询特征，直接就能得到相应子区域中的目标分割结果，然后通过拼合各子区域中的目标分割结果，很容易就可以得到BEV空间中的总体目标分割结果。由于各子区域之间的相对位置关系是清楚的，因此各子区域中的目标分割结果应该如何拼合也是十分清楚的，从而有利于获得精度更高的目标分割结果。
[0010]在第一方面的一种实现方式中，所述获取多个初始查询特征，包括：获取所述多个
初始查询特征对应的多组坐标；其中，每组坐标至少包括x坐标和y坐标，且每个初始查询特征对应的x坐标和y坐标位于所述BEV空间中与该初始查询特征对应的子区域内；利用查询特征编网络对所述多组坐标进行编码，得到对应的所述多个初始查询特征；其中，一个初始查询特征的维度大于一组坐标的维度。
[0011]在上述实现方式中，由于初始查询特征是对位于BEV空间中的子区域内的坐标进行编码得到的，相当于将初始查询特征定义在了BEV空间中的子区域内，因此其与图像特征进行交互计算后，直接就可以得到与BEV空间中的子区域相对应的最终查询特征，而不需要将图像特征转换到BEV空间下，从而避免了转换带来的误差，显著提高了在BEV空间下进行目标分割的精度。并且，由于最终查询特征与BEV空间中的子区域具有对应关系，因此根据每个最终查询特征，直接就能得到相应子区域中的目标分割结果，然后通过拼合各子区域中的目标分割结果，很容易就可以得到更大范围内的目标分割结果。
[0012]进一步的，上述实现方式不是直接将子区域内的坐标作为初始查询特征，而是利用查询特征编码网络将子区域内的坐标编码为初始查询特征，此举扩充了坐标的维度(例如，从二维或三维扩充为256维)，使得到的初始查询特征具有更大的可优化空间，从而有利于在解码网络中对初始查询特征进行更好的优化(优化的结果为最终查询特征)，进而提高目标分割的精度。作为对比的，若直接将子区域内的坐标作为初始查询特征，由于坐标的维度很低，因此任意一个维度上数值的改变都会对最终的优化结果产生较大的影响，难以进行精细化的数值优化。
[0013]在第一方面的一种实现方式中，每组坐标还包括通过学习得到的z坐标。
[0014]图像特征中虽然未显式地包含深度信息，但基于图像特征是可以进行深度估计的，所以可以认为图像特征中隐含了深度信息，即图像特征是三维空间中的特征。由于BEV空间实际上是一个平面区域，因此若仅根据BEV空间中的x坐标和y坐标编码得到初始查询特征，则初始查询特征可能只是一个二维平面上的特征。因为，为了使得初始查询特征能够与图像特征进行更好的交互，在上述实现方式中，通过增加代表高度信息的z坐标使得初始查询特征也变成三维空间中的特征。
[0015]进一步的，由于BEV空间中实际上是没有高度信息的，因此上述实现方式还将z坐标设置为可学习参数，在网络的训练过程中去学习得到合理的z坐标取值。
[0016]在第一方面的一种实现方式中，所述查询特征编码网络包括位置编码器和特征编码器，所述利用查询特征编网络对所述多组坐标进行编码，得到对应的所述多个初始查询特征，包括：利用所述位置编码器对所述多组坐标进行编码，得到对应的多个位置编码特征；其中，一个位置编码特征的维度大于一组坐标的维度；利用所述特征编码器对所述多个位置编码特征进行编码，得到对应的所述多个初始查询特征；其中，所述特征编码器为多层感知机。
[0017]在上述实现方式中，位置编码器主要用于编码坐标，以扩充坐标的维度，但位置编码器得到的各个位置编码特征本质上仍然是单点(坐标对应的点)的特征，不能代表子区域的特征，而特征编码器由于采用了多层感知机结构(即全连接的神经网络)，因此可以将单点的特征扩展到更大的空间范围内，使得到的初始查询特征能够更好地代表对应的子区域。
[0018]在第一方面的一种实现方式中，所述基于所述多个最终查询特征，利用分割网络
得到对应的多个子区域内的目标分割结果，包括：将所述多个最终查询特征输入所述分割网络，得到对应的多组离散余弦变换(Discrete Cosine Transform，简称DCT)系数；对所述多组DCT系数进行逆向离散变换(Inverse Discrete Cosine Transform，简称IDCT)，得到对应的多个子区域内的目标分割结果。
[0019]在上述实现方式中，分割网络不是直接输出空间域中的目标分割结果，而是输出频域中的DCT系数，再利用IDCT得到空间域中的目标分割结果。其中，DCT常用于图像压缩，压缩后只需保存少量的DCT系数就可以在很大程度上还原原始图像，从而，对于本申请的方案而言，分割网络只需计算少量的DCT系数就可以得到较大尺寸的目标分割结果，不仅方便了目标分割结果的应用(对尺寸有一定要求)本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取待处理图像，并利用主干网络提取所述待处理图像的图像特征；获取多个初始查询特征；其中，每个初始查询特征对应鸟瞰视角BEV空间中的一个子区域，所述BEV空间为所述待处理图像的拍摄范围在鸟瞰视角下对应的平面区域；将所述多个初始查询特征输入解码网络，与同样输入所述解码网络的所述图像特征进行交互计算，得到对应的多个最终查询特征；基于所述多个最终查询特征，利用分割网络得到对应的多个子区域内的目标分割结果；根据所述多个子区域内的目标分割结果，得到所述BEV空间中的总体目标分割结果。2.根据权利要求1所述的图像处理方法，其特征在于，所述获取多个初始查询特征，包括：获取所述多个初始查询特征对应的多组坐标；其中，每组坐标至少包括x坐标和y坐标，且每个初始查询特征对应的x坐标和y坐标位于所述BEV空间中与该初始查询特征对应的子区域内；利用查询特征编网络对所述多组坐标进行编码，得到对应的所述多个初始查询特征；其中，一个初始查询特征的维度大于一组坐标的维度。3.根据权利要求2所述的图像处理方法，其特征在于，每组坐标还包括通过学习得到的z坐标。4.根据权利要求2或3所述的图像处理方法，其特征在于，所述查询特征编码网络包括位置编码器和特征编码器，所述利用查询特征编网络对所述多组坐标进行编码，得到对应的所述多个初始查询特征，包括：利用所述位置编码器对所述多组坐标进行编码，得到对应的多个位置编码特征；其中，一个位置编码特征的维度大于一组坐标的维度；利用所述特征编码器对所述多个位置编码特征进行编码，得到对应的所述多个初始查询特征；其中，所述特征编码器为多层感知机。5.根据权利要求1
‑
4中任一项所述的图像处理方法，其特征在于，所述基于所述多个最终查询特征，利用分割网络得到对应的多个子区域内的...

【专利技术属性】
技术研发人员：贾凡，汪天才，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：