车载测距方法、装置、车载终端及可读存储介质制造方法及图纸

本申请公开了一种车载测距方法、装置、车载终端及可读存储介质，应用于车载终端的图像处理过程中，方法包括根据待测车辆所在道路的道路深度图的当前场景实时调整取样区域，并对取样区域进行特征提取，得到深度特征信息；从待测车辆所在道路的道路RGB图中提取RGB特征信息；将深度特征信息和RGB特征信息进行融合，并对融合之后的特征进行卷积处理；将卷积处理后的特征输入至解码器进行上采样处理，生成深度图。本申请可以高效且高精度地计算深度信息。息。息。

【技术实现步骤摘要】
车载测距方法、装置、车载终端及可读存储介质


[0001]本申请涉及自动驾驶
，特别是涉及一种车载测距方法、装置、车载终端及可读存储介质。

技术介绍

[0002]随着自动驾驶技术的快速发展，自动驾驶汽车已被应用在日常工作生活中。自动驾驶汽车采用先进的通信、计算机、网络和控制技术实现实时、连续地控制汽车的行驶。可以理解的是，自动驾驶过程中，需要不断地采集行驶前方、周围的环境图像，以便快速作出正确决策，相应的，处理器获取的图像数据分辨率高且图像数据量大，对图像处理结果精度和实时性的要求均很高。
[0003]深度学习方法通过神经网络可以直接从数据中学习到有用的特征表示，例如可以使用预训练神经网络识别和过滤图像中的噪声，有效提高图像处理效果，被广泛应用在图像处理

[0004]相关技术在处理图像时所采用的神经网络规模都很大，并无法满足实时性的要求；为了满足实时性要求，提高图像处理效率，但是又无法满足高精度的需求，导致最终所确定深度信息并无法同时满足高精度和实时性要求。
[0005]鉴于此，高效且高精度地计算深度信息，是所属领域技术人员需要解决的技术问题。

技术实现思路

[0006]本申请提供了一种车载测距方法、装置、车载终端及可读存储介质，可以高效且高精度地计算深度信息。
[0007]为解决上述技术问题，本专利技术实施例提供以下技术方案：本专利技术实施例一方面提供了一种车载测距方法，应用于车载终端的图像处理过程中，包括：根据待测车辆所在道路的道路深度图的当前场景实时调整取样区域，并对所述取样区域进行特征提取，以得到深度特征信息；从所述待测车辆所在道路的道路RGB图中提取RGB特征信息；所述RGB特征信息包括空间信息、RGB通道维度上的语义和文本信息；将所述深度特征信息和所述RGB特征信息进行融合，并对融合之后的特征进行卷积处理；将卷积处理后的特征输入至解码器进行上采样处理，生成深度图。
[0008]可选的，所述对所述取样区域进行特征提取，包括：预先构建深度特征提取模块；所述深度特征提取模块包括多个相连的粗特征提取单元，每个粗特征提取单元包括相连的膨胀放大层和最大池化层；利用所述深度特征提取模块对所述取样区域进行特征提取。
[0009]可选的，所述深度特征提取模块还包括精细特征提取单元，所述精细特征提取单元包括卷积神经网络；所述卷积神经网络的输入为最后一个粗特征提取单元的输出特征，输出为所述深度特征信息。
[0010]可选的，所述根据待测车辆所在道路的道路深度图的当前场景实时调整取样区域，包括：基于轮廓匹配算法，将取样点放置至当前时刻获取的道路深度图中的特征区域上。
[0011]可选的，所述从待测车辆所在道路的道路RGB图中提取RGB特征信息，包括：预先构建RGB编码组件；所述RGB编码组件包括Resnet50、注意力模块和空洞卷积模块，所述注意力模块包括并列的通道注意力模块和空间注意力模块，所述空洞卷积模块包括多个并列且不同空洞数的空洞卷积层；将所述道路RGB图输入至所述RGB编码组件，以通过所述Resnet50、所述注意力模块和所述空洞卷积模块对所述道路RGB图进行编码处理；其中，所述Resnet50的输入为所述道路RGB图，所述通道注意力模块和所述空间注意力模块的输入为所述Resnet50的输出，所述空洞卷积模块的各空洞卷积层的输入为所述通道注意力模块和所述空间注意力模块的输出特征和。
[0012]可选的，所述将卷积处理后的特征输入至解码器进行上采样处理，包括：分别将所述Resnet50输出的1/2分辨率、1/4分辨率、1/8分辨率、1/16分辨率的输出特征输入至解码器与对应的分辨率特征进行上采样处理。
[0013]可选的，所述将卷积处理后的特征输入至解码器进行上采样处理之前，还包括：预先构建并训练好解码器；所述解码器包括多个采样模块，每个采样模块均包括skip结构、转置卷积层和一个卷积层。
[0014]可选的，所述根据待测车辆所在道路的道路深度图的当前场景实时调整取样区域，并对所述取样区域进行特征提取，以得到深度特征信息，包括：将待测车辆所在道路的道路深度图的分辨率转换为1/2低分辨率，得到1/2低分辨率道路深度图；根据所述道路深度图的当前场景实时调整取样区域，并进行特征提取，得到第一深度特征信息；根据所述1/2低分辨率道路深度图的当前场景实时调整取样区域，并进行特征提取，得到1/2深度特征信息。
[0015]可选的，所述将所述深度特征信息和所述RGB特征信息进行融合，并对融合之后的特征进行卷积处理，包括：调用resize函数，对所述RGB特征信息进行缩放处理，得到RGB缩放特征；对所述RGB缩放特征进行一次卷积处理，得到RGB一次卷积特征；对所述RGB一次卷积特征进行再次卷积处理，得到RGB二次卷积特征；将所述第一深度特征信息、所述RGB缩放特征和所述RGB一次卷积特征进行融合，并对融合之后的特征进行卷积处理，得到第一融合卷积特征；
将所述1/2深度特征信息、所述RGB一次卷积特征和所述RGB二次卷积特征进行融合，并对融合之后的特征进行卷积处理，得到1/2融合卷积特征。
[0016]可选的，所述解码器包括结构相同的第一解码器和第二解码器，所述将卷积处理后的特征输入至解码器进行上采样处理，生成深度图，包括：将所述第一融合卷积特征输入至第一解码器进行上采样处理，得到第一解码特征；将所述1/2融合卷积特征输入至第二解码器进行上采样处理，得到1/2解码特征；对所述1/2解码特征进行分辨率放大处理，以与所述第一解码特征的分辨率相同；将所述第一解码特征和分辨率放大后的1/2解码特征输入至融合特征层进行融合处理，以得到深度图。
[0017]可选的，所述融合特征层依次包括融合层、第一卷积层、特征选择组合层和第二卷积层；所述特征选择组合层包括全局池化层、第三卷积层、第一ReLU层、第四卷积层、权重处理层及求和层；所述权重处理层，用于对经过第四卷积层输出的特征的每个通道重新加权。
[0018]可选的，所述从待测车辆所在道路的道路RGB图中提取RGB特征信息，包括：将所述道路RGB图输入至空间滤波器，以提取所述道路RGB图的空间补全信息；将所述空间补全信息输入至所述融合特征层；其中，所述空间滤波器依次包括边缘特征提取层、多个特征提取层及第五卷积层；每个特征提取层均包括第六卷积层、批归一化层和第二ReLU层。
[0019]本专利技术实施例另一方面提供了一种车载测距装置，应用于车载终端的图像处理过程中，包括：深度特征编码模块，用于根据待测车辆所在道路的道路深度图的当前场景实时调整取样区域，并对所述取样区域进行特征提取，以得到深度特征信息；RGB特征编码模块，用于从所述待测车辆所在道路的道路RGB图中提取RGB特征信息；所述RGB特征信息包括空间信息、RGB通道维度上的语义和文本信息；解码前融合模块，用于将所述深度特征信息和所述RGB特征信息进行融合，并对融合之后的特征进行卷积处理；解码模块，用于将卷积处理后的特征输入至解码器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车载测距方法，其特征在于，应用于车载终端的图像处理过程中，包括：根据待测车辆所在道路的道路深度图的当前场景实时调整取样区域，并对所述取样区域进行特征提取，以得到深度特征信息；从所述待测车辆所在道路的道路RGB图中提取RGB特征信息；所述RGB特征信息包括空间信息、RGB通道维度上的语义和文本信息；将所述深度特征信息和所述RGB特征信息进行融合，并对融合之后的特征进行卷积处理；将卷积处理后的特征输入至解码器进行上采样处理，生成深度图。2.根据权利要求1所述的车载测距方法，其特征在于，所述对所述取样区域进行特征提取，包括：预先构建深度特征提取模块；所述深度特征提取模块包括多个相连的粗特征提取单元，每个粗特征提取单元包括相连的膨胀放大层和最大池化层；利用所述深度特征提取模块对所述取样区域进行特征提取。3.根据权利要求2所述的车载测距方法，其特征在于，所述深度特征提取模块还包括精细特征提取单元，所述精细特征提取单元包括卷积神经网络；所述卷积神经网络的输入为最后一个粗特征提取单元的输出特征，输出为所述深度特征信息。4.根据权利要求1所述的车载测距方法，其特征在于，所述根据待测车辆所在道路的道路深度图的当前场景实时调整取样区域，包括：基于轮廓匹配算法，将取样点放置至当前时刻获取的道路深度图中的特征区域上。5.根据权利要求1所述的车载测距方法，其特征在于，所述从所述待测车辆所在道路的道路RGB图中提取RGB特征信息，包括：预先构建RGB编码组件；所述RGB编码组件包括Resnet50、注意力模块和空洞卷积模块，所述注意力模块包括并列的通道注意力模块和空间注意力模块，所述空洞卷积模块包括多个并列且不同空洞数的空洞卷积层；将所述道路RGB图输入至所述RGB编码组件，以通过所述Resnet50、所述注意力模块和所述空洞卷积模块对所述道路RGB图进行编码处理；其中，所述Resnet50的输入为所述道路RGB图，所述通道注意力模块和所述空间注意力模块的输入为所述Resnet50的输出，所述空洞卷积模块的各空洞卷积层的输入为所述通道注意力模块和所述空间注意力模块的输出特征和。6.根据权利要求5所述的车载测距方法，其特征在于，所述将卷积处理后的特征输入至解码器进行上采样处理，包括：分别将所述Resnet50输出的1/2分辨率、1/4分辨率、1/8分辨率、1/16分辨率的输出特征输入至解码器与对应的分辨率特征进行上采样处理。7.根据权利要求1所述的车载测距方法，其特征在于，所述将卷积处理后的特征输入至解码器进行上采样处理之前，还包括：预先构建并训练好解码器；所述解码器包括多个采样模块，每个采样模块均包括skip结构、转置卷积层和一个卷积层。
8.根据权利要求1至7任意一项所述的车载测距方法，其特征在于，所述根据待测车辆所在道路的道路深度图的当前场景实时调整取样区域，并对所述取样区域进行特征提取，以得到深度特征信息，包括：将待测车辆所在道路的道路深度图的分辨率转换为1/2低分辨率，得到1/2低分辨率道路深度图；根据所述道路深度图的当前场景实时调整取样区域，并进行特征提取，得到第一深度特征信息；根据所述1/2低分...

【专利技术属性】
技术研发人员：周士博，王乐天，张超，
申请(专利权)人：深圳市灵明光子科技有限公司，
类型：发明
国别省市：