一种用于鱼眼相机的语义特征引导场景深度估算方法技术

本发明专利技术公开了一种用于鱼眼相机的语义特征引导场景深度估算方法，该方法首先设计语义信息感知模块，对输入的畸变的鱼眼图像进行语义信息提取；然后建立场景深度感知模块，利用语义信息引导对深度特征的感知；最后设计损失函数，采用端到端的方法进行模型训练，优化网络参数。该方法使用鱼眼相机，具有观测范围广的特点；所运用的语义信息引导深度估计方法，能够解决鱼眼相机在进行深度估计时，由于图像畸变大，导致同一物体的深度估计不平滑、精度低的问题。本发明专利技术可应用于场景感知的技术领域。域。域。

【技术实现步骤摘要】
一种用于鱼眼相机的语义特征引导场景深度估算方法


[0001]本专利技术涉及场景感知的
，特别涉及一种用于鱼眼相机的语义特征引导场景深度估算方法。

技术介绍

[0002]场景的深度估计是车辆的视觉感知领域中的一项重要任务，通过估计图像中每个像素到摄像机的距离，为场景的三维重建和距离感知等方面提供了深度信息。与深度测量装置（深度相机、激光雷达）相比，基于图像的深度估计有着更高广阔的使用范围。
[0003]随着人工智能技术的快速发展，由于深度学习具有强大的自学习能力，为车辆的场景深度估计提供了新的思路。目前的深度学习方法多集中于基于传统摄像机的图像，使用标注好的场景深度图样本，完成深度估计的任务。由于很多车载摄像头往往会使用有着更大观察范围的鱼眼相机，而鱼眼图像畸变的现象容易导致预测深度值产生较大误差，且鱼眼图像数据集含有的深度样本信息较少，难以支持鱼眼图像进行直接有监督的深度估计方法。

技术实现思路

[0004]本专利技术所要解决的技术问题是克服现有技术的不足，提供了一种观测范围广、预测深度精度较高、感知结果准确且能够本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于鱼眼相机的语义特征引导场景深度估算方法，其特征在于：首先设计语义信息感知模块，对输入的畸变的鱼眼图像进行语义信息提取；然后建立场景深度感知模块，利用语义信息引导对深度特征的感知；接着建立相机位姿感知模块，得到相机的位姿信息；最后使用场景深度图信息和相机位姿信息重构图像，设计损失函数训练模型，优化网络参数；具体包括以下步骤：步骤一：设计语义信息感知模块子步骤1.1：设计语义编码器语义编码器由一个二维卷积层、三个残差模块和一个特征融合模块组成，其中每个残差模块均包含一个二维卷积层；卷积层对输入图像进行处理得到特征图F1；残差模块1对特征图F1进行处理得到特征图F2；残差模块2采用了扩张卷积层来增大图形的感受野，对特征图F2进行处理得到特征图F3；残差模块3的卷积层中额外增加了两个通道来学习像素的坐标特征和相机参数特征，提取图像的畸变特征信息，对特征图F3进行处理得到特征图F4；最后将特征图F2、F3和F4一起输入特征融合模块得到特征图F5；子步骤1.2：设计语义解码器语义解码器由三个反卷积层、三个特征融合模块和一个卷积层组成；将特征图F5输入反卷积层，进行上采样恢复至特征图F4尺寸的特征图F4
’
，然后将F4和F4
’
进行特征融合后生成特征图F4”；再将F4”作为输入，进行上采样恢复至特征图F3尺寸的特征图F3
’
，然后将F3和F3
’
进行特征融合后生成特征图F3”；再将F3”作为输入，进行上采样恢复至特征图F2尺寸的特征图F2
’
，然后将F2和F2
’
进行特征融合后生成特征图F2”；最后输入一层卷积层，生成场景的语义分割信息图；步骤二：设计场景深度感知模块子步骤2.1：设计深度编码器深度编码器采用和语义编码器一样的骨干网络，将输入图像经过编码器后得到特征图F5；子步骤2.2：设计语义引导的深度解码器深度解码器由四个反卷积层、三个特征融合模块和三个语义特征映射的卷积层组成；语义特征的映射公式如式(1)所示：
ꢀꢀ
(1)；其中f表示语义特征，K是卷积核，W是卷积...

【专利技术属性】
技术研发人员：邵锡晟，
申请(专利权)人：珠海博杰电子股份有限公司，
类型：发明
国别省市：