基于红外图像和雷达数据的夜间无人车场景深度估计方法技术

本发明专利技术提供了一种基于红外图像和雷达数据的夜间无人车场景深度估计方法，首先构建夜视图像数据集，夜视图像数据集中包括原始样本图像及对原始样本图像进行预分类后的雷达数据，将原始样本图像和雷达数据写入对应的文本文件中；然后构建深度卷积‑反卷积神经网络，利用夜视图像数据集训练深度卷积‑反卷积神经网络；再实时获取待处理的图像，将待处理的图像输入深度卷积‑反卷积神经网络，通过深度卷积神经网络得到特征图，将特征图输入反卷积网络得到特征图中每个像素点所属类别，输出概率图；最后将概率图，采取反log变换得到每个像素点的估计深度。试验证明，本发明专利技术提供的方法能够有效估计夜间场景的深度，保证估计的正确性和实时性。

Night unmanned vehicle scene depth estimation method based on infrared image and radar data

The present invention provides an estimation method based on infrared image and radar data of the unmanned vehicle night scene depth, first build the night vision image data sets, including the original sample image and pre classification of the original sample image after the radar data of night vision image data set, the original sample image and radar data is written to the corresponding text file; and construction of convolutional neural network deconvolution, training set depth neural network using convolution deconvolution of night vision image data; and then obtain the real-time image processing, image input depth the convolution deconvolution neural network, get the feature maps by deep convolutional neural network, feature maps input deconvolutional networks each pixel feature map obtained in the category, the output probability map; the probability map, take anti log transform of each pixel Estimated depth. Experiments have proved that the method provided by the invention can effectively estimate the depth of night scenes, and ensure the correctness and the timeliness of the estimation.

【技术实现步骤摘要】
基于红外图像和雷达数据的夜间无人车场景深度估计方法
本专利技术涉及一种基于红外图像和雷达数据的夜间无人车场景深度估计方法，通过本方法可对红外图像中的场景的空间位置信息进行估计。
技术介绍
图像的深度估计指的是从图像中获取深度距离信息，从本质上讲是一个深度感知的问题。从场景的一幅和多幅图像中恢复场景的三维深度信息是机器视觉领域的一个基本研究课题，在机器人运动控制、场景理解、场景重建等领域具有重要的应用。深度估计技术主要有针对双目深度线索和基于图像序列的深度估计展开的方法，这两种方法都依赖于图像间的特征差异。对于单目图像深度估计，在早期的研究中比较经典的是由“阴影恢复形状(shapefromshading)”，该算法以空间几何知识为基础，依据图像的阴影恢复物体的深度信息。之后，研究者逐渐发现经验的重要性，开始利用机器学习的方法去解决这一问题。斯坦福大学AndrewNg的团队通过利用马尔科夫场训练的模型对单幅图像进行深度估计，达到了很好的效果。之后，在此基础上，LiuFayao等(F.Liu，C.Shen，andG.Lin.Deepconvolutionalneuralfieldsfordepthestimationfromasingleimage.inProc.IEEEConf.ComputerVisionandPatternRecognition，2015.)引入条件随机场(ConditionalRandomField，CRF)和深度卷积神经网络(DeepConvolutionalNeuralNetworks，DNN)技术，经过深度网络学习，不需要任何先验知识和信息，即可完成通用场景的深度估计。夜视图像深度估计的困难在于：夜视图像完全不同于可见光图像，它无色彩，只有单通道的灰度值，信噪比低且缺乏深度感。因此夜视图像深度估计难度极大。目前，国内外对于夜视图像的深度估计研究还不够深入，尚无较好的解决方法。席林等(XiLin，SunShaoyuan，LiLinna，etal.DepthestimationfrommonocularinfraredimagesbasedonSVMmodel[J].laser&Infrared，2012，42(11)：1311-1315.)首先尝试结合逐步线性回归和独立成分分析(ICA)方法寻找与红外图像深度相关性较强的特征，然后以具有核函数的非线性支持向量机模型(SVM)为基础，采用监督学习方法对红外图像深度信息进行回归分析并训练。利用该模型能较为一致地估计单目红外图像的简单深度信息，该方法的缺点是计算速度较慢。沈振一等(沈振一，孙韶媛，赵海涛.基于PP-MRF模型的单目车载红外图像三维重建[J].东华大学学报(自然科学版)，2015(03)：341-347.)继续深入，提出了一种将超像素分割和面板参数马尔科夫随机场(PP-MRF)相结合的单目车载红外图像深度估计方法。该方法首先通过超像素分割得到红外图像中纹理和亮度较为接近的一系列小区域，即超像素；然后训练PP-MRF模型，建立超像素面板参数与其对应深度之间的非线性关系，从而实现估计给定超像素深度信息，该方法的缺点是需要人工选取特征，无法挖掘图像深层特征信息。
技术实现思路
本专利技术要解决的技术问题是如何实现夜视图像的深度估计，从而较为准确地估计红外图像的深度信息。为了解决上述技术问题，本专利技术的技术方案是提供一种基于红外图像和雷达数据的夜间无人车场景深度估计方法，其特征在于，包括如下步骤：步骤1：构建夜视图像数据集，夜视图像数据集中包括原始样本图像及对原始样本图像进行预分类后的雷达数据，将原始样本图像和雷达数据写入对应的文本文件中；步骤2：构建深度卷积-反卷积神经网络，利用夜视图像数据集训练深度卷积-反卷积神经网络；深度卷积-反卷积神经网络包括深度卷积神经网络及反卷积网络，深度卷积神经网络的作用是通过一系列的卷积、激励和池化的过程提取原始样本图像的特征，从而得到特征图；反卷积网络的作用将特征图映射到雷达数据矩阵的大小；步骤3：实时获取待处理的图像，将待处理的图像输入步骤2训练后的深度卷积-反卷积神经网络，通过深度卷积神经网络得到特征图，将特征图输入反卷积网络得到特征图中每个像素点所属类别，输出概率图；步骤4：将步骤3得到的概率图，采取反log变换得到每个像素点的估计深度。优选地，所述步骤1中，构建夜视图像数据集时，由于雷达数据存在缺省值，根据缺省值周围的距离进行缺省值的填充；根据所述距离的远近，将雷达数据映射到log空间，并分类。优选地，所述步骤2中，深度卷积神经网络为一系列的卷积、激励和池化的过程，其中，卷积采用去掉全连接层的VGG16，池化采用最大值-池化。优选地，所述步骤3中，采用Softmax分类器确定特征图中每个像素点所属类别。本专利技术提供了一种基于红外图像和雷达数据的夜间无人车场景深度估计方法，无需手工选取特征，通过端到端，像素到像素的训练，直接预测像素的真实距离值，从而实现夜间场景的深度估计，保证估计的正确性和实时性。本专利技术提供的方法采用分类的思想，无需通过复杂的计算量，就可以保证深度估计的准确性，同时使用深度学习，无需手工选取特征，即可充分挖掘夜视图像中蕴含的丰富信息，提取出重要的深度信息。附图说明图1为红外图像和雷达数据的夜间无人车场景深度估计流程图；图2为深度卷积-反卷积神经网络结构图；图3为本实施例的夜视场景深度估计实验结果示意图。具体实施方式下面结合具体实施例，进一步阐述本专利技术。应理解，这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围。此外应理解，在阅读了本专利技术讲授的内容之后，本领域技术人员可以对本专利技术作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。图1所示为于红外图像和雷达数据的夜间无人车场景深度估计流程图，基于红外图像和雷达数据的夜间无人车场景深度估计的方法，首先需要对雷达数据进行缺省值处理，然后进行分类操作，得到夜视图像对应的深度类别。然后构建深度卷积-反卷积神经网络，将训练图像和对应的深度图放入构建的网络中进行迭代学习，得到网络的模型参数。接着输入测试图像，深度卷积-反卷积神经网络会根据前面训练得到的模型参数对测试图像进行深度估计，经过反log变换最终得到夜视图像中每个像素所对应的深度距离。其具体步骤如下：步骤1：构建夜视图像数据集。采用实验室的车载红外热像仪和雷达自行采集的实验数据，通过对缺省值的处理以及对雷达数据的分类得到最终标签图，标签图的标记和原图的像素一一对应，一共有21类。数据集包含训练图片1000张，测试图片137张，图片尺寸为120×360。步骤2：构建深度卷积-反卷积神经网络，利用步骤1得到的夜视图像数据集训练该深度卷积-反卷积神经网络，其中：深度卷积-反卷积神经网络包括深度卷积神经网络及反卷积网络，深度卷积神经网络的作用是通过一系列的卷积、激励和池化的过程提取原始图像的特征，从而得到特征图，反卷积网络的作用将特征图映射到原始雷达数据矩阵的大小。图2为深度卷积-反卷积神经网络结构图，深度卷积-反卷积神经网络主要包含两个部分：卷积网络和反卷积网络。卷积网络表示特征提取的过程，将输入的夜视图像转换成多维特征表示，而反卷积网络则表示形状生成的过程，本文档来自技高网...

【技术保护点】
一种基于红外图像和雷达数据的夜间无人车场景深度估计方法，其特征在于，包括如下步骤：步骤1：构建夜视图像数据集，夜视图像数据集中包括原始样本图像及对原始样本图像进行预分类后的雷达数据，将原始样本图像和雷达数据写入对应的文本文件中；步骤2：构建深度卷积‑反卷积神经网络，利用夜视图像数据集训练深度卷积‑反卷积神经网络；深度卷积‑反卷积神经网络包括深度卷积神经网络及反卷积网络，深度卷积神经网络的作用是通过一系列的卷积、激励和池化的过程提取原始样本图像的特征，从而得到特征图；反卷积网络的作用将特征图映射到雷达数据矩阵的大小；步骤3：实时获取待处理的图像，将待处理的图像输入步骤2训练后的深度卷积‑反卷积神经网络，通过深度卷积神经网络得到特征图，将特征图输入反卷积网络得到特征图中每个像素点所属类别，输出概率图；步骤4：将步骤3得到的概率图，采取反log变换得到每个像素点的估计深度。

【技术特征摘要】
1.一种基于红外图像和雷达数据的夜间无人车场景深度估计方法，其特征在于，包括如下步骤：步骤1：构建夜视图像数据集，夜视图像数据集中包括原始样本图像及对原始样本图像进行预分类后的雷达数据，将原始样本图像和雷达数据写入对应的文本文件中；步骤2：构建深度卷积-反卷积神经网络，利用夜视图像数据集训练深度卷积-反卷积神经网络；深度卷积-反卷积神经网络包括深度卷积神经网络及反卷积网络，深度卷积神经网络的作用是通过一系列的卷积、激励和池化的过程提取原始样本图像的特征，从而得到特征图；反卷积网络的作用将特征图映射到雷达数据矩阵的大小；步骤3：实时获取待处理的图像，将待处理的图像输入步骤2训练后的深度卷积-反卷积神经网络，通过深度卷积神经网络得到特征图，将特征图输入反卷积网络得到特征图中每个像素点所属类别，输...

【专利技术属性】
技术研发人员：姚广顺，孙韶媛，叶国林，高凯珺，
申请(专利权)人：东华大学，
类型：发明
国别省市：上海,31