一种基于条件生成对抗网络的单目图像深度估计方法技术

本发明专利技术涉及一种基于条件生成对抗网络的单目图像深度估计方法，包括：(1)对数据集进行预处理；(2)构建生成式对抗网络中的生成器：利用编码器‑解码器结构，构建由卷积层‑反卷积层组合的生成器网络结构，并在此基础上构建跳跃连接结构，将编码器每层的输出特征图映射到对称解码器的输入中，通过通道维度连接起来，以增加解码器的细节信息；在输入层和输出层之间共享低层的信息，使得高层输出图像带有低级的细节特征，提升生成深度图像的质量；(3)构建生成式对抗网络中的判别器；(4)构建生成对抗网络的损失函数；(5)对构建完成的生成对抗网络进行训练和测试。

Monocular image depth estimation method based on condition generation against network

The invention relates to a monocular image depth estimation method based on conditional generation countermeasure network, which includes: (1) preprocessing the data set; (2) constructing a generator in a generative countermeasure network: constructing a generator network structure composed of a convolution layer and a deconvolution layer using an encoder/decoder structure, and on this basis A hopping connection structure is constructed to map the output feature map of each layer of the encoder to the input of the symmetrical decoder, and the channel dimension is connected to increase the details of the decoder. The information of the lower layer is shared between the input layer and the output layer, which makes the high-level output image have the low-level details and improves the depth of the generated image. Image quality; (3) Construct discriminator in the constructed antagonistic network; (4) Construct loss function of the constructed antagonistic network; (5) Train and test the constructed antagonistic network.

【技术实现步骤摘要】
一种基于条件生成对抗网络的单目图像深度估计方法
本专利技术涉及单目图像深度估计
，尤其涉及一种基于生成式对抗网络的深度估计方法。
技术介绍
深度信息能够反映2D图像所不具有的几何信息，对于三维场景重建、手势识别、人体姿态估计等有着重要意义[1]。当前深度信息的获取主要有以下两个途径：一是采用硬件设备如激光雷达、Kinect等直接获取距离信息；二是采用多视点、如双目图像的方法，利用视差来估计深度信息。由于深度传感器造价昂贵，多视点方法需要配置多个图像采集设备，因此从单幅单目图像估计自然场景的深度估计在场景理解，三维建模，机器人等领域有着极为重要的意义，是计算机视觉中的一个基本问题。利用单目图像进行深度估计是一个不适定问题，因为一副图像可能对应于无数现实世界的实际场景[2]。对于人类来说，从单个图像推断潜在的三维结构并不困难，对于计算机视觉算法来说，由于没有具体可靠的特征如几何信息等可以直接利用，因此仍然是一个极具挑战的任务。当前基于单目图像的深度估计研究主要分为三类：一是在带有几何限制的场景下进行深度估计的研究，此类方法直接将图像强度或颜色信息映射到深度值，在自然场景下不具有通用本文档来自技高网...

【技术保护点】
1.一种基于条件生成对抗网络的单目图像深度估计方法，包括步骤如下：(1)对数据集进行预处理：将数据集中保存的深度信息的矩阵统一转化为深度图像格式，用于网络的训练、生成深度图的可视化及估计结果的评估，并且将彩色图像与对应的深度图像组成图像对，用于网络的训练；(2)构建生成式对抗网络中的生成器：利用编码器‑解码器结构，构建由卷积层‑反卷积层组合的生成器网络结构，并在此基础上构建跳跃连接结构，将编码器每层的输出特征图映射到对称解码器的输入中，通过通道维度连接起来，以增加解码器的细节信息；在输入层和输出层之间共享低层的信息，使得高层输出图像带有低级的细节特征，提升生成深度图像的质量；(3)构建生成式对...

【技术特征摘要】
1.一种基于条件生成对抗网络的单目图像深度估计方法，包括步骤如下：(1)对数据集进行预处理：将数据集中保存的深度信息的矩阵统一转化为深度图像格式，用于网络的训练、生成深度图的可视化及估计结果的评估，并且将彩色图像与对应的深度图像组成图像对，用于网络的训练；(2)构建生成式对抗网络中的生成器：利用编码器-解码器结构，构建由卷积层-反卷积层组合的生成器网络结构，并在此基础上构建跳跃连接结构，将编码器每层的输出特征图映射到对称解码器的输入中，通过通道维度连接起来，以增加解码器的细节信息；在输入层和输出层之间共享低层的信息，使得高层输出图像带有低级的细节特征，提升生成深度图像的质量；(3)构建生成式对抗网络中的判别器：采用卷积层-激活函数层-批量归一化层BatchNorm作为判别器网络的组成单元，多层堆叠成最终的判别网络，采用分块判别器的结构，分别判别生成器生成图像各块的图像是否为真实图像或虚假图像，再将各块的响应取平均值作为判别器的最终输出；(4)构建生成对抗网络的损失函数：在条件生成对抗网络损失函数的基础上，加入一范数损失函数，使得生成器的任务不仅要求其混淆判别器，还在一...

【专利技术属性】
技术研发人员：侯春萍，管岱，杨阳，郎玥，章衡光，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12