适用于嵌入式平台的快速单目深度估计方法技术

本发明专利技术公开了一种适用于嵌入式平台的快速单目深度估计方法，包括获取深度估计模型所需的训练数据；对训练数据预处理、压缩并发送到距离嵌入式平台最近的边缘服务器；边缘服务器对接收的数据训练深度估计模型得到训练好的深度估计模型；对深度估计模型进行转换、压缩并发送嵌入式平台；嵌入式平台接收数据并根据构建的深度估计模型结构对单目图像进行快速的深度估。本发明专利技术基于包括编码器和解码器组成的U型轻量级深度估计模型，参数少，计算量小，预测速度快，可从RGB图像中自动学习得到准确的像素级深度图，适用于室内室外不同的场景，方便灵活；而且本发明专利技术方法的效率较高、可靠性好、成本低廉且适用于资源有限平台。

A fast monocular depth estimation method for embedded platform

【技术实现步骤摘要】
适用于嵌入式平台的快速单目深度估计方法
本专利技术具体涉及一种适用于嵌入式平台的快速单目深度估计方法。
技术介绍
作为计算机视觉研究中的一个重要方向，深度估计的主要目标是测出图像中每个像素的深度，获取像素级别的深度图。目前，深度估计已广泛应用于汽车自动驾驶，虚拟现实，增强现实，机器人避障等任务中。从数据来源上深度估计可分为基于单目RGB图像的深度估计，基于双目RGB图像的深度估计，基于单目RGB图像和稀疏深度的深度估计，和基于稀疏深度的深度估计。由于深度神经网络的发展，深度估计技术取得了一定的进展。借助深度神经网络，良好的图像特征可被学习到。但是深度神经网络的计算需要大量资源，目前基于深度神经网络的深度估计技术因模型大，运行时占用内存多，而依赖于高性能计算平台。这阻碍了深度估计技术在资源受限的嵌入式平台上的发展。此外，现有的深度估计算法在上采样中常采用插值方法来增大深度神经网络输出特征图的分辨率，但是传统的插值方法会使图像部分质量受损，并且预测到的深度图存在需要进一步改进的误差。为了在嵌入式平台上更加准确快速地进行单张图片的深度估计，需本文档来自技高网...

【技术保护点】
1.一种适用于嵌入式平台的快速单目深度估计方法，包括如下步骤：/nS1.获取深度估计模型所需的训练数据；/nS2.将步骤S1获取的训练数据在嵌入式平台进行预处理；/nS3.将步骤S2进行预处理过的数据发送到距离嵌入式平台最近的边缘服务器；/nS4.边缘服务器采用接收到的数据训练构建的深度估计模型结构，从而得到训练好的深度估计模型；/nS5.边缘服务器将步骤S4得到的训练好的深度估计模型进行模型转换；/nS6.边缘服务器将步骤S5进行转换后的模型发送至嵌入式平台；/nS7.嵌入式平台对接收到的深度估计模型进行转换，并加载到和步骤S4一样的深度估计模型结构中，对单目图像进行快速的深度估计。/n

【技术特征摘要】
1.一种适用于嵌入式平台的快速单目深度估计方法，包括如下步骤：
S1.获取深度估计模型所需的训练数据；
S2.将步骤S1获取的训练数据在嵌入式平台进行预处理；
S3.将步骤S2进行预处理过的数据发送到距离嵌入式平台最近的边缘服务器；
S4.边缘服务器采用接收到的数据训练构建的深度估计模型结构，从而得到训练好的深度估计模型；
S5.边缘服务器将步骤S4得到的训练好的深度估计模型进行模型转换；
S6.边缘服务器将步骤S5进行转换后的模型发送至嵌入式平台；
S7.嵌入式平台对接收到的深度估计模型进行转换，并加载到和步骤S4一样的深度估计模型结构中，对单目图像进行快速的深度估计。


2.根据权利要求1所述的适用于嵌入式平台的快速单目深度估计方法，其特征在于还包括如下步骤：
S8.将步骤S7构建好的构建深度估计模型结构集成到嵌入式平台的操作系统。


3.根据权利要求2所述的适用于嵌入式平台的快速单目深度估计方法，其特征在于步骤S8所述的将步骤S7构建好的构建深度估计模型结构集成到嵌入式平台的操作系统，具体为将构建的深度估计模型结构集成到机器人操作系统ROS中；利用深度估计模型结构在机器人操作系统ROS中，构建深度估计发布器，并构建RGBD-SLAM订阅器，深度估计发布器发布的深度图数据和RGB数据同步后供ROS主节点、RGBD-SLAM订阅器，和其他需要使用深度图数据的节点使用。


4.根据权利要求1所述的适用于嵌入式平台的快速单目深度估计方法，其特征在于步骤S1所述的获取深度估计模型所需的训练数据，具体为使用深度相机采集RGB图像和深度图，或者采用互联网公开的由深度相机采集的RGB图像和深度图；然后将获取的深度图中深度值为0的像素值运用双线性插值方法填充，最后将RGB图像和填充后的深度图一起用作深度估计模型的训练数据。


5.根据权利要求1所述的适用于嵌入式平台的快速单目深度估计方法，其特征在于步骤S2所述的将步骤S1获取的训练数据在嵌入式平台进行预处理，具体为将步骤S1获取的RGB图像和深度图在嵌入式平台上进行变化；所述的变化包括在水平或垂直方向上翻转RGB图像和深度图，以及旋转RGB图像和深度图；然后保留变换前的和变换后的RGB图像和深度图图像，最后裁剪RGB图像和深度图从而得到设定尺寸的RGB图像和深度图图像。


6.根据权利要求1～5之一所述的适用于嵌入式平台的快速单目深度估计方法，其特征在于步骤S4所述的深度估计模型，具体包括编码器和解码器；编码器采用卷积神经网络，用于捕获RGB图像中的上下文，并实现自动提取特征；解码器利用深度可分离卷积和通道重排，在学习特征的同时提高分辨率；同时解码器融合相同级别的编码器的特征映射，组成U型结构，并借助于编码器产生的中间特征和解码器自身学习到的特征来提高深度图预测的准确性。


7.根据权利要求6所述的适用于嵌入式平台的快速单目深度估计方法，其特征在于步骤S4所述的深度估计模型包括的编码器和解码器为：编码器的第一个...

【专利技术属性】
技术研发人员：徐成，屠晓涵，刘四平，刘振民，李仁发，李思齐，陈李培，韦理静，徐梓桑，徐成林，
申请(专利权)人：湖南大学，
类型：发明
国别省市：湖南;43