单目深度估计的方法、装置及电子设备制造方法及图纸

本申请实施例提供一种单目深度估计的方法、装置及电子设备，其中，用于深度估计的深度估计模型的训练过程为:将图像样本集中的图像样本输入生成器得到深度图像；将图像样本的相邻帧图像样本输入姿态估计模型，得到旋转平移矩阵；基于深度图像、旋转平移矩阵和单目相机的相机内参重建图像样本得到重建图像；将图像样本和重建图像输入判别器中进行训练，得到判别结果；将判别结果输入生成器进行训练，直至损失函数收敛，将训练好的生成器作为深度估计模型。这种训练过程只需要图像样本，以及由相机内参、旋转平移矩阵和深度图像对图像样本进行重建得到的重建图像训练模型，因此，减少了模型对训练数据的依赖和数据采集制作成本。模型对训练数据的依赖和数据采集制作成本。模型对训练数据的依赖和数据采集制作成本。

【技术实现步骤摘要】
单目深度估计的方法、装置及电子设备


[0001]本专利技术涉及深度估计
，尤其是涉及一种单目深度估计的方法、装置及电子设备。

技术介绍

[0002]距离信息是计算机视觉中场景三维重建等一些领域的研究基础，如果能够准确地从场景图像中推理出场景的三维结构，人类和计算机就能理解图像中物体之间的三维关系，从而更好地对场景理解，同时也将极大促进计算机视觉领域多种应用的发展，例如3D电影制作、机器人导航、无人驾驶等。
[0003]传统的场景深度估计的视觉算法首先是基于二维图像，以及二维图像对应的深度图像对神经网络模型训练得到深度估计模型，再利用该模型实现对二维图像的深度估计。由于在训练深度估计模型的过程中需要额外的设备或仪器处理二维图像得到深度图像，因此，增加了模型对训练数据的依赖和数据采集制作的成本。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种单目深度估计的方法、装置及电子设备，以缓解上述技术问题。
[0005]第一方面，本专利技术实施例提供了一种单目深度估计的方法，其中，该方法包括：获取由单目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种单目深度估计的方法，其特征在于，所述方法包括：获取由单目相机拍摄到的待深度估计的单目场景图像；将所述单目场景图像输入深度估计模型，得到目标深度图像；其中，所述深度估计模型通过如下方式训练：将图像样本集中的图像样本输入生成器，得到所述图像样本对应的深度图像；其中，所述生成器为多层深度神经网络；将所述图像样本的相邻帧图像样本输入姿态估计模型，得到所述图像样本相对于相邻帧图像样本的旋转平移矩阵；其中，所述姿态估计模型为多层深度神经网络；基于所述深度图像、旋转平移矩阵和所述单目相机的相机内参重建所述图像样本，得到重建图像；将所述图像样本和所述重建图像输入判别器中进行训练，得到判别结果；其中，所述判别器为多层深度神经网络；将所述判别结果输入所述生成器进行训练，直至损失函数收敛，得到训练好的生成器；将训练好的生成器作为所述深度估计模型。2.根据权利要求1所述的方法，其特征在于，基于所述深度图像、旋转平移矩阵和所述单目相机的相机内参重建所述图像样本，得到重建图像的步骤，包括：获取所述图像样本中像素点的像素坐标，以及在所述深度图像中该像素点的深度值；其中，所述像素坐标为像素点在图像坐标系下的位置坐标，所述深度值是指像素点到所述单目相机的距离值；根据旋转平移矩阵、相机内参、像素坐标和深度值计算所述图像样本中像素点在相邻帧图像样本的投影坐标；在所述相邻帧图像样本上使用双线性插值，得到相邻帧图像样本上投影坐标的像素值。3.根据权利要求2所述的方法，其特征在于，根据旋转平移矩阵、相机内参、像素坐标和深度值计算所述图像样本中像素点在相邻帧图像样本的投影坐标的步骤，包括：基于所述相机内参，所述像素坐标和所述深度值计算所述像素点的物理坐标；其中，所述物理坐标为像素点在世界坐标系下的位置坐标；根据所述旋转平移矩阵、所述相机内参和所述物理坐标计算所述像素点的投影坐标。4.根据权利要求3所述的方法，其特征在于，通过下式计算所述物理坐标：W＝K
‑1*P*D；其中，W表示所述物理坐标，K
‑1表示所述相机内参的逆矩阵，P表示所述像素坐标，D表示所述深度值。5.根据权利要求3所述的方法，其特征在于，通过下式计算所述投影坐标：T＝K*R*W；其中，T表示所述投影坐标，K表示所述相机内参，R表示所述旋转平移矩阵，W表示所述物理坐标。6.根据权利要求1所述的方法，其特征在于，所述损失函数包括：生成器损失函数和重建损失函数；
所述重建损失函数为：其...

【专利技术属性】
技术研发人员：董伟，韩志华，郭立群，杜一光，
申请(专利权)人：苏州挚途科技有限公司，
类型：发明
国别省市：