一种深度真值获取方法、装置、系统及深度相机制造方法及图纸

本申请适用于计算机视觉技术领域，提供了一种深度真值获取方法、装置、系统及深度相机，该深度真值获取方法包括：获取相机和激光雷达分别采集的不同姿态的目标物的二维图像和深度图像；将深度图像转换为点云数据，求解点云数据与二维图像的变换关系，获得第一变换矩阵；利用第一变换矩阵将点云数据投影至相机的成像平面以获取深度真值。本申请实施例可以便捷地生成深度与相机的成像器件逐像素对齐的高精度深度图像。高精度深度图像。高精度深度图像。

【技术实现步骤摘要】
一种深度真值获取方法、装置、系统及深度相机


[0001]本申请属于计算机视觉
，尤其涉及一种深度真值获取方法、装置、系统及深度相机。

技术介绍

[0002]为了获得更为优质的三维信息和解决传统三维测量方法中难以克服的一些问题，越来越多的三维测量方法开始使用深度学习算法计算深度。如利用深度学习从单幅RGB图像或灰度图像中重构场景三维信息，用深度学习解决间接飞行时间(indirect time of flight，iToF)测量中多路径和散射等效应导致的深度错误问题。而深度学习需要大量的数据和深度的真值(ground truth)作为训练样本，训练样本数量和深度真值的精度直接决定了深度学习算法的最终表现。

技术实现思路

[0003]有鉴于此，本申请实施例提供了一种深度真值获取方法、装置、系统及深度相机，能够解决深度真值的精度不高的技术问题。
[0004]第一方面，本申请一实施例提供了一种深度真值获取方法，包括：
[0005]获取相机和激光雷达分别采集的不同姿态的目标物的二维图像和深度图像；
[0006]将深度图像转换为点云数据，求解点云数据与二维图像的变换关系，获得第一变换矩阵；
[0007]利用第一变换矩阵将点云数据投影至相机的成像平面以获取深度真值。
[0008]本申请实施例可以便捷地生成与相机中成像器件逐像素对齐的高精度深度图像。
[0009]作为第一方面的一种实现方式，所述深度真值获取方法还包括：
[0010]将所述二维图像和所述深度真值作为一组训练样本，获取不同场景下的多组训练样本，利用所述多组训练样本训练神经网络模型，获得经训练的神经网络模型。
[0011]作为第一方面的一种实现方式，所述将深度图像转换为点云数据，求解点云数据与二维图像的变换关系，获得第一变换矩阵，包括：
[0012]将深度图像转换为点云数据；
[0013]利用二维图像和点云数据中特征点对的坐标信息，求解点云数据与二维图像的变换关系，获得第一变换矩阵。
[0014]作为第一方面的一种实现方式，所述获取相机和激光雷达分别采集的不同姿态的目标物的二维图像和深度图像，包括：
[0015]获取相机与激光雷达分别采集的目标物的二维图像和深度图像；
[0016]获取不同姿态的目标物的二维图像和深度图像。
[0017]第二方面，本申请一实施例提供了一种深度真值获取装置，包括：
[0018]获取模块，用于获取相机和激光雷达分别采集的不同姿态的目标物的二维图像和深度图像；
[0019]求解模块，用于将深度图像转换为点云数据，求解点云数据与二维图像的变换关系，获得第一变换矩阵；
[0020]深度真值计算模块，用于利用第一变换矩阵将点云数据投影至相机的成像平面以获取深度真值。
[0021]作为第二方面的一种实现方式，深度真值获取装置还包括：
[0022]训练模块，用于将所述二维图像和所述深度真值作为一组训练样本，获取不同场景下的多组训练样本，利用所述多组训练样本训练神经网络模型，获得经训练的神经网络模型。
[0023]作为第二方面的一种实现方式，所述获取模块包括第一获取子模块和第二获取子模块。
[0024]第一获取子模块，用于获取相机与激光雷达分别采集的目标物的二维图像和深度图像。
[0025]第二获取子模块，用于获取不同姿态的目标物的二维图像和深度图像。
[0026]作为第二方面的一种实现方式，所述求解模块包括转换子模块和求解子模块。
[0027]转换子模块，用于将深度图像转换为点云数据。
[0028]求解子模块，用于利用二维图像和点云数据中特征点对的坐标信息，求解点云数据与二维图像的变换关系，获得第一变换矩阵。
[0029]第三方面，本申请一实施例提供了一种深度真值获取系统，包括相机和激光雷达，所述深度真值获取系统还包括如第二方面或第二方面任一实现方式所述深度真值获取装置。
[0030]作为第三方面的一种实现方式，还包括：移动装置和/或旋转装置，所述目标物设置于所述移动装置和/或旋转装置，所述深度真值获取装置或者所述处理单元控制所述移动装置和/或旋转装置带动所述目标物平移和/或旋转。
[0031]第四方面，本申请一实施例提供一种深度相机，包括采集模块和处理模块：
[0032]所述采集模块，用于采集目标区域的目标二维图像；
[0033]所述处理模块，包括经训练的训练单元，所述处理模块用于利用所述目标二维图像和所述训练单元获取所述目标区域的深度真值；
[0034]其中，所述训练单元为预先利用上述第一方面或第一方面的任一实现方式的深度真值获取方法获取的二维图像作为训练样本训练的神经网络模型。
[0035]作为第四方面的一种实现方式，所述深度相机还包括投影模块，所述投影模块用于向目标区域投射红外光束，所述采集模块可采集经所述目标区域反射回的红外光束并生成红外图像，处理模块可利用所述红外图像和所述训练单元获取所述目标区域的深度真值。
[0036]第五方面，本申请一实施例提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面或第一方向任一实现方式所述深度真值获取方法的步骤。
[0037]第六方面，本申请一实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备可实现上述第一方面或第一方面任一实现方式所述深度真值获取方法的步骤。
[0038]可以理解的是，上述第二方面至第六方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
[0039]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0040]图1是本申请一实施例提供的一种深度真值获取系统的结构示意图；
[0041]图2是本申请一实施例提供的一种处理单元的结构示意图；
[0042]图3是本申请一实施例提供的一种深度真值获取方法的实现流程示意图；
[0043]图4是本申请一实施例提供的一种深度真值获取方法中步骤S310的具体实现流程示意图；
[0044]图5是本申请一实施例提供的一种深度真值获取方法中步骤S320的具体实现流程示意图；
[0045]图6是本申请一实施例提供的一种直线拟合点云数据以确定角点的示意图；
[0046]图7是本申请一实施例提供的多个标定板的结构示意图；
[0047]图8是本申请一实施例提供的一种深度真值获取装置的示意图；
[0048]图9是本申请一实施例提供的一种深度真值获取装置的示意图；
[0049]图10是本申请一实施例提供的一种深度真值获取装置本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度真值获取方法，其特征在于，包括：获取相机和激光雷达分别采集的不同姿态的目标物的二维图像和深度图像；将深度图像转换为点云数据，求解点云数据与二维图像的变换关系，获得第一变换矩阵；利用第一变换矩阵将点云数据投影至相机的成像平面以获取深度真值。2.如权利要求1所述的深度真值获取方法，其特征在于，还包括：将所述二维图像和所述深度真值作为一组训练样本，获取不同场景下的多组训练样本，利用所述多组训练样本训练神经网络模型，获得经训练的神经网络模型。3.如权利要求1或2所述的深度真值获取方法，其特征在于，所述将深度图像转换为点云数据，求解点云数据与二维图像的变换关系，获得第一变换矩阵，包括：将深度图像转换为点云数据；利用二维图像和点云数据中特征点对的坐标信息，求解点云数据与二维图像的变换关系，获得第一变换矩阵。4.如权利要求1或2所述的深度真值获取方法，其特征在于，所述获取相机和激光雷达分别采集的不同姿态的目标物的二维图像和深度图像，包括：获取相机与激光雷达分别采集的目标物的二维图像和深度图像；获取不同姿态的目标物的二维图像和深度图像。5.一种深度真值获取装置，其特征在于，包括：获取模块，用于获取相机和激光雷达分别采集的不同姿态的目标物的二维图像和深度图像；求解模块，用于将深度图像转换为点云数据，求解点云数据与二维图像的变换关系，获得第一变换矩阵；深度真值计算模块，用于利用第一变换矩阵将点云数据...

【专利技术属性】
技术研发人员：兰富洋，杨鹏，王兆民，
申请(专利权)人：奥比中光科技集团股份有限公司，
类型：发明
国别省市：