一种双目立体匹配数据集视差真值获取方法技术

本发明专利技术公开了一种双目立体匹配数据集视差真值获取方法。使用双目相机的左、右相机分别获取场景的左、右视图，使用结构光深度相机获取场景的深度图，使用相机联合标定的方法获得各自相机的内参和外参，计算深度相机与双目左相机之间的相对外参；通过内、外参和深度值计算深度图中每个像素点在左视图像素坐标系下的像素坐标，实现深度图像与左视图的配准；利用双目相机在双目标定中得到的内参，将深度图上的深度值换算成视差值生成视差图，获得数据集的真值。本发明专利技术为双目立体匹配任务的高精度、高稠密度视差真值获取与数据集制作提供了一种方法，制作的数据集可用于深度学习模型的迁移学习与微调，最终实现特定场景的双目三维重建。重建。重建。

【技术实现步骤摘要】
一种双目立体匹配数据集视差真值获取方法


[0001]本专利技术涉及了一种双目数据集视差参数获取方法，尤其是涉及农业工程领域中的植物双目三维重建与表型测量的一种双目立体匹配数据集构建方法。

技术介绍

[0002]随着近些年人工智能、机器人视觉技术的发展，基于深度学习的立体匹配方法在公开双目榜单上的表现远超传统算法。但深度学习模型的训练需要大型数据集作为支撑，而双目立体匹配数据集中真值(视差图)的获取是学术界的一大难题。
[0003]针对该问题，有学者使用计算机视觉仿真软件获取视差图，但在虚拟数据集上训练的模型泛化能力存在一定问题；也有学者针对室外重建、自动驾驶等场景，使用激光雷达获取的深度值作为真值，并与双目左相机进行配准，从而生成视差图，但该方法获取的视差图误差大、稠密度低；也有学者针对室内重建场景，使用投影仪与双目相机搭建结构光测量系统，利用编解码获得的深度值作为真值，但该方法的系统复杂、费时费力，不利于自动化、快速构建大规模数据集。

技术实现思路

[0004]针对上述问题，本专利技术的目的在于提供一种快速、半自动化获取双目立体匹配数据集视差真值的方法，旨在构建特定用途和场景下的大规模、高质量双目立体匹配数据集，用于有监督深度学习模型的迁移学习与微调，实现基于双目视觉的高精度深度信息感知。
[0005]本专利技术针对上述问题，使用结构光深度相机与双目相机，提出一种获取高精度、高稠密度视差真值的方法，用于快速、自动化构建大规模双目立体匹配数据集，并用于指定场景下的深度学习立体匹配模型的迁移学习与微调，实现双目重建。
[0006]为了达到上述目的，本专利技术采用的技术方案是如下，实施步骤包括相机联合标定、图像配准和视差计算与视差图生成。
[0007]方法是采用结构光深度相机与双目相机，分别采集指定场景的图像进而以双目相机中的左相机和结构光深度相机的参数和图像进行处理获得指定场景下的双目立体匹配数据集的视差真值的获取。
[0008]传统的双目图像数据的视差真值的参数难以准确获得，本专利技术的创新是在于巧妙利用结构光深度相机的高精度深度图，将其与左相机获取的图像进行配准，转换为视差图，从而实现了双目立体匹配数据集视差真值的准确获取。
[0009]步骤a、使用双目相机与结构光深度相机搭建成像平台，成像平台与数据集构建系统；调整两相机的相对位姿直至合适，在后续标定、图像配准以及数据集构建的过程中，保持两相机的相对位姿不变。
[0010]所述的双目相机采用ZED双目相机；
[0011]所述的结构光深度相机采用Mech
‑
Mind高精度结构光深度相机。
[0012]步骤b、使用棋盘格标定板与张正友标定法获得双目相机的左相机与结构光深度
相机的内参、外参作为标定结果，再计算左相机与结构光深度相机之间的相对外参，相对外参包括旋转矩阵与平移矩阵；
[0013]步骤c、使用双目相机的左相机和右相机拍摄指定场景获取指定场景的左、右视图，使用结构光深度相机拍摄指定场景获取场景的深度图；
[0014]步骤d、利用标定结果与相对外参结果，遍历深度图中的每个像素计算其在左视图中的像素坐标用于配准；即获得深度图上每个像素和左视图的对应关系，就实现了图像配准。
[0015]步骤e、利用双目相机的内参标定结果将深度图中的深度值转换计算视差值，从而生成视差图，对生成的视差图以及双目相机原始采集的左、右视图进行尺寸归一化处理，例如可以进行剪裁等后处理操作，将尺寸归一化后的左、右视图作为双目立体匹配数据集的双目视图，即输入信号；将尺寸归一化后的视差图作为双目立体匹配数据集的视差真值，即监督信号。
[0016]不断重复上述过程，即可构建大规模双目重建数据集。
[0017]所述步骤d包括如下步骤：
[0018]利用深度图中当前像素的深度值与深度相机的内参矩阵，将当前像素在深度图的像素坐标系下的坐标转换为深度相机的相机坐标系下的坐标；
[0019]然后利用步骤b中得到的相对外参结果，将当前像素在深度相机的相机坐标系下的坐标转换为双目相机中左相机的相机坐标系下的坐标；
[0020]利用当前像素的深度值与双目左相机的内参矩阵，将当前像素在双目左相机的相机坐标系下的坐标转换为在左视图的像素坐标系下的坐标。
[0021]所述步骤e中，双目相机的内参标定结果包括焦距与基线距离，按照以下公式转换计算视差值：
[0022][0023]其中，b
ZED
表示双目相机的基线距离，f
ZED
表示双目相机的焦距，d
i
表示深度图中第i个像素点的深度值所转换为的视差值。
[0024]本专利技术具有的有益效果是：
[0025]本专利技术通过所提出的相机联合标定与图像配准的方式，以半自动化的手段生成双目立体匹配数据集的视差真值。
[0026]本专利技术方法获取视差真值构建数据集，能大幅度减少双目立体匹配数据集构建过程中的人力、物力成本，能够保证在真实场景下快速构建大规模立体匹配数据集。
[0027]与使用其他方法构建的数据集相比，使用本专利技术方法构建的数据集的真实视差图具有精度高、稠密度高等优点，可以用于有监督的深度学习模型在特定任务与需求中的迁移学习与微调，实现特定场景下(如农业工程领域中的植物三维重建与表型测量或机器人领域中的机器人室内抓取操作)的高精度双目立体匹配、三维重建与机器人深度感知。
附图说明
[0028]图1为本方法的总体流程图；
[0029]图2为本专利技术的图像配准环节的示意图；
[0030]图3为搭建的成像平台示意图；
[0031]图4为以植物(包括菠菜、番茄、辣椒、南瓜植株的幼苗)为例，使用该方法构建的数据集(包括左视图、右视图、视差真值)；
[0032]图5为代表性立体匹配算法(包括传统匹配算法：BM、SGM，深度学习算法：PSMNet、GwcNet)在测试数据集上的表现。
[0033]图中：1.ZED双目相机，2.Mech
‑
Mind结构光高精度深度相机，3.相机连接件。
具体实施方式
[0034]下面结合附图和实例对本专利技术作进一步说明。
[0035]本专利技术的硬件装置包括：一台ZED双目相机，一台Mech
‑
Mind结构光深度相机及其连接件与成像平台。结构光深度相机与双目相机的分辨率、视场角等参数不相同，无法直接将深度图作为双目的真值，本专利技术计算其与双目左相机获取的图像之间的像素对应关系。
[0036]在上述成像平台的基础上，首先利用棋盘格标定板与张正友标定法分别获取双目相机的左相机与结构光深度相机的内参与绝对外参，利用上述参数求取两相机之间相对外参(包括旋转与平移矩阵)。接下来，在结构光相机深度图的像素坐标系中遍历每一个像素点，求取其在双目相机的左相机的像素坐标系下的坐标，并将像素点对应的深度值利用双目与双目相机内参转换为对应的视差值，形本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双目立体匹配数据集视差真值获取方法，其特征在于：方法是采用结构光深度相机与双目相机，分别采集指定场景的图像进而以双目相机中的左相机和结构光深度相机的参数和图像进行处理获得指定场景下的双目立体匹配数据集的视差真值的获取。2.根据权利要求1所述的一种双目立体匹配数据集视差真值获取方法，其特征在于：所述方法具体如下：步骤a、使用双目相机与结构光深度相机搭建成像平台；步骤b、使用棋盘格标定板与张正友标定法获得双目相机的左相机与结构光深度相机的内参、外参作为标定结果，再计算左相机与结构光深度相机之间的相对外参，相对外参包括旋转矩阵与平移矩阵；步骤c、使用双目相机拍摄指定场景获取指定场景的左、右视图，使用结构光深度相机拍摄指定场景获取场景的深度图；步骤d、利用标定结果与相对外参结果，遍历深度图中的每个像素计算其在左视图中的像素坐标用于配准；步骤e、利用双目相机的内参将深度图中的深度值转换计算视差值，从而生成视差图，对生成的视差图以及双目相机原始采集的左、右视图进行尺寸归一化处理，将尺寸归一化后的左、右视图作为双...

【专利技术属性】
技术研发人员：应义斌，王清玉，周鸣川，刘炜，娄明照，蒋焕煜，
申请(专利权)人：浙江大学，
类型：发明
国别省市：