一种基于张正友标定法的深度相机和可见光相机坐标系映射方法技术

本发明专利技术公开了一种基于张正友标定法的深度相机和可见光相机坐标系映射方法。在已经得到螺栓于深度相机坐标系下的三维模型情况下，先在螺栓三维模型周边取四个点；准备标定板，用深度相机和可见光相机拍摄标定板得到标定图片深度图和可见光图；用张正友标定法对标定图片进行处理，去除误差较大的图片，选择畸变参数对标定结果进行畸变矫正，得到相机内参矩阵和相机间外参矩阵；通过相机外参矩阵将点坐标从深度相机坐标系转换到可见光相机坐标系下，利用可见光相机内参矩阵将点映射到图像像素坐标系下，最后取四个点组成四边形的最小外接矩形提取出目标掩码。本方法可以有效避免直接在可见光图像中提取目标螺栓掩码时受到背景干扰。景干扰。景干扰。

【技术实现步骤摘要】
一种基于张正友标定法的深度相机和可见光相机坐标系映射方法


[0001]本专利技术涉及计算机视觉3D点云数据处理算法领域，具体涉及一种基于张正友标定法的深度相机和可见光相机坐标系映射方法。

技术介绍

[0002]铁路高大桥墩分布在水域或者山坳等特殊环境下，现场实施人员为检测支柱基础接口上的螺栓分布、高度等信息，需要搭设攀爬工具，攀登到高大桥墩顶端进行作业，作业完成后再撤掉攀登工具。
[0003]高大桥墩支柱基础接口的检测亟需改进作业方式的主要原因：
[0004]1)作业难度大，危险系数高，作业人员在攀登高大桥墩和从高大桥墩下行过程中，容易发生危险，存在严重的安全隐患。
[0005]2)测量周期长，整个准备工作复杂且难度大，需要占用大量的人力和时间，影响项目施工进度。
[0006]3)数据不易保存分析，难以进行后续的分析、查阅。
[0007]且由于铁路工况下螺栓与支柱背景颜色高度相似，在可见光图中进行螺栓分割背景干扰影响很大，同时二维图像中很难进行尺寸测量；故一种能够有效减少背景干扰，清楚识别螺栓的方法有待开发。

技术实现思路

[0008]本专利技术提供了一种基于张正友标定法的深度相机和可见光相机坐标系映射方法，该方法可以将螺栓三维图像中的点坐标映射到可见光图像中，得到有效的螺栓掩码。
[0009]本专利技术为解决上述技术难题采用了一种基于张正友标定法的深度相机和可见光相机坐标系映射方法，该方法包括以下步骤：
[0010]1)固定深度相机和可见光相机，拍摄标定板得到标定图片；对标定图片利用张正友标定法进行标定，同时剔除重投影误差较大的标定图片；
[0011]2)对步骤1)的标定结果进行畸变矫正，导出深度相机和可见光相机的内参矩阵和相机间外参矩阵并进行转置，最终得到可见光相机坐标系到图像坐标系转换矩阵以及深度相机坐标系至可见光相机坐标系转换矩阵；
[0012]3)在深度相机坐标系下提取螺栓三维模型周围的四个点，获得四个点的坐标值；
[0013]4)将步骤3)中获得的四个点的坐标从深度相机坐标系下映射到可见光相机坐标系下，得到可见光相机坐标系下四个点的坐标；
[0014]5)将可见光相机坐标系下四个点的坐标利用可见光相机内参矩阵映射到螺栓可见光图像上，从可见光相机坐标系转换到图像坐标系，最终转换到像素坐标系，得到四个点的像素坐标；
[0015]6)根据四个点的像素坐标组成四边形的最小外接矩形并截取图片得到螺栓掩码，
完成螺栓在坐标系映射。
[0016]作为本专利技术的优选方案，所述步骤1)具体为：将深度相机和可见光相机固定在各自的云台上，并保持相对位置固定，准备黑白格边长50
‑
80mm的标定板，并用深度相机和可见光相机同时拍摄30
‑
60组不同位姿的标定图片；将深度相机和可见光相机拍摄的标定图片转换到同一尺寸下利用张正友标定法进行标定，剔除误差较大的标定图片。
[0017]作为本专利技术的优选方案，步骤2)中所述的畸变矫正为：根据步骤1)的标定结果选择畸变矫正参数进行畸变校正。
[0018]作为本专利技术的优选方案，所述步骤3)具体为：在深度相机坐标系下提取螺栓三维模型中所有点的X坐标中值，然后分别对X坐标中值加减螺栓半径值r；提取螺栓三维模型中所有点Y坐标的最大值和最小值；提取螺栓三维模型中所有点的Z坐标的平均值，从而得到螺栓周围四个点的坐标值。
[0019]作为本专利技术的优选方案，所述步骤4)具体为：将步骤3)中得到的四个点的坐标修正为齐次坐标向量，通过深度相机与可见光相机相机间外参矩阵转换,得到在可见光相机坐标系下的坐标齐次向量。
[0020]作为本专利技术的优选方案，所述步骤5)具体为：将四个坐标点的坐标齐次向量通过可见光相机内参矩阵映射，得到相机图像坐标系下的坐标齐次向量，修正Z坐标值，得到相机像素坐标系下坐标齐次向量，从坐标向量取出可见光图像中螺栓周围点像素坐标。
[0021]作为本专利技术的优选方案，所述步骤6)具体为：对四个点的像素坐标进行分析，分别取横纵坐标的最大最小值，并向外扩展像素值，得到四个点的外接矩形，截取矩形图像得到螺栓掩码，完成螺栓在坐标系映射。
[0022]与现有技术相比，本专利技术具有的有益效果为：
[0023]在深度相机中螺栓有着明显区别于背景的几何信息，利用现有的三维图像目标检测和分割算法得到的螺栓三维模型，在模型周围取点后利用本专利技术的映射算法将点映射到可见光图像上，截取螺栓掩码，然后进行可见光图像算法分析，可以有效减少背景干扰。
附图说明
[0024]图1为本专利技术方法的流程图；
[0025]图2为单个螺栓三维模型图；
[0026]图3为螺栓支柱可见光图；
[0027]图4为可见光相机标定图；
[0028]图5为深度相机标定图；
[0029]图6为MATLAB张正友标定法app标定图；
[0030]图7为X坐标取点图；
[0031]图8为三维坐标点映射到可见光图；
[0032]图9为螺栓掩码图。
具体实施方式
[0033]下面结合具体实施方式对本专利技术做进一步阐述和说明。所述实施例仅是本公开内容的示范且不圈定限制范围。本专利技术中各个实施方式的技术特征在没有相互冲突的前提
下，均可进行相应组合。
[0034]如图2所示，为螺栓三维模型，螺栓三维模型利用现有的三维图像目标检测和分割算法得到；如图3所示，为含螺栓的支柱接口RGB图，背景复杂，前后景分割难度很大。为减少背景干扰，如图1所示，本专利技术提供了一种基于张正友标定法的深度相机和可见光相机坐标系映射方法，具体步骤如下：
[0035]1)固定深度相机和可见光相机，拍摄标定板得到标定图片；对标定图片利用张正友标定法进行标定，同时剔除重投影误差较大的标定图片保证重投影误差在一个像素以内；
[0036]2)对步骤4)的标定结果进行畸变矫正，导出深度相机和可见光相机的内参矩阵和相机间外参矩阵并进行转置，最终得到可见光相机坐标系到图像坐标系转换矩阵以及深度相机坐标系至可见光相机坐标系转换矩阵；
[0037]3)在深度相机坐标系下提取螺栓三维模型周围的四个点，获得四个点的坐标值；
[0038]4)将步骤3)中获得的四个点的坐标从深度相机坐标系下映射到可见光相机坐标系下，得到可见光相机坐标系下四个点的坐标；
[0039]5)将可见光相机坐标系下四个点的坐标利用可见光相机内参矩阵映射到螺栓可见光图像上，从可见光相机坐标系转换到图像坐标系，最终转换到像素坐标系，得到四个点的像素坐标；
[0040]6)根据四个点的像素坐标组成四边形的最小外接矩形并截取图片得到螺栓掩码。
[0041]在本专利技术的一个具体实施例中；首先固定深度相机和可见光相机，准备一个格子边长50mm的黑白格标定板，用两个相机同时拍摄变换不同位姿的标定图片，如图4所示，可见光相机拍到的是可本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于张正友标定法的深度相机和可见光相机坐标系映射方法，其特征在于，包括以下步骤：1)固定深度相机和可见光相机，拍摄标定板得到标定图片；对标定图片利用张正友标定法进行标定，同时剔除重投影误差较大的标定图片；2)对步骤1)的标定结果进行畸变矫正，导出深度相机和可见光相机的内参矩阵和相机间外参矩阵并进行转置，最终得到可见光相机坐标系到图像坐标系转换矩阵以及深度相机坐标系至可见光相机坐标系转换矩阵；3)在深度相机坐标系下提取螺栓三维模型周围的四个点，获得四个点的坐标值；4)将步骤3)中获得的四个点的坐标从深度相机坐标系下映射到可见光相机坐标系下，得到可见光相机坐标系下四个点的坐标；5)将可见光相机坐标系下四个点的坐标利用可见光相机内参矩阵映射到螺栓可见光图像上，从可见光相机坐标系转换到图像坐标系，最终转换到像素坐标系，得到四个点的像素坐标；6)根据四个点的像素坐标组成四边形的最小外接矩形并截取图片得到螺栓掩码，完成螺栓在坐标系映射。2.根据权利要求1所述的一种基于张正友标定法的深度相机和可见光相机坐标系映射方法，其特征在于，所述步骤1)具体为：将深度相机和可见光相机固定在各自的云台上，并保持相对位置固定，准备黑白格边长50
‑
80mm的标定板，并用深度相机和可见光相机同时拍摄30
‑
60组不同位姿的标定图片；将深度相机和可见光相机拍摄的标定图片转换到同一尺寸下利用张正友标定法进行标定，剔除误差较大的标定图片。3.根据权利要求1所述的一种...

【专利技术属性】
技术研发人员：颜文俊，路正东，熊奎翔，陆臣斌，李东辉，
申请(专利权)人：浙江大学，
类型：发明
国别省市：