一种基于深度视觉的冶金库区全局三维重建方法及装置制造方法及图纸

本发明专利技术提供了一种基于深度视觉的冶金库区全局三维重建方法及装置，涉及智能仓储物流技术领域。包括：以相机采集的原始图像及深度图像作为输入，通过匹配相邻图像间的特征点结合深度信息计算出帧间位姿转换关系，从而将不同位置采集的局部空间三维信息进行拼接的全局三维重建系统。本发明专利技术通过使用融合深度视觉的冶金库区全局三维重建系统及方法，可以使用空间三维信息拼接的方式获取冶金库区全局的空间三维信息，从而对垛堆进行更完全的测量。从而对垛堆进行更完全的测量。从而对垛堆进行更完全的测量。

【技术实现步骤摘要】
一种基于深度视觉的冶金库区全局三维重建方法及装置


[0001]本专利技术涉及智能仓储物流
，特别是指一种基于深度视觉的冶金库区全局三维重建方法及装置。

技术介绍

[0002]无人天车库区内天车对于自身的定位主要依靠格雷母线测量装置，在天车运动过程中通过PLC实现反馈回调系统来获得当前天车位置。在现有技术中，对于大视场冶金库区中的垛堆及车辆三维重建，使用固定位置检测获取的检测信息极其有限。

技术实现思路

[0003]针对现有技术中，对于大视场冶金库区中的垛堆及车辆三维重建，使用固定位置检测对所获取的检测信息极其有限的问题，本专利技术提出了一种基于深度视觉的冶金库区全局三维重建方法及装置。
[0004]为解决上述技术问题，本专利技术提供如下技术方案：
[0005]一方面，提供了一种基于深度视觉的冶金库区全局三维重建方法，包括：
[0006]S1：通过深度相机采集连续帧的原始图像，以及与原始图像对应的深度图像，构成原始图像序列以及深度图像序列；分别检测相邻两帧原始图像中的ORB特征点；
[0007本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度视觉的冶金库区全局三维重建方法，其特征在于，包括：S1：通过深度相机采集连续帧的原始图像，以及与原始图像对应的深度图像，构成原始图像序列以及深度图像序列；分别检测相邻两帧原始图像中的ORB特征点；S2：匹配相邻两帧原始图像间的ORB特征点，得到初始匹配点对；对初始匹配点对进行筛选，获取特征点对匹配信息以及特征点对像素坐标；S3：通过深度图像序列，提取与原始图像对应的深度图像的深度信息；结合匹配的特征点对像素坐标及对应的深度信息，得到局部空间三维信息；S4：计算原始图像的帧间位姿变换矩阵；S5：重复执行S1
‑
S4，直至计算出所述原始图像序列中的所有帧间位姿变换矩阵；将不同位置采集的局部空间三维信息结合位姿变换矩阵进行拼接，形成全局空间三维信息；S6：将全局空间三维信息的坐标，通过坐标系转换至库区天车坐标系下，提供给天车使用。2.根据权利要求1所述的基于深度视觉的冶金库区全局三维重建方法，其特征在于，所述步骤S1中，通过深度相机采集连续帧的原始图像，以及与原始图像对应的深度图像，构成原始图像序列以及深度图像序列；分别检测相邻两帧原始图像中的ORB特征点，包括：S11：通过设置在天车上的深度相机随天车运动，采集连续帧的原始图像及深度图像；构成原始图像序列以及深度图像序列；S12：选取当前原始图像和上一帧原始图像进行ORB特征点提取，得到ORB特征点的像素坐标；S13：以所述ORB特征点为中心，窗口大小选取为13个像素点，在窗口内选取128组比较点对，通过对比中心像素灰度值与窗口内像素点灰度值，根据公式(1)计算ORB特征点描述子的二进制编码串：其中，I
(p)
表示中心像素的灰度值，I
(q)
表示窗口内像素的灰度值；N
p
表示在设定窗口大小范围内中心像素邻域所包含像素点；若I(q)≥I(p)则所述二进制编码串记为0，若I(q)＜I(p)则所述二进制编码串记为1。3.根据权利要求2所述的基于深度视觉的冶金库区全局三维重建方法，其特征在于，所述步骤S2中，匹配相邻两帧原始图像间的ORB特征点，得到初始匹配点对；对初始匹配点对进行筛选，获取特征点对匹配信息以及特征点对像素坐标，包括：S21：匹配当前原始图像与上一帧原始图像中检测到的ORB特征点，构成匹配点对；使用汉明距离百分比衡量匹配点对的一致性；S22：通过随机一致性算法RANSAC，将S21中获取的初始匹配点对代入公式(2)中：
其中，(x',y')表示当前原始图像中的初始匹配点对位置；(x,y)表示上一帧图像的初始匹配点对位置；s表示尺度参数；确定满足最多匹配点对时的最优变换矩阵，将离群点剔除；S23：采集不同图像、不同时刻天车的位置坐标信息，计算天车的运动方向，将当前原始图像与上一帧原始图像相对位置不符合天车运动趋势的特征点对剔除；得到最终的特征点对匹配信息以及特征点对像素坐标。4.根据权利要求1所述的基于深度视觉的冶金库区全局三维重建方法，其特征在于，所述步骤S3中，通过深度图像序列，提取与原始图像对应的深度图像的深度信息；结合匹配的特征点对像素坐标及对应的深度信息，得到局部空间三维信息，包括：S31：通过深度图像序列，提取与原始图像对应的深度图像的深度值D；S32：根据步骤S2中得到的特征点对像素坐标，结合深度值D，将特征点对像素坐标以及深度值D代入公式(3)中，计算出特征点的局部空间三维坐标，得到局部空间三维信息：其中：(u,v)表示特征点像素坐标；C
x
,C
y
表示相机标定参数，分别表示图像主点的位置坐标；f
x
,f
y
为相机标定参数，f
x
表示焦距在图像像素坐标系下沿X轴方向的分量；f
y
表示焦距在图像像素坐标系下沿Y轴方向的分量；X,Y,D表示计算出的空间三维坐标。5.根据权利要求1所述的基于深度视觉的冶金库区全局三维重建方法，其特征在...

【专利技术属性】
技术研发人员：徐冬，闫贺，杨荃，刘洋，王晓晨，何海楠，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：