一种物体二维尺寸的测量方法及测量装置制造方法及图纸

本公开揭示了一种物体二维尺寸测量方法，包括：对RGB‑D相机进行标定；获取待测物体所在区域和背景区域的彩色图像及深度图像；对RGB‑D相机进行配准；从待测物体所在区域彩色图像和背景区域彩色图像中分离待测物体彩色图像；对待测物体彩色图像进行二值化和形态学处理获得待测物体掩模图像；对待测物体所在区域的深度图像进行空洞填补获得待测物体的改善深度图像；对待测物体的改善深度图像进行三维重建获得待测物体三维点云；求取待测物体三维点云的最小外接长方体，根据长方体的边长计算待测物体的长度和宽度。本公开适用于任意方向放置的物体二维尺寸的测量，具有自动化测量、快速准确的优点，有效提高了物体尺寸测量的速度和准确度。

【技术实现步骤摘要】
一种物体二维尺寸的测量方法及测量装置
本公开属于计算机视觉与图像处理
，具体涉及一种物体二维尺寸的测量方法及测量装置。
技术介绍
近年来，随着计算机视觉的发展与进步，基于计算机视觉的物体二维尺寸测量技术，逐步取代了传统的皮尺测量估计方法，具有操作简单、省时省力等优点，广泛的应用于各个领域，如货物尺寸及物流包装箱测量，农副产品的尺寸估计，工业零部件流水线测量等。基于计算机视觉的物体二维尺寸测量技术通常由图像采集设备和图像处理算法两部分构成。基于单目的图像采集由单个相机拍摄待测物体，并一般根据图像像素距离及添加实际比例尺计算物体尺寸，这种方法需要多次人工选择待测物体部分，实时性不足且自动化程度不高。基于RGB-D相机的图像采集，一般是先用RGB-D相机对待测物体进行三维重建，再利用点云处理算法提取点云外边界尺寸作为待测物体尺寸；现有的基于RGB-D相机的测量方法，如仅提取物体边缘点云进行计算，难以获得稳定的边界，且现有的方法往往忽略了RGB-D相机的本身成像缺陷，如因待测物体的吸光性、反光性或自遮挡等因素导致的图像数据不完整，尤其对于形状不规则的物体该问题更为突出，导致测量的结果存在较大的误差。
技术实现思路
针对现有技术中的不足，本公开的目的在于提供一种物体二维尺寸的测量方法，通过结合物体的彩色图像和深度图像对物体二维尺寸进行测量，能够提高测量速度和准确度。为实现以上目的，本公开提出以下技术方案：一种物体二维尺寸的测量方法，包括如下步骤：S100：对RGB-D相机进行标定；S200：利用标定后的RGB-D相机拍摄获取待测物体所在区域和待测物体背景区域的彩色图像及深度图像；S300：对RGB-D相机进行配准，获取所述待测物体所在区域和待测物体背景区域的彩色图像与深度图像的像素位置间的映射关系，获取所述待测物体所在区域和待测物体背景区域的深度图像上每个像素对应彩色图像的像素点的位置和R、G、B三个通道的值；S400：以所述待测物体所在区域和待测物体背景区域的彩色图像与深度图像的像素位置间的映射关系为约束，以所述R、G、B三个通道的值为参考，对所述待测物体所在区域和待测物体背景区域的彩色图像进行色彩阈值分割，获取待测物体的彩色图像；S500：对所述待测物体的彩色图像进行二值化处理，获得待测物体的二值化图像；S600：对所述待测物体的二值化图像进行形态学闭操作，获得待测物体的改善二值化图像，以所述改善二值化图像作为待测物体的掩模图像；S700：根据所述待测物体所在区域和待测物体背景区域的深度图像确定待测物体的深度有效值范围，并进行深度空洞填补，获得待测物体的改善深度图像；S800：以所述待测物体的掩模图像的区域像素点和深度有效值为范围约束，对所述待测物体的改善深度图像上对应像素位置的深度数据进行三维重建，获取待测物体的三维点云；S900：提取所述待测物体的三维点云的最小外接长方体，根据所述最小外接长方体的长轴和短轴计算待测物体的长度和宽度。优选的，步骤S100中，对所述RGB-D相机进行标定通过以下步骤进行：S101：使用带有标志点的标定板进行标定，从8个不同方位拍摄标定板，其中，所述标志点包括环形编码点和圆形非编码点；S102：利用所述RGB-D相机拍摄RGB标定板图像和红外标定板图像，分别在所述RGB标定板图像和红外标定板图像上识别环形编码点和圆形非编码点，获得非编码点和编码点的中心及编号；S103：以RGB-D相机的理论内参数作为内方位参数初值，实施下列子步骤：S1031：完成拍摄的标定板的RGB图像和红外图像的相对定向并重建编码点三维坐标；S1032：利用后方交会计算其余图片的外方位参数；S1033：利用前方交会计算所有非编码点的三维坐标；S1034：利用光束平差迭代优化所有内、外方位参数以及标志点的三维坐标；S1035：加入比例尺，得到标志点实际的三维坐标；S1036：利用计算得到的外方位参数，获取所述彩色相机的内参数矩阵Krgb、深度相机的内参数矩阵Kir及深度相机相对于彩色相机的外参数矩阵[R|T]，其中，R是旋转矩阵，T是平移矩阵。优选的，步骤S300中，对所述RGB-D相机进行配准通过以下步骤进行：S301：利用构成RGB-D相机的彩色相机和深度相机之间的投影关系构建彩色图像与深度图像像素位置间的映射关系，并通过深度图像获取每个像素点上的深度信息；S302：计算深度图像上每个像素对应彩色图像的像素点的位置和R、G、B三个通道的值，实现彩色图像与深度图像的对齐。优选的，步骤S400中，对所述待测物体所在区域和待测物体背景区域的彩色图像进行色彩阈值分割通过以下步骤进行：S401：根据待测物体所在区域和待测物体背景区域的R、G、B值之间存在的差值，设定待测物体所在区域和待测物体背景区域之间的色彩分割阈值；S402：根据设定的色彩分割阈值，从包含有待测物体所在区域和待测物体背景区域的彩色图像中分割出待测物体所在区域，获取待测物体的彩色图像。优选的，步骤S500中，对所述待测物体的彩色图像进行二值化处理通过以下步骤进行：S501：对所述待测物体的彩色图像进行置灰处理，获得所述待测物体的灰度图像；S502：对所述待测物体的灰度图像进行二值化，将所述待测物体的灰度图像的多个灰阶归化为两个灰阶，其中，所述待测物体所在区域的像素灰度为255，待测物体背景区域的像素灰度为0，获得待测物体的二值化图像。优选的，步骤S600中，对所述待测物体的二值化图像进行形态学闭操作通过以下步骤进行：S601：确定待测物体的二值化图像所需的膨胀核和腐蚀核；S602：对所述待测物体的二值化图像进行膨胀处理，获取内部连通的膨胀图像；S603：对所述膨胀图像进行腐蚀处理，获取边缘平滑的腐蚀图像，所述边缘平滑的腐蚀图像即为待测物体的掩模图像。优选的，步骤S700中，对所述待测物体所在区域和待测物体背景区域的深度图像进行深度空洞填补通过以下步骤进行：S701：根据所述待测物体所在区域的深度图像和待测物体背景区域的深度图像，通过下式确定待测物体的深度有效值范围：h＝H-ΔhΔh＜h0/2其中，h表示深度有效值范围，H表示相机到地面的距离，Δh表示设定高度阈值，一般该阈值设定不超过待测物体的一半高度，即h0/2。S702：遍历所述待测物体所在区域的深度图像，判断所述待测物体深度图像中存在深度空洞的像素坐标位置，并判断所述深度空洞位置的上、下、左、右4个邻近位置深度是否有效，并根据邻近位置的深度有效值对深度空洞位置进行填补，其中，判断所述深度空洞位置的上、下、左、右4个邻近位置深度是否有效通过以下方式进行：若4个邻近位置均为深度有效值，则求所述4个深度有效值的众数，若众数不存在，则求深度有效值的最大值，以所述最大值为所述深度空洞位置的深度本文档来自技高网...

【技术保护点】
1.一种物体二维尺寸的测量方法，包括如下步骤：/nS100：对RGB-D相机进行标定；/nS200：利用标定后的RGB-D相机拍摄获取待测物体所在区域和待测物体背景区域的彩色图像及深度图像；/nS300：对RGB-D相机进行配准，获取所述待测物体所在区域和待测物体背景区域的彩色图像与深度图像的像素位置间的映射关系，获取所述待测物体所在区域和待测物体背景区域的深度图像上每个像素对应彩色图像的像素点的位置和R、G、B通道的值；/nS400：以所述待测物体所在区域和待测物体背景区域的彩色图像与深度图像的像素位置间的映射关系为约束，以所述R、G、B通道的值为参考，对所述待测物体所在区域和待测物体背景区域的彩色图像进行色彩阈值分割，获取待测物体的彩色图像；/nS500：对所述待测物体的彩色图像进行二值化处理，获得待测物体的二值化图像；/nS600：对所述待测物体的二值化图像进行形态学闭操作，获得待测物体的改善二值化图像，以所述改善二值化图像作为待测物体的掩模图像；/nS700：根据所述待测物体所在区域和待测物体背景区域的深度图像确定待测物体的深度有效值范围，并进行深度空洞填补，获得待测物体的改善深度图像；/nS800：以所述待测物体的掩模图像的区域像素点和深度有效值范围为约束，对所述待测物体的改善深度图像上对应像素位置的深度数据进行三维重建，获取待测物体的三维点云；/nS900：提取所述待测物体的三维点云的最小外接长方体，根据所述最小外接长方体的长轴和短轴计算待测物体的长度和宽度。/n...

【技术特征摘要】
1.一种物体二维尺寸的测量方法，包括如下步骤：
S100：对RGB-D相机进行标定；
S200：利用标定后的RGB-D相机拍摄获取待测物体所在区域和待测物体背景区域的彩色图像及深度图像；
S300：对RGB-D相机进行配准，获取所述待测物体所在区域和待测物体背景区域的彩色图像与深度图像的像素位置间的映射关系，获取所述待测物体所在区域和待测物体背景区域的深度图像上每个像素对应彩色图像的像素点的位置和R、G、B通道的值；
S400：以所述待测物体所在区域和待测物体背景区域的彩色图像与深度图像的像素位置间的映射关系为约束，以所述R、G、B通道的值为参考，对所述待测物体所在区域和待测物体背景区域的彩色图像进行色彩阈值分割，获取待测物体的彩色图像；
S500：对所述待测物体的彩色图像进行二值化处理，获得待测物体的二值化图像；
S600：对所述待测物体的二值化图像进行形态学闭操作，获得待测物体的改善二值化图像，以所述改善二值化图像作为待测物体的掩模图像；
S700：根据所述待测物体所在区域和待测物体背景区域的深度图像确定待测物体的深度有效值范围，并进行深度空洞填补，获得待测物体的改善深度图像；
S800：以所述待测物体的掩模图像的区域像素点和深度有效值范围为约束，对所述待测物体的改善深度图像上对应像素位置的深度数据进行三维重建，获取待测物体的三维点云；
S900：提取所述待测物体的三维点云的最小外接长方体，根据所述最小外接长方体的长轴和短轴计算待测物体的长度和宽度。


2.根据权利要求1所述的方法，其中，优选的，步骤S100中，对所述RGB-D相机进行标定通过以下步骤进行：
S101：使用带有标志点的标定板进行标定，从8个不同方位拍摄标定板，其中，所述标志点包括环形编码点和圆形非编码点；
S102：利用所述RGB-D相机拍摄RGB标定板图像和红外标定板图像，分别在所述RGB标定板图像和红外标定板图像上识别环形编码点和圆形非编码点，获得非编码点和编码点的中心及编号；
S103：以RGB-D相机的理论内参数作为内方位参数初值，实施下列子步骤：
S1031：完成拍摄的标定板的RGB图像和红外图像的相对定向并重建编码点三维坐标；
S1032：利用后方交会计算其余图片的外方位参数；
S1033：利用前方交会计算所有非编码点的三维坐标；
S1034：利用光束平差迭代优化所有内、外方位参数以及标志点的三维坐标；
S1035：加入比例尺，得到标志点实际的三维坐标；
S1036：利用计算得到的外方位参数，获取所述彩色相机的内参数矩阵Krgb、深度相机的内参数矩阵Kir及深度相机相对于彩色相机的外参数矩阵[R|T]，其中，R是旋转矩阵，T是平移矩阵。


3.根据权利要求1所述的方法，其中，步骤S300中，对所述RGB-D相机进行配准通过以下步骤进行：
S301：利用构成RGB-D相机的彩色相机和深度相机之间的投影关系构建彩色图像与深度图像像素位置间的映射关系，并通过深度图像获取每个像素点上的深度信息；
S302：计算深度图像上每个像素对应彩色图像的像素点的位置和R、G、B三个通道的值，实现彩色图像与深度图像的对齐。


4.根据权利要求1所述的方法，其中，步骤S400中，对所述待测物体所在区域和待测物体背景区域的彩色图像进行色彩阈值分割通过以下步骤进行：
S401：根据待测物体所在区域和待测物体背景区域的R、G、B值之间存在的差值，设定待测物体所在区域和待测物体背景区域之间的色彩分割阈值；
S402：根据设定的色彩分割阈值，从包含有待测物体所在区域和待测物体背景区域的彩色图像中分割出待测物体所在区域，获取待测物体的彩色图像。


5.根据权利要求1所述的方法，其中，步骤S500中，对所述待测物体的彩色图像进行二值化处理通过以下步骤进行：
S501：对所述待测物体的彩色图像进行置灰处理，获得所述待测物体的灰度图像；
S502：对所述待测物体的灰度图像进行二值化，将所述待测物体的灰度图像的多个灰阶归化为两个灰阶，其中，所述待测物体所在区域的像素灰度为255，待测物体背景区域的像素灰度为0，获得待测物体的二值化图...

【专利技术属性】
技术研发人员：梁晋，叶美图，任茂栋，张铭凯，冯超，龚春园，
申请(专利权)人：西安交通大学，新拓三维技术深圳有限公司，
类型：发明
国别省市：陕西;61