一种基于RGB-D相机的移动包裹体积测量方法及系统技术方案

本发明专利技术涉及机器视觉技术领域，具体为一种基于RGB

【技术实现步骤摘要】
一种基于RGB
‑
D相机的移动包裹体积测量方法及系统


[0001]本专利技术涉及机器视觉
，具体为一种基于RGB
‑
D相机的移动包裹体积测量方法。

技术介绍

[0002]对快递包裹体积进行测量，从而根据不同大小体积的快递进行分类，对于一些异于常规快递的包裹进行单独人工分拣，体积形状相似的快递一起分拣，则可显著提高分拣效率。
[0003]机器视觉技术在快递包裹尺寸测量的应用上，已有了很多计算方法，但它们往往是针对固定的快递包裹，或者需要多个相机从不同角度对快递包裹进行拍摄，这些在实际应用中往往增加了时间成本和人工操作成本。
[0004]基于消费级的RGB
‑
D相机获取的深度图通常具有噪声且稀疏，快递表面的凹陷与不规则会导致其深度图目标检测物表面的深度不连续，影响测量精度。

技术实现思路

[0005]本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。
[0006]鉴于上述存在的问题，提出了本专利技术。
[0007]因此，本专利技术解决的技术问题是：减少现有快递包裹尺寸测量的所需的人工操作成本和时间成本，解决已有消费级RGB
‑
D相机对表面凹陷与不规则的快递测量会导致测量精度低的问题。
[0008]为解决上述技术问题，本专利技术提供如下技术方案：
[0009]一种基于RGB
‑
D相机的移动包裹体积测量方法，其特征在于：包括，在传送带正上方放置一个RGB
‑
D摄像机并垂直向下监测传送带；在传送带表面放置快递包裹，当快递包裹进入相机感兴趣区域(ROI)，使用RGB
‑
D摄像机捕捉传送带表面的快递包裹RGB
‑
D图像，并将图像发送到计算机系统帧缓冲区；基于自适应滤波的深度图像增强方法对计算机系统帧缓冲区的深度图像进行深度图像增强处理；当快递包裹通过感兴趣区域后，利用构建的体积测量模型以10
‑
20fps的速度从系统帧缓冲区检索处理后的深度图像进行计算；
[0010]计算结束后，将结果发送到目标系统，获取快递包裹的尺寸值集合，取其平均值为快递包裹尺寸信息并输出。
[0011]作为本专利技术所述一种基于RGB
‑
D相机的移动包裹体积测量方法的一种优选方案，其中：所述监测传送带包括，定义RGB
‑
D相机检测的深度帧t
‑
1时刻中的点p
t
‑1(u，v)∈ROI和下一深度帧t时刻中相同点p
t
(u，v)∈ROI之间的距离小于θ时，为稳定状态；当快递包裹穿过ROI时，点的位移距离将超过θ，为激发状态，
[0012]定义S
t
(u，v)表示t时刻下点的状态：
[0013][0014]其中，Dis(p
t
‑1，p
t
)表示将二维的点p
t
‑1(u1，v1)和p
t
(u2，v2)转化为三维的点p
′
t
‑1(X
w1
，Y
w1
，Z
w1
)和p
′
t
(X
w2
，Y
w2
，Z
w2
)，并计算点p
′
t
‑1，p
′
t
的欧几里得距离；
[0015]定义N
激发
表示ROI中激发态点的数量：
[0016][0017]定义E
t
表示t时刻下激发态点的集合：
[0018]E
t
＝{p
t
(u，v)：s
t
(u，v)＝1，p
t
(u，v)∈ROI
t
}
[0019]定义S
t
表示t时刻下稳定态点的集合：
[0020]S
t
＝{p
t
(u，v)：s
t
(u，v)＝0，p
t
(u，v)∈ROI
t
}。
[0021]作为本专利技术所述一种基于RGB
‑
D相机的移动包裹体积测量方法的一种优选方案，其中：所述快递包裹RGB
‑
D图像包括，RGB
‑
D相机需要投射两个互相垂直的感兴趣区域ROI
row
和ROI
col
，以水平和垂直方向上的点连成线的形式存在，且可执行尺寸测量，分别用来测量快递宽度和高度，长度和高度，ROI
row
和ROI
col
范围计算公式如下：
[0022][0023][0024]其中，f用来表示从缓冲器中检索深度帧，N
col
和N
row
表示垂直与水平两方向上检测区域的像素点数量，p(u，v)表示二维像素点。
[0025]作为本专利技术所述一种基于RGB
‑
D相机的移动包裹体积测量方法的一种优选方案，其中：所述深度图像增强处理包括，
[0026]使用Sobel算子滤波器计算深度图像的梯度图像；
[0027]利用梯度图像计算像素点的局部方差，在以像素为中心的周围3x3的邻域内计算深度值的方差；
[0028]对于每个像素点，计算一个权重系数，若系数与像素点的局部方差成反比，局部方差越大，权重系数越小，利用下列公式进行计算：
[0029][0030]其中，W(u，v)为像素点(u，v)的权重系数，alpha为调节参数，var(u，v)为以像素点(u，v)为中心的局部方差；
[0031]对于每个像素点，计算一个加权平均值，以像素点为中心的一定范围内的深度值与对应的权重系数的乘积之和除以权重系数的和，利用下列公式计算：
[0032][0033]其中，f(u，v)为像素点(u，v)的去噪后的深度值，N(u，v)为以像素点(u，v)为中心的一定范围内的像素点集合，L(i，j)为像素点(i，j)的深度值，W(i，j)为像素点(i，j)的权重系数；
[0034]依次对像素中的每个像素点进行权重系数计算和加权平均值计算，直到所有像素点的深度值都被更新。
[0035]作为本专利技术所述一种基于RGB
‑
D相机的移动包裹体积测量方法的一种优选方案，其中：所述体积测量模型包括，状态控制模块和感兴趣区域测量模块，在状态控制模块中定义e来表示激发点数量：
[0036]e＝N
激发
(ROI
eol
)
[0037]定义一个整数变量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于RGB
‑
D相机的移动包裹体积测量方法，其特征在于：包括，在传送带正上方放置一个RGB
‑
D摄像机并垂直向下监测传送带；在传送带表面放置快递包裹，当快递包裹进入相机感兴趣区域(ROI)，使用RGB
‑
D摄像机捕捉传送带表面的快递包裹RGB
‑
D图像，并将图像发送到计算机系统帧缓冲区；基于自适应滤波的深度图像增强方法对计算机系统帧缓冲区的深度图像进行深度图像增强处理；当快递包裹通过感兴趣区域后，利用构建的体积测量模型以10
‑
20fps的速度从系统帧缓冲区检索处理后的深度图像进行计算；计算结束后，将结果发送到目标系统，获取快递包裹的尺寸值集合，取其平均值为快递包裹尺寸信息并输出。2.如权利要求1所述的一种基于RGB
‑
D相机的移动包裹体积测量方法，其特征在于：所述监测传送带包括，定义RGB
‑
D相机检测的深度帧t
‑
1时刻中的点p
t
‑1(u,v)∈ROI和下一深度帧t时刻中相同点p
t
(u,v)∈ROI之间的距离小于θ时，为稳定状态；当快递包裹穿过ROI时，点的位移距离将超过θ，为激发状态，定义S
t
(u,v)表示t时刻下点的状态：其中，Dis(p
t
‑1,p
t
)表示将二维的点p
t
‑1(u1,v1)和p
t
(u2,v2)转化为三维的点p'
t
‑1(X
w1
,Y
w1
,Z
w1
)和p'
t
(X
w2
,Y
w2
,Z
w2
)，并计算点p'
t
‑1,p'
t
的欧几里得距离；定义N
激发
表示ROI中激发态点的数量：定义E
t
表示t时刻下激发态点的集合：E
t
＝{p
t
(u,v):s
t
(u,v)＝1,p
t
(u,v)∈ROI
t
}定义S
t
表示t时刻下稳定态点的集合：S
t
＝{p
t
(u,v):s
t
(u,v)＝0,p
t
(u,v)∈ROI
t
}。3.如权利要求2所述的一种基于RGB
‑
D相机的移动包裹体积测量方法，其特征在于：所述快递包裹RGB
‑
D图像包括，RGB
‑
D相机需要投射两个互相垂直的感兴趣区域ROI
row
和ROI
col
，以水平和垂直方向上的点连成线的形式存在，且可执行尺寸测量，分别用来测量快递宽度和高度，长度和高度，ROI
row
和ROI
col
范围计算公式如下：范围计算公式如下：其中，f用来表示从缓冲器中检索深度帧，N
col
和N
row
表示垂直与水平两方向上检测区域的像素点数量，p(u,v)表示二维像素点。
4.如权利要求3所述的一种基于RGB
‑
D相机的移动包裹体积测量方法，其特征在于：所述深度图像增强处理包括，使用Sobel算子滤波器计算深度图像的梯度图像；利用梯度图像计算像素点的局部方差，在以像素为中心的周围3x3的邻域内计算深度值的方差；对于每个像素点，计算一个权重系数，若系数与像素点的局部方差成反比，局部方差越大，权重系数越小，利用下列公式进行计算：其中，W(u,v)为像素点(u,v)的权重系数，alpha为调节参数，var(u,v)为以像素点(u,v)为中心的局部方差；对于每个像素点，计算一个加权平均值，以像素点为中心的一定范围内的深度值与对应的权重系数的乘积之和除以权重系数的和，利用下列公式计算：其中，f(u,v)为像素点(u,v)的去噪后的深度值，N(u,v)为以像素点(u,v)为中心的一定范围内的像素点集合，L(i,j)为像素点(i,j)的深度值，W(i,j)为像素点(i,j)的权重系数；依次对像素中的每...

【专利技术属性】
技术研发人员：李豪，陈云鹏，洪敏，孙知信，孙哲，赵学健，胡冰，徐玉华，汪胡青，宫婧，
申请(专利权)人：安徽九鲤智能设备有限公司，
类型：发明
国别省市：