货物堆垛的堆高预测方法及装置、设备、存储介质制造方法及图纸

本发明专利技术提供了货物堆垛的堆高预测方法及装置、设备、存储介质，预测方法包括：获取放置于地面上的被测堆垛的深度图像和彩色图像；对彩色图像进行实例分割，得到地面分割掩码和堆垛分割掩码；确定深度图像中的每个像素点的三维坐标，并根据每个像素点的三维坐标构建点云数据；利用地面分割掩码和堆垛分割掩码，从深度图像确定出第三像素点以及第四像素点；通过第三像素点和第四像素点的三维坐标，确定点云数据中的地面点云数据和堆垛点云数据；根据地面点云数据和堆垛点云数据，对被测堆垛的高度进行预测。本发明专利技术利用分割掩码从点云数据中分割出地面点云数据和堆垛点云数据，能够减少数据误差，从而保证了堆放高度的测量准确性。从而保证了堆放高度的测量准确性。从而保证了堆放高度的测量准确性。

【技术实现步骤摘要】
货物堆垛的堆高预测方法及装置、设备、存储介质


[0001]本专利技术涉及计算机视觉
，具体涉及一种货物堆垛的堆高预测方法及装置、设备、存储介质。

技术介绍

[0002]目前，判断仓库货物堆垛的堆放高度是否超过限高，通常是使用深度相机进行测量的。使用深度相机测量货物堆垛的堆高，由于地面与货物堆垛的轮廓无法分割，所以提取到的被测货物的图像数据存在误差，导致被测货物的堆高检测结果不准确。
[0003]针对上述相关技术中货物堆垛的堆放高度检测不准确的问题，目前尚未提出有效的解决方案。

技术实现思路

[0004]本专利技术实施例提供了一种货物堆垛的堆高预测方法及装置、设备、存储介质，用以克服相关技术中货物堆垛的堆放高度检测不准确的问题。
[0005]为了实现上述目的，本专利技术实施例的第一方面，提供一种货物堆垛的堆高预测方法，包括：
[0006]获取放置于地面上的被测堆垛的深度图像和彩色图像；
[0007]对所述彩色图像进行实例分割，得到地面分割掩码和堆垛分割掩码；所述地面分割掩码表示所述彩色图像中的第一像素点的标签，所述堆垛分割掩码表示所述彩色图像中的第二像素点的标签，所述第一像素点表示地面的像素点，所述第二像素点表示堆垛的像素点；
[0008]确定所述深度图像中的每个像素点的三维坐标，并根据所述每个像素点的三维坐标构建点云数据；
[0009]利用所述地面分割掩码和所述堆垛分割掩码，从所述深度图像确定出与所述第一像素点对应的第三像素点，以及与所述第二像素点对应的第四像素点；所述第三像素点表示所述深度图像中的地面的像素点，所述第四像素点表示所述深度图像中的堆垛的像素点；
[0010]通过所述第三像素点和所述第四像素点的三维坐标，确定所述点云数据中的地面点云数据和堆垛点云数据；
[0011]根据所述地面点云数据和所述堆垛点云数据，对所述被测堆垛的高度进行预测。
[0012]本专利技术提供的货物堆垛的堆高预测方法，通过对彩色图像进行实例分割得到地面分割掩码和堆垛分割掩码，根据深度图像中的每个像素点的三维坐标构建点云数据，并利用分割掩码从点云数据中分割出地面点云数据和堆垛点云数据，能够减少数据误差，从而保证了堆放高度的测量准确性，也解决了深度相机点云标注困难的问题。
[0013]可选地，在第一方面的一种可能实现方式中,所述对所述彩色图像进行实例分割，得到地面分割掩码和堆垛分割掩码，包括：
[0014]对所述彩色图像进行目标检测，确定地面对象和堆垛对象；
[0015]为所述地面对象的每个像素点分配所述地面分割掩码，以及为所述堆垛对象的每个像素点分配所述堆垛分割掩码。
[0016]本专利技术提供的货物堆垛的堆高预测方法，通过为彩色图像中的每个对象的每个像素点分配对应的分割掩码，能够为图像中的每个像素点设置类别标签，能够通过简单方式展示出哪些像素属于哪个实例对象，为后续从点云数据中分割出地面和堆垛的点云数据提供技术支持。
[0017]可选地，在第一方面的一种可能实现方式中,所述确定所述深度图像中的每个像素点的三维坐标，包括：
[0018]X＝Z(u
‑
c
x
)/f
x
[0019]Y＝Z(v
‑
c
y
)/f
y
[0020]Z＝d
[0021]其中，X表示所述深度图像中的每个像素点在相机坐标系中的三维坐标的横坐标，Y表示所述深度图像中的每个像素点在相机坐标系中的三维坐标的纵坐标，Z表示所述深度图像中的每个像素点在相机坐标系中的三维坐标的竖坐标，u表示所述深度图像中的每个像素点在像素坐标系中的横坐标，v表示所述深度图像中的每个像素点在像素坐标系中的纵坐标，c
x
表示像素坐标系中的光心坐标的横坐标，c
y
表示像素坐标系中的光心坐标的纵坐标，f
x
表示深度相机在像素坐标系中的横坐标方向的焦距，f
y
表示深度相机在像素坐标系中的竖坐标方向的焦距，d表示所述深度图像中的每个像素点的深度值。
[0022]本专利技术提供的货物堆垛的堆高预测方法，通过深度图像中每个像素点在像素坐标系下的坐标、在相机坐标系下的深度值，以及相机内参，确定该像素点在相机坐标系下的三维坐标，能够得到较为准确的点云数据。
[0023]可选地，在第一方面的一种可能实现方式中,所述确定所述深度图像中的每个像素点的三维坐标之前，还包括：
[0024]利用深度图像的每个像素点在像素坐标系中的横坐标和纵坐标、每个像素点的深度值，以及深度相机的焦距和光心坐标，构建所述深度图像的第一点云数据；
[0025]将所述第一点云数据投影至所述彩色图像的像素坐标系下，以根据所述彩色图像中的每个像素点的坐标值对投影结果的对应像素点的坐标值进行调整；
[0026]对调整后的第一点云数据进行还原得到目标深度图像，以使所述目标深度图像中的每个像素点与所述彩色图像中的每个像素点一一对应；
[0027]所述确定所述深度图像中的每个像素点的三维坐标，包括：
[0028]确定所述目标深度图像中的每个像素点的三维坐标。
[0029]本专利技术提供的货物堆垛的堆高预测方法，通过将深度图像的点云数据投影至像素坐标系，并通过彩色图像的每个像素点的坐标值对投影结果的对应像素点的坐标值进行调整，能够达到将深度图像的每个像素点与彩色图像中的每个像素点一一对应的关系，从而降低点云数据的误差性，完善深度图像的三维信息，得到完整的点云数据。
[0030]可选地，在第一方面的一种可能实现方式中,所述根据所述地面点云数据和所述堆垛点云数据，对所述被测堆垛的高度进行预测，包括：
[0031]对所述地面点云数据进行平面拟合，得到地平面方程；
[0032]根据所述地平面方程，确定所述堆垛点云数据中每个点到地平面的距离，作为每个点的高度值；
[0033]从所述堆垛点云数据中筛选出高度值大于第一高度阈值的多个点，将所述多个点的高度值的平均值作为被测堆垛的堆垛高度；
[0034]可选地，在第一方面的一种可能实现方式中,所述对所述地面点云数据进行平面拟合，得到地平面方程，包括：
[0035]将所述地面点云数据中竖坐标小于第二高度阈值的点作为种子点；
[0036]计算所有种子点的协方差矩阵；
[0037]将所述协方差矩阵中的最小特征值所对应的特征向量作为地面法向量；
[0038]根据所述地面法向量，以及所有种子点的平均值，得到地平面方程。
[0039]本专利技术提供的货物堆垛的堆高预测方法，通过估计地平面方程计算堆垛高度，能够在保证准确率的基础上，有效简化了算法的复杂度。
[0040]可选地，在第一方面的一种可能实现方式中,所述对所述被测堆垛的高度进行预测之后，包括：
[0041]将所述预设高度值与被测堆垛高度进行比较，判断所述被测堆垛高度是否本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种货物堆垛的堆高预测方法，其特征在于，包括：获取放置于地面上的被测堆垛的深度图像和彩色图像；对所述彩色图像进行实例分割，得到地面分割掩码和堆垛分割掩码；所述地面分割掩码表示所述彩色图像中的第一像素点的标签，所述堆垛分割掩码表示所述彩色图像中的第二像素点的标签，所述第一像素点表示地面的像素点，所述第二像素点表示堆垛的像素点；确定所述深度图像中的每个像素点的三维坐标，并根据所述每个像素点的三维坐标构建点云数据；利用所述地面分割掩码和所述堆垛分割掩码，从所述深度图像确定出与所述第一像素点对应的第三像素点，以及与所述第二像素点对应的第四像素点；所述第三像素点表示所述深度图像中的地面的像素点，所述第四像素点表示所述深度图像中的堆垛的像素点；通过所述第三像素点和所述第四像素点的三维坐标，确定所述点云数据中的地面点云数据和堆垛点云数据；根据所述地面点云数据和所述堆垛点云数据，对所述被测堆垛的高度进行预测。2.根据权利要求1所述的货物堆垛的堆高预测方法，其特征在于，所述对所述彩色图像进行实例分割，得到地面分割掩码和堆垛分割掩码，包括：对所述彩色图像进行目标检测，确定地面对象和堆垛对象；为所述地面对象的每个像素点分配所述地面分割掩码，以及为所述堆垛对象的每个像素点分配所述堆垛分割掩码。3.根据权利要求1或2所述的货物堆垛的堆高预测方法，其特征在于，所述确定所述深度图像中的每个像素点的三维坐标，包括：X＝Z(u
‑
c
x
)/f
x
Y＝Z(v
‑
c
y
)/f
y
Z＝d其中，X表示所述深度图像中的每个像素点在相机坐标系中的三维坐标的横坐标，Y表示所述深度图像中的每个像素点在相机坐标系中的三维坐标的纵坐标，Z表示所述深度图像中的每个像素点在相机坐标系中的三维坐标的竖坐标，u表示所述深度图像中的每个像素点在像素坐标系中的横坐标，v表示所述深度图像中的每个像素点在像素坐标系中的纵坐标，c
x
表示像素坐标系中的光心坐标的横坐标，c
y
表示像素坐标系中的光心坐标的纵坐标，f
x
表示深度相机在像素坐标系中的横坐标方向的焦距，f
y
表示深度相机在像素坐标系中的竖坐标方向的焦距，d表示所述深度图像中的每个像素点的深度值。4.根据权利要求3所述的货物堆垛的堆高预测方法，其特征在于，所述确定所述深度图像中的每个像素点的三维坐标之前，还包括：利用深度图像的每个像素点在像素坐标系中的横坐标和纵坐标、每个像素点的深度值，以及深度相机的焦距和光心坐标，构建所述深度图像的第一点云数据；将所述第一点云数据投影至所述彩色图像的像素坐标系下，以根据所述彩色图像中的每个像素点的坐标值对投影结果的对应像素点的坐标值进行调整；对调整...

【专利技术属性】
技术研发人员：尹继尧，邓鹏，孙彦龙，周琳，
申请(专利权)人：城市安全发展科技研究院深圳，
类型：发明
国别省市：