包裹定位方法、装置、电子设备和存储介质制造方法及图纸

本申请公开了一种包裹定位方法、装置、电子设备和存储介质，用于分割粘连的包裹并对包裹进行定位。本申请实施例中，基于包含包裹的投影深度图，确定投影深度图中每个像素点的深度值，并根据深度值从像素点中确定候选分割点；针对每个候选分割点，采用局部阈值分割的方法确定出分割点；然后将分割点从投影深度图中剔除，最后基于投影深度图中剩余的点确定包裹的位置。在本申请中，基于包含包裹的投影深度图中确定出分割点，排除了包裹表面纹理的干扰，然后基于分割点对包裹进行分割，可以精准的分割开粘连包裹，基于剩余点对包裹进行定位，提升了包裹三维位置信息的准确性。提升了包裹三维位置信息的准确性。提升了包裹三维位置信息的准确性。

【技术实现步骤摘要】
包裹定位方法、装置、电子设备和存储介质


[0001]本申请涉及三维处理
，尤其涉及一种包裹定位方法、装置、电子设备和存储介质。

技术介绍

[0002]随着三维(3
‑
dimension，3D)视觉技术的发展，3D视觉技术已经应用到了工业领域的多个环节当中。相比于二维(2
‑
dimension，2D)视觉，3D视觉能够获取物体准确的空间位置信息，在工业领域有着巨大的优势。
[0003]在物流包裹分拣环节，存在一种单件分离包裹分拣设备，将大量进入的包裹通过该设备分拣成前后间距一致的有序包裹，保证后续设备对单个包裹信息的获取。其中单件分离设备中的核心技术之一是通过3D相机获取每个包裹的位置信息，进而通过控制不同电机运动来实现包裹分离。但是相关技术中，在对包裹进行分离时采用边缘检测的方法，但是该方法在包裹存在粘连时无法分割包裹，进而导致对包裹的定位不准确。

技术实现思路

[0004]本申请的目的是提供一种包裹定位方法、装置、电子设备和存储介质，用于分割粘连的包裹并对包裹进行定位。
[0005]第一方面，本申请实施例提供了一种包裹定位方法，包括：
[0006]基于包含包裹的投影深度图，确定所述投影深度图中每个像素点的深度值，并根据所述深度值从像素点中确定候选分割点；
[0007]针对每个候选分割点，将所述候选分割点作为目标候选分割点，以所述目标候选分割点为起点，沿梯度下降方向以像素为单位连续获取指定数量的像素点的二维坐标；并基于获取的二维坐标确定对应的所述像素点拟合成的直线的斜率，若所述斜率大于指定阈值则确定所述斜率对应的目标候选分割点为分割点；其中所述像素点的横坐标表示与所述目标候选分割点之间的距离，纵坐标表示深度值；
[0008]将所述分割点从所述投影深度图中剔除，基于所述投影深度图中剩余的点确定所述包裹的位置。
[0009]在本申请中，基于包含包裹的投影深度图中确定出分割点，排除了包裹表面纹理的干扰，然后基于分割点对包裹进行分割，可以精准的分割开粘连包裹，基于剩余点对包裹进行定位，提升了对包裹定位的准确性。
[0010]在一些可能的实施例中，所述包含包裹的投影深度图是根据以下方法获取的：
[0011]获取包含包裹的颜色空间(RGB)图像和深度图像；
[0012]对所述RGB图像进行深度学习实例分割，得到所述掩模图像；
[0013]基于深度图像与RGB图像之间的映射关系，将所述深度图像的像素点与所述RGB图像的像素点对齐，得到所述像素点的深度值；
[0014]基于所述像素点的深度值和所述掩模图像得到点云数据；
[0015]将所述点云数据中的像素点投影至参考平面得到包含包裹的投影深度图。
[0016]本申请中，对包含包裹的RGB图像进行深度学习实例分割，可以粗略的分割开粘连包裹，即实现了初筛，为后续的确定分割点较少了计算量。
[0017]在一些可能的实施例中，所述将所述点云数据中的像素点投影至参考平面得到包含包裹的投影深度图，包括：
[0018]根据预先标定的平台平面方程，将所述点云数据中的像素点投影至参考平面得到投影图；
[0019]确定所述点云数据中的每个像素点与所述投影图之间的距离；
[0020]基于所述距离与所述投影图生成所述投影深度图。
[0021]在本申请中，采用投影深度图来确定包裹的位置，便于计算包裹的长宽高等尺寸信息，进而使得对包裹的定位更加准确。
[0022]在一些可能的实施例中，所述基于所述像素点的深度值和所述掩模图像得到点云数据，包括：
[0023]将所述像素点的深度值和所述掩模图像输入预先标定内参的深度相机；
[0024]获取所述深度相机生成的所述点云数据。
[0025]在本申请中，通过深度相机来获取包含包裹的点云数据，将低了后续的计算难度，节省了算力。
[0026]在一些可能的实施例中，所述根据所述深度值从像素点中确定候选分割点，包括：
[0027]针对所述投影深度图中的每个像素点，以所述像素点为目标像素点；
[0028]以所述目标像素点为中心，确定指定区域内的深度值最大和深度值最小的像素点；
[0029]若所述深度值最大的像素点与所述深度值最小的像素点的深度差值大于第一阈值，且所述目标像素点的深度值小于第二阈值，则将所述目标像素点作为候选分割点。
[0030]在本申请中，通过梯度来从投影深度图中确定出候选分割点，减少了后续确定分割点的计算量，进而提高了效率。
[0031]在一些可能的实施例中，所述第二阈值为所述指定区域内的深度值最大的像素点的深度值和深度值最小的像素点的深度均值。
[0032]在一些可能的实施例中，所述基于所述投影深度图中剩余的点确定所述包裹的位置，包括：
[0033]对所述剩余的点进行连通域分析，得到所述包裹的位置。
[0034]在本申请中，为了提高对包裹定位的准确性，因此，在确定包裹的分割点后，对剩余点进行连通域分析。
[0035]第二方面本申请还提供了一种包裹定位装置，所述装置包括：
[0036]候选分割点确定模块，用于基于包含包裹的投影深度图，确定所述投影深度图中每个像素点的深度值，并根据所述深度值从像素点中确定候选分割点；
[0037]分割点确定模块，用于针对每个候选分割点，将所述候选分割点作为目标候选分割点，以所述目标候选分割点为起点，沿梯度下降方向以像素为单位连续获取指定数量的像素点的二维坐标；并基于获取的二维坐标确定对应的所述像素点拟合成的直线的斜率，若所述斜率大于指定阈值则确定所述斜率对应的目标候选分割点为分割点；其中所述像素
点的横坐标表示与所述目标候选分割点之间的距离，纵坐标表示深度值；
[0038]包裹位置确定模块，用于将所述分割点从所述投影深度图中剔除，基于所述投影深度图中剩余的点确定所述包裹的位置。
[0039]在一些可能的实施例中，所述包含包裹的投影深度图是根据以下方法获取的：
[0040]获取包含包裹的RGB图像和深度图像；
[0041]对所述RGB图像进行深度学习实例分割，得到所述掩模图像；
[0042]基于深度图像与RGB图像之间的映射关系，将所述深度图像的像素点与所述RGB图像的像素点对齐，得到所述像素点的深度值；
[0043]基于所述像素点的深度值和所述掩模图像得到点云数据；
[0044]将所述点云数据中的像素点投影至参考平面得到包含包裹的投影深度图。
[0045]在一些可能的实施例中，所述候选分割点确定模块执行将所述点云数据中的像素点投影至参考平面得到包含包裹的投影深度图时，被配置为：
[0046]根据预先标定的平台平面方程，将所述点云数据中的像素点投影至参考平面得到投影图；
[0047]确定所述点云数据中的每个像素点与所述投影图之间的距离；
[0048本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种包裹定位方法，其特征在于，所述方法包括：基于包含包裹的投影深度图，确定所述投影深度图中每个像素点的深度值，并根据所述深度值从像素点中确定候选分割点；针对每个候选分割点，将所述候选分割点作为目标候选分割点，以所述目标候选分割点为起点，沿梯度下降方向以像素为单位连续获取指定数量的像素点的二维坐标；并基于获取的二维坐标确定对应的所述像素点拟合成的直线的斜率，若所述斜率大于指定阈值则确定所述斜率对应的目标候选分割点为分割点；其中所述像素点的横坐标表示与所述目标候选分割点之间的距离，纵坐标表示深度值；将所述分割点从所述投影深度图中剔除，基于所述投影深度图中剩余的点确定所述包裹的位置。2.根据权利要求1所述的方法，其特征在于，所述包含包裹的投影深度图是根据以下方法获取的：获取包含包裹的颜色空间RGB图像和深度图像；对所述RGB图像进行深度学习实例分割，得到所述掩模图像；基于深度图像与RGB图像之间的映射关系，将所述深度图像的像素点与所述RGB图像的像素点对齐，得到所述像素点的深度值；基于所述像素点的深度值和所述掩模图像得到点云数据；将所述点云数据中的像素点投影至参考平面得到包含包裹的投影深度图。3.根据权利要求2所述的方法，其特征在于，所述将所述点云数据中的像素点投影至参考平面得到包含包裹的投影深度图，包括：根据预先标定的平台平面方程，将所述点云数据中的像素点投影至参考平面得到投影图；确定所述点云数据中的每个像素点与所述投影图之间的距离；基于所述距离与所述投影图生成所述投影深度图。4.根据权利要求2所述的方法，其特征在于，所述基于所述像素点的深度值和所述掩模图像得到点云数据，包括：将所述像素点的深度值和所述掩模图像输入预先标定内参的深度相机；获取所述深度相机生成的所述点云数据。5.根据权利要求1所述的方法，其特征在于，所述根据所述深度值从像素点中确定候选分割点，包括：针对所述投影深度图中的每个像素点，以所述像素点为目标像素点；以所述目标像素点为中心，确定指定区域内的深度值最大和深度值最小的像素点；若所述深度值最大的像素点与所述深度值最小的像素点的深度差值大于第一阈值，且所述目标像素点的深度值小于第二阈值，则将所述目标像素点作为候选分割点。6.根据权利要求5所述的方法，其特征在于，所述第二阈值为所述指定区域内的深度值最大的像素点的深度值和深度值最小的像素点的深度均值。7.根据权利要求1～6任一所述的方法，其特征在于，所述基于所述投影深度图中剩余的点确定所述包裹的位置，包括：对所述剩余的点进行连通域分析，得到所述包裹的位置。
8.一种包裹定位装置，其特征在于，所述装置包括：候选分割点确定模块，用于基于包含包裹的投影深度图，确定所述投影深度图中每个像素点的深度值，并根据所述深度值从像素点中确定候选分割点；分割点确定模块，用于针对每个候选分割点，将所述候选分割点作为目标候选分割点，以所述目标候选分割点为起点，沿梯度下降方向以像素为单位连续获取...

【专利技术属性】
技术研发人员：谢世斌，周璐，刘羽，李晶，李铭，
申请(专利权)人：浙江华睿科技股份有限公司，
类型：发明
国别省市：