本申请提供一种装卸货的检测方法及装置，该装卸货的检测方法包括：获取装卸货区域的第一三维点云数据和第二三维点云数据；分别将第一三维点云数据和第二三维点云数据转换为第一二维图像和第二二维图像，其中，第一二维图像和第二二维图像中包含深度值；基于第一二维图像和第二二维图像上的深度值确定第一二维图像相对第二二维图像的变化区域；基于变化区域上的深度变化信息检测装卸货区域的装卸货状态。本申请一方面能够利用二维图像检测的准确度，能够更准确识别变化区域，另一方面能够利用三维点云的深度数据进行识别，能够更准确的识别装卸货状态，从而提高装卸货状态检测的准确率。准确率。准确率。
【技术实现步骤摘要】
装卸货的检测方法及装置
[0001]本申请主要涉及图像处理
，具体涉及一种装卸货的检测方法及装置。
技术介绍
[0002]目前，为了确定装卸货区域的装卸货状态，主要是基于深度学习的2D检测算法以及基于深度学习的3D检测算法。基于深度学习的2D检测算法主要通过2D摄像机，例如广角镜头或者鱼眼镜头对需要检测的区域进行拍摄，在获取装卸货的过程中，通过使用深度学习算法检测被抽取包裹的区域，从而对整个包裹抽取流程进行检测。基于深度学习的3D检测算法主要是通过3D成像设备，例如激光雷达，RGBD相机等，对需要检测的区域进行建模，在包裹抽取的过程中，通过3D深度学习技术检测被抽取包裹的区域，从而实现对整个包裹抽取流程的检测。对于基于深度学习的2D检测算法，其通过2D成像设备对需要检测的区域进行拍摄。然后通过深度学习技术，比如检测算法或者分割算法进行检测。但是经过前期工程调研发现，该工业场景下包裹的材质非常相似，并且有效数据稀缺，很不利于深度网络的训练以及调参。并且由于2D图像缺少画面中的深度距离信息，因此不利于对包裹位置变动进行检测。对于基于深度学习的3D检测算法，其通过3D成像设备例如激光雷达，深度相机等，结合深度学习算法对画面中实际物体变动区域进行检测。但是同样在工程调研中发现，3D成像设备成像质量极易受到工程环境的影响，例如灰尘，震动等。因此采集的点云是具有较大噪声的。无论2D检测算法和3D检测算法都存在局限性，导致装卸货检测准确度较低。
[0003]也即，现有技术中装卸货的检测方法准确度较低。
专利技术内容
[0004]本申请提供一种装卸货的检测方法及装置，旨在解决现有技术中装卸货的检测方法准确度较低的问题。
[0005]第一方面，本申请提供一种装卸货的检测方法，所述装卸货的检测方法包括：
[0006]获取装卸货区域的第一三维点云数据和第二三维点云数据；
[0007]分别将所述第一三维点云数据和所述第二三维点云数据转换为第一二维图像和第二二维图像，其中，所述第一二维图像和所述第二二维图像中包含深度值；
[0008]基于所述第一二维图像和所述第二二维图像上的深度值确定所述第一二维图像相对所述第二二维图像的变化区域；
[0009]基于所述变化区域上的深度变化信息检测所述装卸货区域的装卸货状态。
[0010]可选地，所述获取装卸货区域的第一三维点云数据和第二三维点云数据，包括：
[0011]当检测到装卸货设备发送的进入装卸货区域进行装卸货的装卸货开始指令时，控制三维成像设备对所述装卸货区域进行点云采集，得到所述第一三维点云数据；
[0012]当检测到装卸货设备发送的离开装卸货区域的装卸货结束指令时，控制三维成像设备对所述装卸货区域进行点云采集，得到所述第二三维点云数据。
[0013]可选地，所述分别将所述第一三维点云数据和所述第二三维点云数据转换为第一
二维图像和第二二维图像，包括：
[0014]分别将第一三维点云数据和第二三维点云数据投射至预设平面，得到第一投影图像和第二投影图像，其中，预设平面为垂直于所述三维成像设备的光轴的平面；
[0015]基于所述第一投影图像和所述第二投影图像确定所述第一二维图像和所述第二二维图像。
[0016]可选地，所述预设平面上包括多个矩阵排布的像素栅格，所述基于所述第一投影图像和所述第二投影图像确定所述第一二维图像和所述第二二维图像，包括：
[0017]获取第一投影图像中落入各个像素栅格中的数据点；
[0018]将各个像素栅格中的离群的数据点剔除；
[0019]将所述像素栅格中剔除离群点后的多个数据点的深度值的平均值确定为所述像素栅格的深度值，得到所述第一二维图像。
[0020]可选地，所述确定第一二维图像相对所述第二二维图像的变化区域，包括：
[0021]获取所述第二二维图像相对所述第一二维图像在各个栅格上的深度变化绝对值；
[0022]将所述第二二维图像中深度变化绝对值大于预设深度变化值的像素栅格确定为变化栅格；
[0023]在所述第二二维图像上寻找所述变化栅格的连通域，得到至少一个连通域；
[0024]将所述至少一个连通域中的最大连通域确定为所述变化区域。
[0025]可选地，所述基于所述变化区域上的深度变化信息检测所述装卸货区域的装卸货状态，包括：
[0026]获取所述第二二维图像相对所述第一二维图像在所述变化区域上各个栅格上的深度变化值；
[0027]获取所述变化区域上各个栅格上的深度变化值的平均深度变化值；
[0028]基于所述平均深度变化值检测所述装卸货区域的装卸货状态。
[0029]可选地，所述分别将第一三维点云数据和第二三维点云数据投射至预设平面，得到第一投影图像和第二投影图像，包括：
[0030]分别对所述第一三维点云数据和所述第二三维点云数据体素滤波，得到体素滤波后的第一三维点云数据和体素滤波后的第二三维点云数据；
[0031]分别对体素滤波后的第一三维点云数据和体素滤波后的第二三维点云数据进行离群点剔除，得到剔除离群点后的第一三维点云数据和剔除离群点后的第二三维点云数据；
[0032]分别将剔除离群点后的第一三维点云数据和剔除离群点后的第二三维点云数据投射至预设平面，得到所述第一投影图像和所述第二投影图像。
[0033]第二方面，本申请提供一种装卸货的检测装置，所述装卸货的检测装置包括：
[0034]获取单元，用于获取装卸货区域的第一三维点云数据和第二三维点云数据；
[0035]转换单元，用于分别将所述第一三维点云数据和所述第二三维点云数据转换为第一二维图像和第二二维图像，其中，所述第一二维图像和所述第二二维图像中包含深度值；
[0036]确定单元，用于基于所述第一二维图像和所述第二二维图像上的深度值确定所述第一二维图像相对所述第二二维图像的变化区域；
[0037]检测单元，用于基于所述变化区域上的深度变化信息检测所述装卸货区域的装卸
货状态。
[0038]可选地，所述获取单元，用于：
[0039]当检测到装卸货设备发送的进入装卸货区域进行装卸货的装卸货开始指令时，控制三维成像设备对所述装卸货区域进行点云采集，得到所述第一三维点云数据；
[0040]当检测到装卸货设备发送的离开装卸货区域的装卸货结束指令时，控制三维成像设备对所述装卸货区域进行点云采集，得到所述第二三维点云数据。
[0041]可选地，所述转换单元，用于：
[0042]分别将第一三维点云数据和第二三维点云数据投射至预设平面，得到所述第一投影图像和所述第二投影图像，其中，预设平面为垂直于所述三维成像设备的光轴的平面；
[0043]基于所述第一投影图像和所述第二投影图像确定所述第一二维图像和所述第二二维图像。
[0044]可选地，所述预设平面上包括多个矩阵排布的像素栅格，所述转换单元，本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种装卸货的检测方法，其特征在于，包括：获取装卸货区域的第一三维点云数据和第二三维点云数据；分别将所述第一三维点云数据和所述第二三维点云数据转换为第一二维图像和第二二维图像，其中，所述第一二维图像和所述第二二维图像中包含深度值；基于所述第一二维图像和所述第二二维图像上的深度值确定所述第一二维图像相对所述第二二维图像的变化区域；基于所述变化区域上的深度变化信息检测所述装卸货区域的装卸货状态。2.根据权利要求1所述的装卸货的检测方法，其特征在于，所述获取装卸货区域的第一三维点云数据和第二三维点云数据，包括：当检测到装卸货设备发送的进入装卸货区域进行装卸货的装卸货开始指令时，控制三维成像设备对所述装卸货区域进行点云采集，得到所述第一三维点云数据；当检测到装卸货设备发送的离开装卸货区域的装卸货结束指令时，控制三维成像设备对所述装卸货区域进行点云采集，得到所述第二三维点云数据。3.根据权利要求1所述的装卸货的检测方法，其特征在于，所述分别将所述第一三维点云数据和所述第二三维点云数据转换为第一二维图像和第二二维图像，包括：分别将第一三维点云数据和第二三维点云数据投射至预设平面，得到第一投影图像和第二投影图像，其中，预设平面为垂直于三维成像设备的光轴的平面；基于所述第一投影图像和所述第二投影图像确定所述第一二维图像和所述第二二维图像。4.根据权利要求3所述的装卸货的检测方法，其特征在于，所述预设平面上包括多个矩阵排布的像素栅格，所述基于所述第一投影图像和所述第二投影图像确定所述第一二维图像和所述第二二维图像，包括：获取第一投影图像中落入各个像素栅格中的数据点；将各个像素栅格中的离群的数据点剔除；将所述像素栅格中剔除离群点后的多个数据点的深度值的平均值确定为所述像素栅格的深度值，得到所述第一二维图像。5.根据权利要求4所述的装卸货的检测方法，其特征在于，所述确定第一二维图像相对所述第二二维图像的变化区域，包括：获取所述第二二维图像相对所述第一二维图像在各个栅格上的深度变化绝对值；将所述第二二维图像中深度变化绝对值大于预设深度变化值的像素栅格确定为变化栅格；在所述第二二维图像上寻找所述变化栅格的连通域，...
【专利技术属性】
技术研发人员：姚奕轩，赵梦雨，
申请(专利权)人：顺丰科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。