基于视觉和主动交互的包装箱分割错误的检测与矫正方法技术

本发明专利技术属于物流技术领域，公开了一种基于视觉和主动交互的包装箱分割错误的检测与矫正方法；基于目标检测模型结果的区域提取；基于二维视觉算法的疑似错误分割检测；基于主动交互式策略的错误分割判定；错误分割的矫正及正确抓取位置计算；基于二维视觉算法，对目标检测模型预测的结果可能出现的欠分割和过分割问题进行预判，引导机器人的抓手对目标进行试抓取，同时追踪箱体的大小和位置变化，检测对比是否与先验的分割结果吻合，如若吻合则继续完成对目标的抓取，否则实施对错误分割的矫正。本发明专利技术基于视觉的交互式策略能够对分割错误的包装箱进行有效地矫正，避免包装箱摔毁的危险，极大地提高机器人对包装箱准确抓取的鲁棒性。

Detection and Correction of Packing Box Segmentation Errors Based on Vision and Active Interaction

The invention belongs to the field of logistics technology, and discloses a method for detecting and correcting packaging box segmentation errors based on vision and active interaction; region extraction based on the results of target detection model; suspected error segmentation detection based on two-dimensional vision algorithm; error segmentation judgment based on active interactive strategy; correction of error segmentation and calculation of correct grabbing position; and two-dimensional vision-based method. Awareness algorithm prejudges the problem of under-segmentation and over-segmentation that may occur in the prediction result of target detection model, guides the robot's grasping hand to try to grasp the target, tracks the size and position change of the box, detects whether the comparison is consistent with the prior segmentation result, and if it is consistent, continues to grasp the target, otherwise the error segmentation is corrected. The interactive strategy based on vision of the invention can effectively rectify the wrongly segmented packing box, avoid the danger of breaking the packing box, and greatly improve the robustness of the robot to accurately grasp the packing box.

【技术实现步骤摘要】
基于视觉和主动交互的包装箱分割错误的检测与矫正方法
本专利技术属于物流
，尤其涉及基于视觉和主动交互的包装箱分割错误的检测与矫正方法。
技术介绍
目前，业内常用的现有技术是这样的：在现代物流行业中，包装箱的拆跺分拣是一项繁重而重复的工作。不少机器人公司试图用机器人取代人完成这一部分任务。由机器人替代人来进行拆跺分拣的首要问题在于：如何对密集的包装箱进行准确的分割和识别，从而引导机器人进行精确地抓取。实际中包装箱的尺寸变化范围很大，摆放的角度和姿态不定，包装箱之间间隙很小，这些因素导致对包装箱的分割失败率很高。而现有的对包装箱最先进的分割和识别方法，是基于深度学习的目标检测模型。目标检测模型通过海量数据的训练，具有对包装箱强大的识别和分割能力。尽管目前最好的目标检测模型针对包装箱的拆跺分拣问题有着很不错的效果，但在实际中依然存在两个问题：一是箱子上纹理图案出现贯穿箱体的分割线时，容易导致网络预测的过分割现象，即将一个箱子识别成多个箱子；二是箱子之间摆放密集，箱体之间间隙过小时，会使得箱子彼此分界不明，容易导致网络预测的欠分割现象，即将多个箱子识别成一个箱子。包装箱的过分割和欠分割本文档来自技高网...

【技术保护点】
1.一种基于视觉和主动交互的包装箱分割错误的检测与矫正方法，其特征在于，所述基于视觉和主动交互的包装箱分割错误的检测与矫正方法包括以下步骤：步骤一：基于目标检测模型结果的区域提取；根据目标检测模型的预测得到对应包装箱的掩码结果，取出对应的图片像素区域；将对应的掩码区域转化成三维点云；采用随机抽样一致算法对包装箱的抓取平面进行提取，将属于平面的局内点作为最终有效点集，采用计算点集的最小面积包围矩形的算法，估算出包装箱抓取顶面的矩形边界；步骤二：基于二维视觉算法的疑似错误分割检测：根据已经提取出包装箱抓取面矩形包围框，将对应的包装箱从RGB图像中分割出来，进行疑似错误分割检测；步骤三：基于主动交互...

【技术特征摘要】
1.一种基于视觉和主动交互的包装箱分割错误的检测与矫正方法，其特征在于，所述基于视觉和主动交互的包装箱分割错误的检测与矫正方法包括以下步骤：步骤一：基于目标检测模型结果的区域提取；根据目标检测模型的预测得到对应包装箱的掩码结果，取出对应的图片像素区域；将对应的掩码区域转化成三维点云；采用随机抽样一致算法对包装箱的抓取平面进行提取，将属于平面的局内点作为最终有效点集，采用计算点集的最小面积包围矩形的算法，估算出包装箱抓取顶面的矩形边界；步骤二：基于二维视觉算法的疑似错误分割检测：根据已经提取出包装箱抓取面矩形包围框，将对应的包装箱从RGB图像中分割出来，进行疑似错误分割检测；步骤三：基于主动交互式策略的错误分割判定：采用机器人主动交互式的方式，对疑似错误的分割进行逐一认定；步骤四：错误分割的矫正及正确抓取位置计算：在机器人对疑似错误箱体进行移动之后，通过二次拍照检测，将之前的错误分割进行矫正；矫正后采用对抓取点估计的方法重新计算包装的抓取点位置以及姿态。2.如权利要求1所述的基于视觉和主动交互的包装箱分割错误的检测与矫正方法，其特征在于，所述步骤一中，将对应的掩码区域转化成三维点云，采用深度图转三维点云算法，具体为：一个空间点[x，y，z]和它在图像中的像素坐标[u，v，d]的对应关系如下：d＝z·s其中，fx，fy是指相机在x，y两个轴上的焦距，Cx，Cy指相机的光圈中心，s指深度图的缩放因子；从(x，y，z)推导到(u，v，d)；可以写成已知(u，v，d)，推导(x，y，z)的方式；从深度图得到三维点云：z＝d/sx＝(u-cx)·z/fxy＝(v-cy)·z/fy。3.如权利要求1所述的基于视觉和主动交互的包装箱分割错误的检测与矫正方法，其特征在于，所述步骤二中，错误分割检测分为欠分割检测和过分割检测。4.如权利要求1所述的基于视觉和主动交互的包装箱分割错误的检测与矫正方法，其特征在于，所述步骤二中，欠分割检测，采...

【专利技术属性】
技术研发人员：黄金，郑林涛，
申请(专利权)人：湖南视比特机器人有限公司，
类型：发明
国别省市：湖南,43