流水线上密集竖排的袋装食品精确数量与异常情况的视觉实时检测方法技术

本发明专利技术公开了流水线上密集竖排的袋装食品精确数量与异常情况的视觉实时检测方法，该方法采用改进的YOLO深度神经网络对密集竖排的袋装食品进行检测，得到小袋装食品的位置、类别、数量和姿态角度；利用该识别结果与视觉深度信息相结合，实时检测出流水线上异常摆放的个别小包装的位姿，便于及时处理异常摆放的食品。为进一步精确判别目标个数，根据每个检测出的包围框的宽度信息判断个数检测的可信度，若可信度低，对误判的目标物体个数进行纠正，确保识别准确。该方法具有检测速度快、密集排列袋装食品的数量检测精确、且可以识别异常情况的优点，对于机器人按多样的数量与排列要求实时自主地完成包装任务至关重要。求实时自主地完成包装任务至关重要。求实时自主地完成包装任务至关重要。

【技术实现步骤摘要】
流水线上密集竖排的袋装食品精确数量与异常情况的视觉实时检测方法


[0001]本专利技术涉及工业流水线上视觉检测领域，具体针对传送带上紧密竖排的小型袋装食品数量及异常情况的实时判断问题，提出一种基于深度视觉的有效检测方法。

技术介绍

[0002]近年来，随着人工智能与机器人技术的迅速发展，已经有机器人应用于流水线上对移动物品的实时操作中，例如食品分拣、拾取、包装等工艺流程中。然而，大多数应用中，机器人通过目标检测和轨迹规划算法一次只能操作单个物体，或者对流水线上能够明显分离开的物品进行操作，对于密集竖排且快速移动过来的小型袋装食品的操作仍主要由人工来完成，将该种境况下的小型袋装食品按多样的数量与排列要求实时快速地放入大包装的操作环节对于机器人来说是一个典型的难题。
[0003]该难题的主要难点之一是流水线上紧密排列且快速移动地小型袋装食品的数量与异常情况的实时检测：(1)紧密竖排、小袋不规则有变形且快速移动，导致相机拍到的图像出现模糊，传统的针对单个物品的检测算法较难将该种情况下的小包装之间区分开，容易出现目标个数误判的情况，精确数量的检测较难，最终致使机器人抓取失败；(2)紧密竖排移动过来的小包装上面偶尔有异常杂乱摆放的个别小包装，需要及时检测到其位姿，便于机器人快速将其移除，不影响正常的自主包装流程。

技术实现思路

[0004]针对以上难题，本专利技术提出了一种流水线上密集竖排的袋装食品精确数量与异常情况的视觉实时检测方法。该方法采用改进的YOLO深度神经网络对密集竖排的袋装食品进行检测，得到小袋装食品的位置、类别、数量和姿态角度；利用该识别结果与视觉深度信息相结合，实时检测出流水线上异常摆放的个别小包装的位姿，便于及时处理异常摆放的食品。为进一步精确判别目标个数，根据每个检测出的包围框的宽度信息判断个数检测的可信度，若可信度低，对误判的目标物体个数进行纠正，确保识别准确。
[0005]具体步骤如下：
[0006](1)为整个系统建立坐标系。系统内坐标系包括机器人坐标系、相机坐标系、传送带坐标系。其中传送带的坐标系应尽可能与机器人坐标系平行，用Matlab实现相机标定，完成各个坐标系之间的转换。
[0007](2)流水线上密集竖排的小型袋装食品数量检测与异常情况识别。本专利技术基于RealsenseD435深度相机(分辨率1280像素*720像素)实时采集流水线上小型袋装的图片，并采用改进的YOLO深度神经网络训练识别模型，该改进的YOLO深度神经网络在数据加载部分添加了一个θ维度，将θ转为了分类问题，并在损失函数中添加了θ角度分类损失，可以检测出小型袋装的位置、类别、数量和旋转角度。由于深度相机和放置小型袋装的输送带是固定的，正常情况下，移动中小型袋装的深度信息变化较小。而异常情况下，密集排列的小型
袋装食品的上方会多余出1个或多个小型袋装食品(平躺、杂乱放置在密集竖排的小型包装袋上)，此时，检测出的目标物体的深度信息低于正常值，可利用检测出的目标物体的深度信息与深度网络模型识别结果相结合辨别出异常摆放的零食，并将异常物品的位置与旋转角度信息实时传送给机器人，使机器人可以快速地以合适的姿态抓取异常摆放的零食，将其移除。此种异常辨别方法，计算量小，实时性好；由于异常摆放的小型袋装是任意方向的，专利技术中应用到改进的YOLO神经网络来获取包围框的旋转角度信息，检测速度快，适合在在实际工业生产环境中应用。
[0008](3)误判小型袋装食品数量情况下的检测纠正。由于小型袋装食品在流水线上的运动速度快，深度相机拍到的图片是模糊的，容易将多个目标物体识别成一个，需要对误判的个数进行纠正，以免影响机器人后续操作。由于深度相机与放置小型袋装食品的平台高度是相对固定的，正常情况下，检测出目标物体的宽度相近或略微有差别。因此，可设定物体宽度的经验范围，若检测出的宽度在正常范围之内，则可信度高；若检测出的宽度远远大于正常范围，则可信度低，可能有误判发生，需要对检测个数进行纠正，专利技术中依据经验的物体宽度值对个数误判发生处进行重新计算。此步骤简便且计算量小，避免了误判目标个数导致夹爪规划错误的情况发生。
[0009]根据上述技术方案，本专利技术具有以下优点：
[0010]本专利技术提供了一种基于改进的YOLO深度神经网络的流水线上密集竖排的袋装食品精确数量与异常情况实时检测方法，该方法可以迅速检测出小型袋装食品的位置、类别、数量和旋转角度；利用深度信息与包围框旋转角度等信息相结合，可以迅速检测出流水线上异常摆放的小零食，方便机器人及时移除异常物品；最后通过纠正可信度低的物品宽度来减少因图像模糊导致的零食个数误判。该专利技术具有检测速度快、密集排列袋装食品的数量检测精确、且可以识别异常情况的优点，对于机器人按多样的数量与排列要求实时自主地完成包装任务至关重要。
附图说明
[0011]图1本专利技术的实现流程图。
[0012]图2小型袋装食品摆放异常情况处理。
[0013]图3检测误判个数的情况并纠正结果。
具体实施方式
[0014]以下结合附图和实施例对本专利技术进行详细说明。
[0015]首先需要建立机器人、相机和传送带坐标系，并完成相机标定。专利技术中采用手在眼外的相机标定方式，将标定板放入相机视野内，移动标定板，从不同角度拍摄多张照片，应用MATLAB获取相机的内外参数、畸变系数等。坐标系的转换关系如下：
[0016][0017]其中，(X
b
,Y
b
,Z
b
)为机器人坐标系，f
x
、f
y
、u0、v0代表相机的内参，代表相机的外参，从MATLAB中可以获得到这6个参数。代表传送带坐标系相对于机械臂坐标系的旋转矩阵和平移矩阵。传送带坐标系应尽可能与机械臂坐标系平行，这样可以推理出，通过测量得到。Z
c
代表着目标物体的深度信息，可以从深度相机中获取，u、v则表示目标物体的像素坐标，可以通过检测得到。完成标定后，将标定结果应用在本专利技术中，可实现机器人的准确抓取。
[0018]下文结合附图对本专利技术做进一步说明。
[0019]附图1为本专利技术的实现流程图。本专利技术中，用RealsenseD435深度相机采集小型袋装食品的图片，利用改进的YOLO深度神经网络与视觉深度信息相结合可以得到目标检测结果(x,y,w,h,depth,θ)。其中x,y是小零食位置，w,h表示检测出包围框的宽度与高度，depth表示深度信息，θ表示小零食包围框的旋转角度。由于相机和放置目标物体的平台深度距离是固定的，正常摆放的小型袋装食品的深度信息固定在一定范围，此时需要设定一个固定值，用于判断食品的摆放是否异常。若异常，则将异常摆放的零食的目标检测结果(x,y,w,h,depth,θ)传送给机器人，机器人根据检测结果，规划抓取姿态，及时移开异常摆放的零食。由于同类小型袋装食品的包装袋是一样的，检测结果中的宽度(w)变化较小，通过设定一个宽度可信度值来判断小型袋装食品的个数是否有误本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.流水线上密集竖排的袋装食品精确数量与异常情况的视觉实时检测方法，其特征在于，该方法包括如下步骤：(1)建立系统内坐标系；所述系统内坐标系包括机器人坐标系、相机坐标系、传送带坐标系；其中传送带的系统坐标系与机器人坐标系平行，用Matlab实现相机标定，完成各个坐标系之间的转换；(2)流水线上密集竖排的小型袋装食品数量检测与异常情况识别；基于深度相机实时采集流水线上小型袋装的图片，并采用改进的YOLO深度神经网络训练识别模型，该改进的YOLO深度神经网络在数据加载部分添加了一个θ维度，将θ转为分类问题，并在损失函数中添加θ角度分类损失，检测出小型袋装的位置、类别、数量和旋转角度；基于深度相机检测目标物体的深度信息并于正常值进行比较，利用检测出的目标物体的深度信息与深度网络模型识别结果相结合辨别出异常摆放的零食，并将异常物品的位置与旋转角度信息实时传送给机器人，使机器人以姿态抓取异常摆放的零食，将其移除；应用改进的YOLO神经网络来获取包围框的旋转角度信息；(3)误判小型袋装食品数量情况下的检测纠正；设定物体宽度的经验范围，若检测出的宽度在正常范围之内，则可信度高；若检测出的宽度大于正常范围，则可信度低，可能有误判发生，需要对检测个数进行纠正，依据经验的物体宽度值对个数误判发生处进行重新计算。2.根据权利要求1所述的流水线上密集竖排的袋装食品精确数量与异常情况的视觉实时检测方法，其特征在于，采用手在眼外的相机标定方式，将标定板放入相机视野内，移动标定板，从不同角度拍摄多张图片，应用MATLAB获取相机的内外参数、畸变系数；坐标系的转换关系如下：其中，(X
b
,Y
b
,Z
b
)为机器人坐标系，f
x
、f
y
、u0、v0代表相机的内参，代表相机的外参，从MATLAB中获得到这6个参数；代表传送带坐标系相对于机械臂坐标系的旋转矩阵和平移矩阵；传送带坐标系与机械臂坐标系平行，推理出，通过测量得到；Z
c
代表着目标物体的深度信息，从深度相机中获取，u、v则表示目标物体的像素坐标，通过检测得到；完成标定后，将标定的结果应用实现机器人的准确抓取。3.根据权利要求1所述的流水线上密集竖排的袋装食品精确数量与异常情况的视觉实时检测方法，其特征在于，用深度相机采集小型袋装食品的图片，利用改进的YOLO深度神经网络与视觉深度信息相结合得到目标检测结果(x,y,w,h,depth,θ)；其中x,y是小零食位置，w,h表示检测出包围框的宽度与高度，depth表示深度信息，θ表示小零食包围框的旋转角度；深度相机和放置目标物体的平台深度距离是固定的，正常摆放的小型袋装食品的深度信息固定在一定范围，设定一个固定值用于判断食品的摆放是否异常；若异常，则将异常摆放的零食的目标检测结果(x,y,w,h,depth,θ)传送给机器人，机器人根据检测结果，规划
抓取姿态，及时移开异常摆放的零食；由于同类小型袋装食品的包装袋一样，检测结果中的宽度w变化较小，通过设定一个宽...

【专利技术属性】
技术研发人员：刘春芳，房佳丽，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：