基于目标跟踪检测的托盘遗留物检测方法技术

本发明专利技术公开了一种基于目标跟踪检测的托盘遗留物检测方法，包括：步骤A：在摄像头拍摄区域划定预设检测区域范围，裁剪预设的部分输送带区域，将检测区域送到检测算法中进行托盘区域的检测；步骤B：对视频帧中的托盘区域使用卡尔曼滤波算法和基于最大IOU的跟踪算法，对托盘区域进行跟踪；步骤C：挑选出指定的多个托盘区域图像，判断托盘区域图像中是否存在光反射区域；步骤D：对存在反射光区域的托盘区域图像，使用光反射去除算法，去除托盘区域图像中的光反射；步骤E：对去除光反射的托盘区域图像进行遗留物品的检测，确定托盘中是否存在遗留物品。

【技术实现步骤摘要】

本专利技术涉及智能安检，尤其涉及一种基于目标跟踪检测的托盘遗留物检测方法。

技术介绍

1、旅客出行乘坐高铁、动车、飞机时，需要对随身携带的行李物品进行托运和运输，涉及到托盘运输时，一旦物品数量较多或较为零碎，容易发生物品遗漏在托盘的情形，若不及时发现并告知旅客，会导致物品遗失，给旅客和工作人员带来寻找的不便和错过航班、车次的风险，此外，现有技术的行李托盘大多是通过工作人员清查物品，在人流量较大时，极易发生纰漏，现有的目标检测算法则难以处理托盘中的物品自身反光和托盘反光的问题，无法解决漏检或误检的问题，遗留物同样影响托盘的收纳和循环利用。

技术实现思路

1、本专利技术的一个目的在于提供一种基于目标跟踪检测的托盘遗留物检测方法，采用传统图像处理算法和光反射去除算法相结合，通过传统算法确定托盘中是否有明显的反光区域，结合光反射算法，来确定托盘中是否存在被遗漏的物品，从而解决因托盘材质或物品自身材质反光而导致的漏检和误检问题。

2、本专利技术的其它优势和特点通过下述的详细说明得以充分体现并可通过所附权利要本文档来自技高网...

【技术保护点】

1.一种基于目标跟踪检测的托盘遗留物检测方法，其特征在于，包括：

2.根据权利要求1所述的托盘遗留物检测方法，其特征在于，所述步骤A包括子步骤A1：通过检测算法获得托盘区域和托盘区域的四个顶点区域，通过目标检测算法获得四个顶点区域的坐标框，设任一顶点区域的坐标框的左上顶点的坐标为（x0，y0）和该顶点区域的坐标框的宽、高分别采用w、h表示，则托盘区域的顶点的位置为该坐标框的中间点，顶点即中间点的坐标为（x0+0.5*w，y0+0.5*h）。

3.根据权利要求2所述的托盘遗留物检测方法，其特征在于，所述步骤B包括子步骤B1：将卡尔曼滤波算法和最大IOU跟踪算法结合使...

【技术特征摘要】

1.一种基于目标跟踪检测的托盘遗留物检测方法，其特征在于，包括：

2.根据权利要求1所述的托盘遗留物检测方法，其特征在于，所述步骤a包括子步骤a1：通过检测算法获得托盘区域和托盘区域的四个顶点区域，通过目标检测算法获得四个顶点区域的坐标框，设任一顶点区域的坐标框的左上顶点的坐标为（x0，y0）和该顶点区域的坐标框的宽、高分别采用w、h表示，则托盘区域的顶点的位置为该坐标框的中间点，顶点即中间点的坐标为（x0+0.5*w，y0+0.5*h）。

3.根据权利要求2所述的托盘遗留物检测方法，其特征在于，所述步骤b包括子步骤b1：将卡尔曼滤波算法和最大iou跟踪算法结合使用，每个托盘区域均使用状态向量表示，作为卡尔曼滤波算法的输入，在第一帧图像中，对于检测到的托盘区域，初始化一个对应的卡尔曼滤波器，在预测阶段时，在每一帧图像中，对于每一个托盘区域，均使用卡尔曼滤波器来进行状态预测，提供关于托盘区域在下一帧图像中的预测位置，对于当前帧的每个托盘区域，计算该托盘区域与目标托盘的iou值，其中，iou值最大的托盘区域被认为是最有可能的被跟踪目标，根据最大iou值跟踪的结果，将检测到的托盘区域用于更新卡尔曼滤波器中的托盘区域状态，托盘区域状态包括但不限于：跟踪成功、未跟踪到，对于未跟踪到的托盘区域，将其视为新目标并初始化卡尔曼滤波器，对于多次未跟踪成功的托盘区域，将其标记为失踪目标并停止跟踪，然后重复上述步骤，继续对托盘区域进行迭代跟踪。

4.根据权利要求3所述的托盘遗留物检测方法，其特征在于，所述步骤c包括子步骤c1：对在输送带上运动的托盘，连续采集的视频帧，并对同一托盘进行连续跟踪，通过目标检测算法，计算托盘区域图像面积的变化，选取三个完整的托盘区域图像，分别是进入到检测区域的完整托盘区域图像、到光照正下方的托盘区域图像和将要托运离开检测区域的完整托盘区域图像，对每个托盘区域图像不停进行检测跟踪，并计算相应的托盘区域图像面积。

5.根据权利要求4所述的托盘遗留物检测方法，其特征在于，所述步骤c包括子步骤c2：对三个托盘区域图像进行光反射检测，获得托盘区域图像中的光反射区域：通过计算三个托盘区域图像的暗通道，假设任一托盘区域图像为v，先求每个像素pixel(r,g,b)三个通道中的最小值，其中r，g，b分别代表三个通道的像素值大小，最小值计算公式为minp = min(r,g,b)，通过最小值生成一张与原始图像的宽、高的大小一致的灰度图，使用最小值滤波进行平滑处理，使用最小值滤波对灰度图进行滤波，最小值滤波的步骤包括：定义滤波器的大小和形状；将滤波器的中心放置在托盘图像的每个像素值；在滤波器的领域内找到最小像素值；将最小像素值赋给当前像素值，通过以上步骤获得滤波后的结果图，在得到的灰度图中，以每一个像素为中心取一定大小的矩形窗口，取矩形窗口中灰度值的最小值代替中心像素的值，从而得到原始图像对应的暗通道图像。

6.根据权利要求5所述的托盘遗留物检测方法，其特征在于，所述步骤c包括子步骤c3：通过对暗通道图像计算连通域，通过图像分割获得光反射区域：使用opencv中的connectedcomponents函数，计算托盘图像上的连通区域，进行连通域分割，假定每个托...

【专利技术属性】
技术研发人员：赖时伍，付雪平，夏炉系，张浒，罗富章，苗应亮，
申请(专利权)人：盛视科技股份有限公司，
类型：发明
国别省市：