一种基于深度学习的货道堆积检测方法、系统及存储介质技术方案

本发明专利技术提出了一种基于深度学习的货道堆积检测方法、系统及存储介质，通过定时抓拍的方式采集网络摄像头图像，并将图像裁剪至适当的分辨率，将裁剪后的图像输入到卷积神经网络中提取特征，得到图像中堆积货箱的坐标、类别以及置信度，最后依据预先设定的时间间隔，通过多次抓拍的方式判断该时间段内货道是否存在货箱堆积情况。本发明专利技术基于YOLO

【技术实现步骤摘要】
一种基于深度学习的货道堆积检测方法、系统及存储介质


[0001]本专利技术涉及图像处理的
，特别涉及一种基于深度学习的货道堆积检测方法、系统及存储介质。

技术介绍

[0002]当前零售行业的发展速度越来越快，如何最大程序的保证零售业的运营效率、降低运营成本已经成为零售业成败的关键要素。在零售门店运营过程中，零售门店的货道堆积就是一种很常见的情况。由于零售门店的特殊性，需要经常的上货、补货，而该情况往往会导致货道的长时间堆积，在很大程度上影响了门店的整洁性，并且需要耗费一定的人力来维护；现有技术通过人力不定时的查看监控摄像头，可以在一定程度上避免该情况的发生，保证门店的整洁性。
[0003]然而，在当前的情况下，比较常见的做法是采用人力来解决货道堆积，但该方法需要耗费额外的人力成本，而且实时性还不一定能得到保证。

技术实现思路

[0004]基于上述问题，本专利技术提供了一种基于深度学习的货道堆积检测方法、系统及存储介质，实现了使用深度学习算法解决零售行业常见的货道堆积问题，取代人工判断货道堆积，极大提高了堆积判断的实时性，节省了人力成本。
[0005]一方面，本专利技术提供了一种基于深度学习的货道堆积检测方法，包括：
[0006]步骤101，采集视频图像，将所述视频图像截取获得第一图片，筛选第一图片获得包含货箱的第二图片；
[0007]步骤102，对所述第二图片进行图像标注获得标注图片，并生成预定格式的标注信息；
[0008]步骤103，将所述标注图片按照比例划分成训练集和验证集，基于神经网络模型进行训练，选择验证集上均值平均精确度最大的权重用于检测图片，生成检测模型；
[0009]步骤104，通过所述检测模型进行抓拍检测，针对待检测图片判断预设时间段内是否存在货道堆积。
[0010]进一步地，所述通过所述检测模型进行抓拍检测，针对待检测图片判断预设时间段内是否存在货道堆积，包括：
[0011]在每个检测周期获取每个设备抓拍的待检测图片；
[0012]通过所述检测模型对每个待检测图片进行检测，并在每个检测周期更新每个待检测图片中各货箱的ClassBox；所述ClassBox包括：检测帧数、检出帧数、丢失帧数、连续丢失帧数、检测状态；
[0013]根据每个设备的各ClassBox确定是否存在货道堆积。
[0014]进一步地，所述通过所述检测模型对每个待检测图片进行检测，包括：
[0015]将每个待检测图片划分成多个子区域，并输入所述检测模型；
[0016]通过所述检测模型对每个子区域进行特征提取得到特征图，选取YOLO层作为输出层，并基于K
‑
means聚类算法得到的锚框预测边界框的中心点坐标、宽度、高度及存在预测边界框的置信度，根据预测边界框的中心点坐标、宽度、高度得到所述预测边界框的实际坐标；
[0017]基于softmax分类器预测每个边界框的类别置信度，根据预测边界框的置信度及类别置信度生成预测边界框为货箱的最终置信度；
[0018]根据待检测图片中与每个预测边界框对应的实际坐标及最终置信度作为待检测图片的检测结果。
[0019]进一步地，所述在每个检测周期更新每个待检测图片中各货箱的ClassBox，包括：
[0020]在当前检测周期，根据目标设备的每个待检测图片的检测结果判断待检测图片中是否检测出货箱；
[0021]若是，则判断待检测图片中是否检测出与上一检测周期相同的货箱；若检测出相同的第一货箱，则对第一货箱的ClassBox中的检测帧数和检出帧数+1，将连续丢失帧数置0，将检测状态置1；若检测出不同的第二货箱，则对第二货箱创建ClassBox，并将第二货箱的ClassBox中的检测帧数和检出帧数+1，将丢失帧数及连续丢失帧数置0，将检测状态置1；
[0022]若否，则对所述目标设备下的所有ClassBox的检测帧数、丢失帧数、连续丢失帧数+1，并将检测状态置1；
[0023]遍历所有设备下的ClassBox，将检测状态为0的ClassBox的检测帧数、丢失帧数、连续丢失帧数+1，并将检测状态为1的ClassBox的检测状态置0。
[0024]进一步地，所述判断待检测图片中是否检测出与上一检测周期相同的货箱，包括：
[0025]判断当前检测周期中待检测图片中的货箱，与上一检测周期中待检测图片中的货箱的IOU是否大于第一预定阈值；
[0026]若是，则判定检测出相同的第一货箱；
[0027]若否，则判定检测出不同的第二货箱。
[0028]进一步地，根据每个设备的各ClassBox确定是否存在货道堆积，包括：
[0029]遍历所有设备下的ClassBox，若存在目标ClassBox的检测帧数大于第二预定阈值，则判断目标ClassBox的检出帧数是否大于第三预定阈值；第二预定阈值为设备抓拍频率与堆积时间的乘积；所述第三预定阈值为所述目标ClassBox的检测帧数与预定比例值的乘积；
[0030]若目标ClassBox的检出帧数大于第三预定阈值，且所述目标ClassBox的连续丢失帧数为0，则判定存在存在货道堆积。
[0031]进一步地，所述判定存在存在货道堆积之后，还包括：
[0032]生成与所述目标ClassBox对应的代办单并上报。
[0033]进一步地，所述根据每个设备的各ClassBox确定是否存在货道堆积之后，还包括：
[0034]遍历所有设备下的ClassBox，将连续丢失帧数大于第四预定阈值的ClassBox删除。
[0035]另一方面，本专利技术还提供了一种基于深度学习的货道堆积检测系统，所述系统包括采集模块201，标注模块202，训练模块203，检测模块204；
[0036]采集模块201，用于采集视频图像，将所述视频图像截取获得第一图片，筛选第一
图片获得包含货箱的第二图片；
[0037]标注模块202，用于对所述第二图片进行图像标注获得标注图片，并生成预定格式的标注信息；
[0038]训练模块203，用于将所述标注图片按照比例划分成训练集和验证集，基于神经网络模型进行训练，选择验证集上均值平均精确度最大的权重用于检测图片，生成检测模型；
[0039]检测模块204，用于通过所述检测模型进行抓拍检测，针对待检测图片判断预设时间段内是否存在货道堆积。
[0040]另一方面，本专利技术还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于深度学习的货道堆积检测方法。
[0041]本专利技术提出了一种基于深度学习的货道堆积检测方法、系统及存储介质，通过定时抓拍的方式采集网络摄像头图像，并将图像裁剪至适当的分辨率，将裁剪后的图像输入到神经网络中提取特征，得到图像中堆积货箱的坐标、类别以及置信度，最后依据预先设定的时间间隔，通过多次抓拍的方式判断该时间段本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的货道堆积检测方法，其特征在于，包括：步骤101，采集视频图像，将所述视频图像截取获得第一图片，筛选第一图片获得包含货箱的第二图片；步骤102，对所述第二图片进行图像标注获得标注图片，并生成预定格式的标注信息；步骤103，将所述标注图片按照比例划分成训练集和验证集，基于神经网络模型进行训练，选择验证集上均值平均精确度最大的权重用于检测图片，生成检测模型；步骤104，通过所述检测模型进行抓拍检测，针对待检测图片判断预设时间段内是否存在货道堆积。2.根据权利要求1所述的货道堆积检测方法，其特征在于，所述通过所述检测模型进行抓拍检测，针对待检测图片判断预设时间段内是否存在货道堆积，包括：在每个检测周期获取每个设备抓拍的待检测图片；通过所述检测模型对每个待检测图片进行检测，并在每个检测周期更新每个待检测图片中各货箱的ClassBox；所述ClassBox包括：检测帧数、检出帧数、丢失帧数、连续丢失帧数、检测状态；根据每个设备的各ClassBox确定是否存在货道堆积。3.根据权利要求2所述的货道堆积检测方法，其特征在于，所述通过所述检测模型对每个待检测图片进行检测，包括：将每个待检测图片划分成多个子区域，并输入所述检测模型；通过所述检测模型对每个子区域进行特征提取得到特征图，选取YOLO层作为输出层，并基于K
‑
means聚类算法得到的锚框预测边界框的中心点坐标、宽度、高度及存在预测边界框的置信度，根据预测边界框的中心点坐标、宽度、高度得到所述预测边界框的实际坐标；基于softmax分类器预测每个边界框的类别置信度，根据预测边界框的置信度及类别置信度生成预测边界框为货箱的最终置信度；根据待检测图片中与每个预测边界框对应的实际坐标及最终置信度作为待检测图片的检测结果。4.根据权利要求3所述的货道堆积检测方法，其特征在于，所述在每个检测周期更新每个待检测图片中各货箱的ClassBox，包括：在当前检测周期，根据目标设备的每个待检测图片的检测结果判断待检测图片中是否检测出货箱；若是，则判断待检测图片中是否检测出与上一检测周期相同的货箱；若检测出相同的第一货箱，则对第一货箱的ClassBox中的检测帧数和检出帧数+1，将连续丢失帧数置0，将检测状态置1；若检测出不同的第二货箱，则对第二货箱创建ClassBox，并将第二货箱的ClassBox中的检测帧数和检出帧数+1，将丢失帧数及连续丢失帧数置0，将检测状态置1；若否，则对所述目标设备下的所有ClassBox的检测帧数、...

【专利技术属性】
技术研发人员：孙成建，黄岗，周圣强，
申请(专利权)人：苏州万店掌软件技术有限公司，
类型：发明
国别省市：