一种基于深度学习的货道堆积检测方法、系统及存储介质技术方案

本发明专利技术提出了一种基于深度学习的货道堆积检测方法、系统及存储介质，通过定时抓拍的方式采集网络摄像头图像，并将图像裁剪至适当的分辨率，将裁剪后的图像输入到神经网络中提取特征，得到图像中堆积货箱的坐标、类别以及置信度，最后依据预先设定的时间间隔，通过多次抓拍的方式判断该时间段内货道是否存在货箱堆积情况。本发明专利技术基于YOLO

【技术实现步骤摘要】
一种基于深度学习的货道堆积检测方法、系统及存储介质
[0001]

[0002]本专利技术涉及图像处理的
，特别涉及一种基于深度学习的货道堆积检测方法、系统及存储介质。
[0003]
技术介绍

[0004]当前零售行业的发展速度越来越快，如何最大程序的保证零售业的运营效率、降低运营成本已经成为零售业成败的关键要素。在零售门店运营过程中，零售门店的货道堆积就是一种很常见的情况。由于零售门店的特殊性，需要经常的上货、补货，而该情况往往会导致货道的长时间堆积，在很大程度上影响了门店的整洁性，并且需要耗费一定的人力来维护；现有技术通过人力不定时的查看监控摄像头，可以在一定程度上避免该情况的发生，保证门店的整洁性。
[0005]然而，在当前的情况下，比较常见的做法是采用人力来解决货道堆积，但该方法需要耗费额外的人力成本，而且实时性还不一定能得到保证。
[0006]
技术实现思路

[0007]基于上述问题，本专利技术提供了一种基于深度学习的货道堆积检测方法、系统及存储介质，实现了使用深度学习算法解决零售行业常见的货道堆积问题，取代人工判断货道堆积，极大提高了堆积判断的实时性，节省了人力成本。
[0008]一方面，本专利技术提供了一种基于深度学习的货道堆积检测方法，所述方法包括：步骤101，采集视频图像，将所述视频图像截取获得第一图片，筛选第一图片获得包含货箱的第二图片；步骤102，对所述第二图片进行图像标注获得标注图片，并生成预定格式的标注信息；步骤103，将所述标注图片按照比例划分成训练集和验证集，基于神经网络模型进行训练，选择验证集上均值平均精确度最大的权重用于检测图片；获得所述第二图片中货道堆积物体的坐标、类别以及置信度；步骤104，进行抓拍检测，针对待检测图片判断预设时间段内是否存在货道堆积。
[0009]进一步地，所述步骤103具体为，将所述第二图片划分为至少一子区域，每个子区域预测N个矩形框，其中，N大于或等于2，基于聚类算法获得至少一锚框，并将所述锚框均匀分配给输出特征图，获得输出特征图的坐标、类别以及类别置信度，并获得所述第二图片中货道堆积物体的坐标、类别以及置信度。
[0010]进一步地，所述抓拍检测具体为，周期性获取堆积检测的任务列表，从所述任务列表中获取所有设备抓拍的图片URL，将神经网络算法模型一次性加载到计算机内存，根据图
片URL读取任务列表中待检测图片，并输入到神经网络算法模型，获得预测值。
[0011]进一步地，所述预测值包括图像标注时货箱的边界框中心坐标、图像标注时货箱的边界框宽度与高度以及预测边界框和真实边界框的面积交并比。
[0012]进一步地，所述针对待检测图片判断预设时间段内是否存在货道堆积具体为，S1，将检测出的货箱数据保存至ClassBox类，所述包括检测帧数、检出帧数、丢失帧数，连续丢失帧数以及box检测状态；S2，针对待检的每个摄像头的设备id，从检测结果中查找当前设备图像帧的检测结果；S3，遍历所有设备id下的ClassBox类，将所有box检测状态置为0的ClassBox检测帧数、丢失帧数和连续丢失帧数加1，box检测状态为1的ClassBox置为0；S4，遍历所有设备id下的ClassBox类，当判断检测帧数大于抓拍频率与堆积时间乘积时，计算检出帧数是否满足检测帧数的60%且最后一帧必检出，满足则上传检测图片并上报代办单，否则删除该ClassBox；S5，遍历所有设备id下的ClassBox类，统计连续丢失帧数大于两帧的ClassBox类，若存在则默认当前货箱已经移走，移出堆积判断并删除该ClassBox。
[0013]另一方面，本专利技术还提供了一种基于深度学习的货道堆积检测系统，所述系统包括采集模块201，标注模块202，训练模块203，检测模块204；采集模块201，用于采集视频图像，将所述视频图像截取获得第一图片，筛选第一图片获得包含货箱的第二图片；标注模块202，用于对所述第二图片进行图像标注获得标注图片，并生成预定格式的标注信息；训练模块203，用于将所述标注图片按照比例划分成训练集和验证集，基于神经网络模型进行训练，选择验证集上均值平均精确度最大的权重用于检测图片，获得所述第二图片中货道堆积物体的坐标、类别以及置信度；检测模块204，用于进行抓拍检测，针对待检测图片判断预设时间段内是否存在货道堆积。
[0014]进一步地，所述训练模块203具体用于，将所述第二图片划分为至少一子区域，每个子区域预测N个矩形框，其中，N大于或等于2，基于聚类算法获得至少一锚框，并将所述锚框均匀分配给输出特征图，获得输出特征图的坐标、类别以及类别置信度，并获得所述第二图片中货道堆积物体的坐标、类别以及置信度。
[0015]进一步地，所述抓拍检测具体为，周期性获取堆积检测的任务列表，从所述任务列表中获取所有设备抓拍的图片URL，将神经网络算法模型一次性加载到计算机内存，根据图片URL读取任务列表中待检测图片，并输入到神经网络算法模型，获得预测值。
[0016]进一步地，所述预测值包括图像标注时货箱的边界框中心坐标、图像标注时货箱的边界框宽度与高度以及预测边界框和真实边界框的面积交并比。
[0017]进一步地，所述针对待检测图片判断预设时间段内是否存在货道堆积具体为，S1，将检测出的货箱数据保存至ClassBox类，所述包括检测帧数、检出帧数、丢失帧数，连续丢失帧数以及box检测状态；S2，针对待检的每个摄像头的设备id，从检测结果中查找当前设备图像帧的检测
结果；S3，遍历所有设备id下的ClassBox类，将所有box检测状态置为0的ClassBox检测帧数、丢失帧数和连续丢失帧数加1，box检测状态为1的ClassBox置为0；S4，遍历所有设备id下的ClassBox类，当判断检测帧数大于抓拍频率与堆积时间乘积时，计算检出帧数是否满足检测帧数的60%且最后一帧必检出，满足则上传检测图片并上报代办单，否则删除该ClassBox；S5，遍历所有设备id下的ClassBox类，统计连续丢失帧数大于两帧的ClassBox类，若存在则默认当前货箱已经移走，移出堆积判断并删除该ClassBox。
[0018]此外，本专利技术还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现基于深度学习的货道堆积检测方法。
[0019]本专利技术提出了一种基于深度学习的货道堆积检测方法、系统及存储介质，通过定时抓拍的方式采集网络摄像头图像，并将图像裁剪至适当的分辨率，将裁剪后的图像输入到神经网络中提取特征，得到图像中堆积货箱的坐标、类别以及置信度，最后依据预先设定的时间间隔，通过多次抓拍的方式判断该时间段内货道是否存在货箱堆积情况。本专利技术基于YOLO
‑
V4的深度学习算法实现货道堆积检测，取代人工判断货道堆积，在很大程度上提高了效率、节省了人力成本。
[0020]附图说明
[0021]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的货道堆积检测方法，其特征在于，步骤101，采集视频图像，将所述视频图像截取获得第一图片，筛选第一图片获得包含货箱的第二图片；步骤102，对所述第二图片进行图像标注获得标注图片，并生成预定格式的标注信息；步骤103，将所述标注图片按照比例划分成训练集和验证集，基于神经网络模型进行训练，选择验证集上均值平均精确度最大的权重用于检测图片；获得所述第二图片中货道堆积物体的坐标、类别以及置信度；步骤104，进行抓拍检测，针对待检测图片判断预设时间段内是否存在货道堆积。2.根据权利要求1所述的方法，其特征在于，所述步骤103具体为，将所述第二图片划分为至少一子区域，每个子区域预测N个矩形框，其中，N大于或等于2，基于聚类算法获得至少一锚框，并将所述锚框均匀分配给输出特征图，获得输出特征图的坐标、类别以及类别置信度，并获得所述第二图片中货道堆积物体的坐标、类别以及置信度。3.根据权利要求1所述的方法，其特征在于，所述抓拍检测具体为，周期性获取堆积检测的任务列表，从所述任务列表中获取所有设备抓拍的图片URL，将神经网络算法模型一次性加载到计算机内存，根据图片URL读取任务列表中待检测图片，并输入到神经网络算法模型，获得预测值。4.根据权利要求3所述的方法，其特征在于，所述预测值包括图像标注时货箱的边界框中心坐标、图像标注时货箱的边界框宽度与高度以及预测边界框和真实边界框的面积交并比。5.根据权利要求1所述的方法，其特征在于，所述针对待检测图片判断预设时间段内是否存在货道堆积具体为，S1，将检测出的货箱数据保存至ClassBox类，所述包括检测帧数、检出帧数、丢失帧数，连续丢失帧数以及box检测状态；S2，针对待检的每个摄像头的设备id，从检测结果中查找当前设备图像帧的检测结果；S3，遍历所有设备id下的ClassBox类，将所有box检测状态置为0的ClassBox检测帧数、丢失帧数和连续丢失帧数加1，box检测状态为1的ClassBox置为0；S4，遍历所有设备id下的ClassBox类，当判断检测帧数大于抓拍频率与堆积时间乘积时，计算检出帧数是否满足检测帧数的60%且最后一帧必检出，满足则上传检测图片并上报代办单，否则删除该ClassBox；S5，遍历所有设备id下的ClassBox类，统计连续丢失帧数大于两帧的ClassBox类，若存在则默认当前货箱已经移走，移出堆积判断并删除该ClassBox。6.一种基于深度学习的货道堆积检测系统，其特征在于，所述系统包括采集模块20...

【专利技术属性】
技术研发人员：孙成建，周圣强，黄岗，
申请(专利权)人：苏州万店掌网络科技有限公司，
类型：发明
国别省市：