一种基于深度学习的传送带上物料检测系统技术方案

一种基于深度学习的传送带上物料检测系统，包括视频管理模块、深度学习分类模块和数据分析模块；视频管理模块包括数据获取模块、数据存储模块和API视频接口模块；深度学习分类模块与视频管理模块连接，深度学习分类模块包括数据标注模块、模型训练模块和模型存储模块；数据分析模块与深度学习分类模块连接，数据分析模块包括数据滤波模块、结果分析模块和结果存储模块。本发明专利技术的检测系统在模型训练完毕后即可自动对视频进行检测分析，节约人力投入，只需要监视人员就可通过屏幕输出信息对整个工厂传送带运行状态进行判断；使用标注过的数据训练深度学习目标分类模型，提高了检测结果的正确率。

A material detection system for conveyor belts based on deep learning

A material detection system on conveyor belt based on in-depth learning includes video management module, in-depth learning classification module and data analysis module; video management module includes data acquisition module, data storage module and API video interface module; in-depth learning classification module is connected with video management module, in-depth learning classification module The module includes data annotation module, model training module and model storage module. Data analysis module is connected with deep learning classification module. Data analysis module includes data filtering module, result analysis module and result storage module. The detection system of the present invention can automatically detect and analyze video after model training, save manpower investment, and can judge the running state of the whole factory conveyor belt by output information on the screen only by the monitors; the labeled data is used to train in-depth learning target classification model to improve the detection result. The accuracy rate.

【技术实现步骤摘要】
一种基于深度学习的传送带上物料检测系统
本专利技术涉及一种工厂物料检测系统，尤其涉及一种基于深度学习的传送带上物料检测系统。
技术介绍
随着时代的发展，工业对自动化要求越来越高。物料生产工厂将处理后的物料通过传送带运输，需要专门的监管人员判断传送带是否运动，传送带上是否存在物料、存在物料的类型以及物料的多少。这个过程需要消耗额外的人力成本，且人具有疲劳度和一定的主观因素，对于物料的检测结果标准也不会一成不变。传统对工业传送带运输物料的检测一般是通过压力传感器，压力传感器直接或间接与物料接触，寿命较低。针对这种现象，需要利用现有技术实现机器代替人来完成对传送带物料的检测。
技术实现思路
本专利技术的目的是提供一种基于深度学习的传送带上物料检测系统，以解决上述传统工业传送带运输物料检测存在的问题。因此，本专利技术采用以下技术方案。一种基于深度学习的传送带上物料检测系统，所述系统包括视频管理模块、深度学习分类模块和数据分析模块；所述视频管理模块包括数据获取模块、数据存储模块和API视频接口模块；所述数据获取模块能够实时获取所布置工位对应摄像头数据，并将数据传输至本机，所述数据存储模块存储所述数据获取模块获取的摄像头数据，所述API视频接口模块开放视频接口以供其他模块调用数据；所述深度学习分类模块与所述视频管理模块连接，所述深度学习分类模块包括数据标注模块、模型训练模块和模型存储模块；所述深度学习分类模块通过API视频接口调用所述摄像头数据；所述数据标注模块对摄像头数据中选定的标注帧图片进行标注；所述模型训练模块使用标注过的数据训练深度学习目标分类模型，生成检测模型；所述模型存储模块存储所述检测模型；生成并存储所述检测模型后，所述检测模型对所述摄像头数据进行检测并生成检测数据，并将所述检测数据发送到所述数据分析模块；所述数据分析模块与所述深度学习分类模块连接，所述数据分析模块包括数据滤波模块、结果分析模块和结果存储模块；所述数据滤波模块对所述检测数据进行滤波；所述结果分析模块对滤波后的检测数据进行分析；所述结果存储模块对滤波后的检测数据和/或分析结果进行存储。优选的，所述模型训练模块采用卷积网络加全连接网络训练模型对数据进行训练。优选的，所述卷积网络为三层卷积网络或五层卷积网络。优选的，所述全连接网络为三层全连接网络。优选的，所述数据标注模块包括标注工具模块，所述标注工具模块对标注帧图片进行标注。优选的，所述数据标注模块的标注内容包括图片ID、物料种类和物料含量。优选的，所述数据滤波模块采用中值滤波。优选的，所述系统还包括显示模块，所述数据分析模块与显示模块连接，将滤波后的检测数据和/或分析结果进行可视化显示。本专利技术的有益效果是：本专利技术的检测系统在模型训练完毕后即可自动对视频进行检测分析，节约人力投入，只需要监视人员就可通过屏幕输出信息对整个工厂传送带运行状态进行判断；传统对工业传送带运输物料的检测一般是通过压力传感器，压力传感器直接或间接与物料接触，寿命较低，本专利技术将检测与实际工作隔离开来，对于任何一个传送带检测只需要部署一个摄像头即可，方便，易用；本专利技术的系统可以同时判断传送带是否运动，传送带上是否存在物料以及物料的多少；本专利技术使用标注过的数据训练深度学习目标分类模型，提高了检测结果的正确率；标注的数据作为训练模块的训练数据，经训练后生成检测模型，并进行存储以在电脑断电重启后等情况下可以直接调用检测模型不需要再次进行训练，提高了系统的检测效率。附图说明图1是本专利技术的系统结构图。图2是本专利技术的数据标注示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，一种基于深度学习的传送带上物料检测系统，包括视频管理模块、深度学习分类模块和数据分析模块；视频管理模块包括数据获取模块、数据存储模块和API视频接口模块；数据获取模块能够实时获取所布置工位对应摄像头数据，并将数据传输至本机，本机为执行数据获取模块的机器，数据存储模块存储所述数据获取模块获取的摄像头数据，API视频接口模块开放视频接口以供其他模块调用数据。工厂每个传送带位置安装一个摄像头，摄像头安装在传送带运动终止位置处，保证传送带在图片中能够完整清晰显示。视频管理模块开放API接口供外部调用视频数据，视频大小为720p，帧率为30。深度学习分类模块与视频管理模块连接，深度学习分类模块包括数据标注模块、模型训练模块和模型存储模块；深度学习分类模块通过API视频接口调用摄像头数据；数据标注模块对部分摄像头数据中选定的标注帧图片进行标注；模型训练模块使用标注过的数据训练深度学习目标分类模型，生成检测模型；模型存储模块存储检测模型；生成并存储检测模型后，检测模型对摄像头数据进行检测并生成检测数据，并将检测数据发送到数据分析模块。深度学习检测模块使用标注过的数据训练深度学习目标分类模型，通过API接口调用视频数据后逐帧进行检测，并将每一帧的分类结果数据存储并开放数据API接口。标注的数据作为训练模块的训练数据，经训练后生成检测模型，并进行存储以在电脑断电重启后等情况下可以直接调用模型不需要再次进行训练。程序对视频进行检测时首先加载检测模型，通过视频API接口调用视频帧数据，进行检测并将结果输出。数据分析模块与深度学习分类模块连接，数据分析模块包括数据滤波模块、结果分析模块和结果存储模块。数据滤波模块对检测数据进行滤波，进一步增加数据的稳定性和可靠性。结果分析模块对滤波后的检测数据进行分析；结果存储模块对滤波后的检测数据和/或分析结果进行存储。数据分析模块根据前一步检测结果数据得出每一个传送带是否运动、传送带上物料有无、物料种类和物料多少4个信息，将信息存储，并可视化显示于视频上。如图2所示，数据标注使用特定标注工具进行标注，标注工具在用户选定需要标注图片所在文件夹后显示第一张图片，右侧有填值区，填写当前图片运输物料类型代表的数字（0：没有，1：砂石，2：黄土），物料量的多少（0-1之间的数值，0表示没有，1表示满载），标注后标注信息会附加显示在图片显示区上。按键功能区有下一张、上一张、修改、删除按键，下一张快捷键为(d)，点击后进行下一张图片标注工作；上一张快捷键为(a)，点击后返回上一张图片，查看是否标注正确；修改快捷键为(x)，清楚当前标注图片标注信息，重新进行标注；删除快捷键为(c)，删除当前图片，表示当前图片不适合作为标注数据。图片标注数据以xlsx文件格式保存，每一行保存一个标注数据，分别为图像名称、物料类别、物料含量。对已有视频中不同拍摄时间（白天/黑夜，系统24小时运行）、不同拍摄工位、不同用料、不同用量的截取帧图片进行标注。在pytorch框架下采用卷积网络加全连接网络训练模型，经标注数据训练完成后存储模型。为了提高检测速度，使用两种方式对模型进行训练。第一种为小型模型训练，使用3层卷积+3层全连接，训练对象为一种物料，其特点是模型占空间小，检测速度快，适用于单种物料检测任务，一般针对传送带运输物料种类长期不变情况下使用本文档来自技高网...

【技术保护点】
1.一种基于深度学习的传送带上物料检测系统，其特征在于，所述系统包括视频管理模块、深度学习分类模块和数据分析模块；所述视频管理模块包括数据获取模块、数据存储模块和API视频接口模块；所述数据获取模块能够实时获取所布置工位对应摄像头数据，并将数据传输至本机，所述数据存储模块存储所述数据获取模块获取的摄像头数据，所述API视频接口模块开放视频接口以供其他模块调用数据；所述深度学习分类模块与所述视频管理模块连接，所述深度学习分类模块包括数据标注模块、模型训练模块和模型存储模块；所述深度学习分类模块通过API视频接口调用所述摄像头数据；所述数据标注模块对摄像头数据中选定的标注帧图片进行标注；所述模型训练模块使用标注过的数据训练深度学习目标分类模型，生成检测模型；所述模型存储模块存储所述检测模型；生成并存储所述检测模型后，所述检测模型对所述摄像头数据进行检测并生成检测数据，并将所述检测数据发送到所述数据分析模块；所述数据分析模块与所述深度学习分类模块连接，所述数据分析模块包括数据滤波模块、结果分析模块和结果存储模块；所述数据滤波模块对所述检测数据进行滤波；所述结果分析模块对滤波后的检测数据进行分析；所述结果存储模块对滤波后的检测数据和/或分析结果进行存储。...

【技术特征摘要】
1.一种基于深度学习的传送带上物料检测系统，其特征在于，所述系统包括视频管理模块、深度学习分类模块和数据分析模块；所述视频管理模块包括数据获取模块、数据存储模块和API视频接口模块；所述数据获取模块能够实时获取所布置工位对应摄像头数据，并将数据传输至本机，所述数据存储模块存储所述数据获取模块获取的摄像头数据，所述API视频接口模块开放视频接口以供其他模块调用数据；所述深度学习分类模块与所述视频管理模块连接，所述深度学习分类模块包括数据标注模块、模型训练模块和模型存储模块；所述深度学习分类模块通过API视频接口调用所述摄像头数据；所述数据标注模块对摄像头数据中选定的标注帧图片进行标注；所述模型训练模块使用标注过的数据训练深度学习目标分类模型，生成检测模型；所述模型存储模块存储所述检测模型；生成并存储所述检测模型后，所述检测模型对所述摄像头数据进行检测并生成检测数据，并将所述检测数据发送到所述数据分析模块；所述数据分析模块与所述深度学习分类模块连接，所述数据分析模块包括数据滤波模块、结果分析模块和结果存储模块；所述数据滤波模块对所述检测数据进行滤波；所述结果分析模块对滤波后的检测数据进行分析；...

【专利技术属性】
技术研发人员：刘勇，张江宁，刘亮，蒋云良，邬惠峰，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33