一种基于深度学习的流水线人员规范操作检测系统技术方案

一种基于深度学习的流水线人员规范操作检测系统，包括视频管理模块、深度学习检测模块和数据分析模块；视频管理模块包括数据获取模块、数据存储模块和API视频接口模块；深度学习检测模块与视频管理模块连接，深度学习检测模块包括数据标注模块、模型训练模块和模型存储模块；数据分析模块与深度学习检测模块连接，数据分析模块包括数据预处理模块、状态机分析模块、结果分析模块和结果存储模块。本发明专利技术的系统能够自动地实时地对视频进行检测，并将每帧检测结果输出，并根据检测结果在时序上转换为人员操作动作，并利用状态机对动作进行分析，得出每个操作人员进行一组操作时的开始结束时间，判断操作是否规范。

【技术实现步骤摘要】
一种基于深度学习的流水线人员规范操作检测系统
本专利技术涉及一种操作检测方法，尤其涉及一种基于深度学习的流水线人员规范操作检测系统。
技术介绍
随着时代的发展，工业对自动化要求越来越高。传统的流水线标准作业需要专门的监管人员，用人眼对每一个操作人员的操作是否规范进行判别，再将结果进行存储。这种方式需要依靠额外的人力、物力，同时人眼检测带有一定的主观因素，不能够保证对每一个人的评价监管是统一的，且不能保证监管人员每一时刻都在工作状态。这种传统方式会造成财力资源的额外消耗以及效率的不稳定，针对这种现象，急需现有技术改进发展，用机器代替人来对流水线操作人员操作是否规范进行评价监管。目前还没有专门的全自动应用于流水线人员操作规范检测的系统。
技术实现思路
本专利技术的目的是提供一种基于深度学习的流水线人员规范操作检测系统，对操作人员的操作是否规范进行判断。因此，本专利技术采用以下技术方案。一种基于深度学习的流水线人员规范操作检测系统，所述系统包括视频管理模块、深度学习检测模块和数据分析模块；所述视频管理模块包括数据获取模块、数据存储模块和API视频接口模块；所述数据获取模块能够实时获取预先布置的所有摄像头数据，并将数据传输至本机，所述数据存储模块存储所述数据获取模块获取的摄像头数据，所述API视频接口模块开放视频接口以供其他模块调用数据；所述深度学习检测模块与所述视频管理模块连接，所述深度学习检测模块包括数据标注模块、模型训练模块和模型存储模块；所述深度学习检测模块通过API视频接口调用所述摄像头数据；所述数据标注模块对摄像头数据中选定的标注帧图片进行标注；所述模型训练模块使用标注过的数据训练深度学习目标分类模型，生成检测模型；所述模型存储模块存储所述检测模型；生成并存储所述检测模型后，所述检测模型对所述摄像头数据进行检测并生成检测数据，并将所述检测数据发送到所述数据分析模块；所述数据分析模块与所述深度学习检测模块连接，所述数据分析模块包括数据预处理模块、状态机分析模块、结果分析模块和结果存储模块。优选的，所述数据预处理模块包括数据转换模块和数据滤波模块，所述数据转换模块将检测数据转换成发生的动作，所述数据滤波模块将所述动作进行滤波。优选的，所述状态机分析模块对滤波后的动作使用状态机方法进行分析，状态机分析模块通过不同动作的发生时间判断每个操作者执行每个周期安装任务的开始、结束时间，并对每个周期中执行的动作类型、对应时间进行记录，最后判断操作是否符合标准操作流程。优选的，所述结果分析模块对状态机分析模块的判断结果进行分析，所述结果存储模块对状态机分析模块的判断结果和/或分析结果进行存储。优选的，所述数据滤波模块采用中值滤波。优选的，所述系统还包括显示模块，所述数据分析模块与显示模块连接，将状态机分析模块的判断结果和/或分析结果进行可视化显示。优选的，所述模型训练模块采用卷积网络加全连接网络训练模型对数据进行训练。优选的，所述卷积网络为28层卷积网络，所述全连接网络为1层全连接网络。优选的，所述数据标注模块包括标注工具模块和检测工具模块，所述标注工具模块对标注帧图片进行标注，所述检测工具模块对标注工具模块的标注结果进行检测。优选的，所述系统还包括提醒模块，所述数据分析模块与所述提醒模块连接，对不符合规定的操作进行提醒。本专利技术的有益效果是：本专利技术的系统能够自动地实时地对视频进行检测，并将每帧检测结果输出，并根据检测结果在时序上转换为人员操作动作，并利用状态机对动作进行分析，得出每个操作人员进行一组操作时的开始结束时间，判断操作是否规范。附图说明图1是本专利技术的系统结构图。图2是本专利技术的标注工具标注图片示意图。图3是本专利技术的检测工具检测已标注图片示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，一种基于深度学习的流水线人员规范操作检测系统，包括视频管理模块、深度学习检测模块和数据分析模块。视频管理模块包括数据获取模块、数据存储模块和API视频接口模块；所述数据获取模块能够实时获取预先布置的所有摄像头数据，并将数据传输至本机，本机为执行数据获取模块的机器，数据存储模块存储数据获取模块获取的摄像头数据，API视频接口模块开放视频接口以供其他模块调用数据。视频管理模块获取部署摄像头的视频信息，进行存储，并开放API视频接口以便外部调用。按照工厂流水线12个工序及每个工序操作人员位置部署摄像头，摄像头安装在操作人员前上方，视角正对流水线，保证每个人员操作范围无盲区。视频管理系统分获取每个摄像头数据并按照工序、操作人员分类存储。视频管理系统开放API供外部调用视频数据，视频大小为1080p以保证清晰度，帧率为30。深度学习检测模块与视频管理模块连接，深度学习检测模块包括数据标注模块、模型训练模块和模型存储模块；深度学习检测模块通过API视频接口调用摄像头数据；数据标注模块对摄像头数据中选定的标注帧图片进行标注；模型训练模块使用标注过的数据训练深度学习目标分类模型，生成检测模型；模型存储模块存储检测模型；生成并存储检测模型后，检测模型对摄像头数据进行检测并生成检测数据，并将检测数据发送到数据分析模块。深度学习模块使用标注过的数据训练深度学习目标检测模型，通过API接口调用视频数据后逐帧进行检测，得到视频每一帧中所有目标物体的位置信息数据并将结果数据开放API接口。数据分析模块与深度学习检测模块连接，数据分析模块包括数据预处理模块、状态机分析模块、结果分析模块和结果存储模块。数据预处理模块包括数据转换模块和数据滤波模块，数据转换模块将检测数据转换成发生的动作，数据滤波模块将动作进行滤波。状态机分析模块对滤波后的动作进行状态机分析，状态机分析模块通过不同动作的发生时间判断每个操作者执行每个周期安装任务的开始、结束时间，并对每个周期中执行的动作类型、对应时间进行记录，最后判断操作是否复合标准操作流程。结果分析模块对状态机分析模块的判断结果进行分析，结果存储模块对状态机分析模块的判断结果和/或分析结果进行存储。数据分析模块获取视频检测数据，使用状态机方式对每一个人员的操作检测分析并进行可视化显示，对操作不符合规范的操作人员进行提醒。如图2所示，数据标注模块的标注工具在用户选定需要标注图片所在文件夹后显示第一张图片，右侧有标注选项区（共5种标注类型可选择，即手、螺丝盒、扫描枪、PCB电路板、工作盒），标注时先在标注选项区选择标注类型，然后在图像中框出目标区域，重复操作直至该张图片不存在未被框选目标。按键功能区有下一张、上一张、修改、删除按键，下一张快捷键为(d)，点击后进行下一张图片标注工作；上一张快捷键为(a)，点击后返回上一张图片，查看是否标注正确；修改快捷键为(x)，清楚当前标注图片标注信息，重新进行标注；删除快捷键为(c)，删除当前图片，表示当前图片不适合作为标注数据。图片标注数据以xml文件表示，存储有每个标注类型的坐标信息，位置信息采用矩形框表示，即一个物体标注数据由左上角坐标，右下角坐标共本文档来自技高网...

【技术保护点】
1.一种基于深度学习的流水线人员规范操作检测系统，其特征在于，所述系统包括视频管理模块、深度学习检测模块和数据分析模块；所述视频管理模块包括数据获取模块、数据存储模块和API视频接口模块；所述数据获取模块能够实时获取预先布置的所有摄像头数据，并将数据传输至本机，所述数据存储模块存储所述数据获取模块获取的摄像头数据，所述API视频接口模块开放视频接口以供其他模块调用数据；所述深度学习检测模块与所述视频管理模块连接，所述深度学习检测模块包括数据标注模块、模型训练模块和模型存储模块；所述深度学习检测模块通过API视频接口调用所述摄像头数据；所述数据标注模块对摄像头数据中选定的标注帧图片进行标注；所述模型训练模块使用标注过的数据训练深度学习目标分类模型，生成检测模型；所述模型存储模块存储所述检测模型；生成并存储所述检测模型后，所述检测模型对所述摄像头数据进行检测并生成检测数据，并将所述检测数据发送到所述数据分析模块；所述数据分析模块与所述深度学习检测模块连接，所述数据分析模块包括数据预处理模块、状态机分析模块、结果分析模块和结果存储模块。

【技术特征摘要】
1.一种基于深度学习的流水线人员规范操作检测系统，其特征在于，所述系统包括视频管理模块、深度学习检测模块和数据分析模块；所述视频管理模块包括数据获取模块、数据存储模块和API视频接口模块；所述数据获取模块能够实时获取预先布置的所有摄像头数据，并将数据传输至本机，所述数据存储模块存储所述数据获取模块获取的摄像头数据，所述API视频接口模块开放视频接口以供其他模块调用数据；所述深度学习检测模块与所述视频管理模块连接，所述深度学习检测模块包括数据标注模块、模型训练模块和模型存储模块；所述深度学习检测模块通过API视频接口调用所述摄像头数据；所述数据标注模块对摄像头数据中选定的标注帧图片进行标注；所述模型训练模块使用标注过的数据训练深度学习目标分类模型，生成检测模型；所述模型存储模块存储所述检测模型；生成并存储所述检测模型后，所述检测模型对所述摄像头数据进行检测并生成检测数据，并将所述检测数据发送到所述数据分析模块；所述数据分析模块与所述深度学习检测模块连接，所述数据分析模块包括数据预处理模块、状态机分析模块、结果分析模块和结果存储模块。2.根据权利要求1所述的一种基于深度学习的流水线人员规范操作检测系统，其特征在于，所述数据预处理模块包括数据转换模块和数据滤波模块，所述数据转换模块将检测数据转换成发生的动作，所述数据滤波模块将所述动作进行滤波。3.根据权利要求2所述的一种基于深度学习的流水线人员规范操作检测系统，其特征在于，所述状态机分析模块对滤波后的动作使用状态机方法进行分析，状态机分析模块通过不同动作的发...

【专利技术属性】
技术研发人员：刘勇，刘亮，张江宁，蒋云良，邬惠峰，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33