一种基于深度学习的工步规范视觉识别判定方法及系统技术方案

本发明专利技术公开一种基于深度学习的工步规范视觉识别判断方法及系统，包括获取工人进行标准作业视频，根据目标检测模型提取对应监控区域内标准作业轨迹以及将标准作业轨迹按照操作规范切分为若干工步；获取当前工人作业视频，判断监控区域内工人当前作业轨迹与标准作业轨迹是否匹配；根据匹配结果给出相应的判断结果和/或信息提示；所述系统包括视频流接收模块、客户端配置器模块、视频流分析模块、工步引导客户端和主控机；本发明专利技术实施例所述系统执行上述方法，将工人当前作业轨迹与标准作业轨迹对比，给出相应的判断结果和/或信息提示，来引导工作人员的作业流程以及对于作业遗漏和错误进行判断和规范，有效防范作业出错问题，提升良品率。

【技术实现步骤摘要】
一种基于深度学习的工步规范视觉识别判定方法及系统
本专利技术涉及机器视觉
，具体涉及一种基于深度学习的工步规范视觉识别判断方法及系统。
技术介绍
随着人工智能技术的发展，在车间的生产作业中，尤其针对于人工转配的工位，最初的工人作业都是依据纸质作业指导书来进行作业的方式，传统纸质指导书不能直观的指示作业工人如何作业，而且不能察觉作业工人的每一个工步是否按照规范进行作业。因此，已经越来越不能满足现有制造生产的工艺质量管理和生产指标要求。目前，依赖于传统机器视觉来规范操作的识别判断方法，通过判断实时工人作业的视频帧中监控区域的图像的特征值是否超过标准作业对应的监控区域图像的特征值的阈值，判断作业工人动作特征与标准模型的一致性；在图像的特征值时主要依赖于有手套颜色的识别，以及根据操作流程中人的运动的位置设定了大量的定制化参数，来配合图像处理系统对人工操作的规范化进行识别和判断。现有技术的不足之处在于，通过机器视觉来提取采集视频图像的特征值，识别准确度不高，特别对工作场景的光线很暗或者背景与人体的肢体部位或者手套颜色相近的时本文档来自技高网...

【技术保护点】
1.一种基于深度学习的工步规范视觉识别判断方法，其特征在于，包括以下步骤：/n步骤1，获取工人进行标准作业视频，根据训练好的目标检测模型提取对应监控区域内标准作业轨迹，将所述标准作业轨迹按照操作规范切分为若干工步；/n步骤2，获取工人当前作业视频，判断所述监控区域内工人当前作业轨迹与所述标准作业轨迹是否匹配；/n步骤3，根据匹配结果给出相应的判断结果和/或信息提示。/n

【技术特征摘要】
1.一种基于深度学习的工步规范视觉识别判断方法，其特征在于，包括以下步骤：
步骤1，获取工人进行标准作业视频，根据训练好的目标检测模型提取对应监控区域内标准作业轨迹，将所述标准作业轨迹按照操作规范切分为若干工步；
步骤2，获取工人当前作业视频，判断所述监控区域内工人当前作业轨迹与所述标准作业轨迹是否匹配；
步骤3，根据匹配结果给出相应的判断结果和/或信息提示。


2.根据权利要求1所述的一种基于深度学习的工步规范视觉识别判断方法，其特征在于，所述步骤1中目标检测模型包括：
读取所述标准作业视频帧，按照判断的动作或者需要捕捉的肢体部位标注图片，根据所标注图片样本采用深度学习算法训练得到所述目标检测模型。


3.根据权利要求1或2所述的一种基于深度学习的工步规范视觉识别判断方法，其特征在于，所述目标检测模型提取对应监控区域内标准作业轨迹具体包括：
步骤11，所述检测模型定位工作人员的肢体部位以及所使用的工具；
步骤12，获取当前肢体部位至少一个检测框的四个顶点位置坐标以及所使用的工具分类；
步骤13，以所述检测框的四个顶点位置坐标的中心位置表示当前轨迹位置，对所述当前轨迹位置追踪得到所述标准作业轨迹。


4.根据权利要求1所述的一种基于深度学习的工步规范视觉识别判断方法，其特征在于，所述步骤2还包括获取工人当前作业视频后提取对应监控区域内所述当前作业轨迹；所述当前作业轨迹的提取与所述标准作业轨迹提取方式一致。


5.根据权利要求1所述的一种基于深度学习的工步规范视觉识别判断方法，其特征在于，所述步骤2中的判断方法包括：
步骤21，将全部所述工步对应的标准作业轨迹进行不同程度的缩放；
步骤22，将每一段缩放后所述工步对应的...

【专利技术属性】
技术研发人员：姜鹭，杜俊志，方波，易王画，彭晓睿，
申请(专利权)人：艾普工华科技武汉有限公司，
类型：发明
国别省市：湖北;42