基于计算机视觉实现生产线装配流程行为监测的系统、方法、装置、处理器及其存储介质制造方法及图纸

本发明专利技术涉及一种基于计算机视觉实现生产线装配流程行为监测的系统，其中，该系统包括图像检测处理模块，用于获取系统预设目标对象的视频帧图像；目标识别处理模块，用于获取预设目标对象的参数信息；信息校准与存储处理模块，用于存储标准校准信息，得到相应的监测结果；报警提示处理模块，用于根据得到的监测结果，判断是否进行报警处理；信息显示与提示处理模块，用于显示报警提示处理模块监测到的错误信息，并根据所述的待校准信息给出正确的提示操作。本发明专利技术还涉及一种相应的方法、装置、处理器及其存储介质。采用了本发明专利技术的该系统、方法、装置、处理器及其存储介质，能够智能化实现在生产过程中，避免由于工人不正当操作而导致产品质量问题。产品质量问题。产品质量问题。

【技术实现步骤摘要】
基于计算机视觉实现生产线装配流程行为监测的系统、方法、装置、处理器及其存储介质


[0001]本专利技术涉及计算机视觉
，尤其涉及神经网络模型和深度学习的人工智能领域，具体是指一种基于计算机视觉实现生产线装配流程行为监测的系统、方法、装置、处理器及其计算机可读存储介质。

技术介绍

[0002]近年来，随着人工智能的快速发展，深度学习网络由于通过组合底层特征形成高层特征，受环境变化的影响较小，在计算机视觉领域取得了突破性成果，尤其在物体的检测与识别上得到的极大的提升中，在某些特定的应用场景，甚至超过了人类的识别准确度。
[0003]智能制造是当前提升我国制造业的水平和竞争力的重要方向，通过人工智能解决制造环节的问题，提升生产效率具有重要的意义。在产品生产的组装阶段，工人在安装高价值的服务器配件之前都需要经过长时间的培训，并且安装过程中必须再次认真阅读工艺流程，一旦装错或者次序颠倒会导致产品质量问题。如何通过人工智能有效解决和降低这一质量问题，是制造型企业面临的一个难题。
[0004]在服务器生产过程中，服务器主板在安装配件时必须按照指定次序进行安装，单个配件在安装时必须安装指定的方向进行安装，一旦次序颠倒或者配件方向不对会造成质量隐患。目前生产企业严重依赖人工操作，暂时没有智能化的附件防呆检测系统帮助企业解决这一难题。

技术实现思路

[0005]本专利技术的目的是克服了上述现有技术的缺点，提供了一种智能化的具有自动纠正与引导作用的基于计算机视觉实现生产线装配流程行为监测的系统、方法、装置、处理器及其存储介质。
[0006]为了实现上述目的，本专利技术的基于计算机视觉实现生产线装配流程行为监测的系统、方法、装置、处理器及其存储介质如下：
[0007]该基于计算机视觉实现生产线装配流程行为监测的系统，其主要特点是，所述的系统包括：
[0008]图像检测处理模块，用于获取系统预设目标对象的视频帧图像；
[0009]目标识别处理模块，与所述的图像检测处理模块相连接，用于根据所述的预设目标对象的视频帧图像获取相应的预设目标对象的参数信息；
[0010]信息校准与存储处理模块，与所述的目标识别处理模块相连接，用于存储标准校准信息，并与获取到的预设目标对象的参数信息进行对比，得到相应的监测结果；
[0011]报警提示处理模块，与所述的信息校准与存储处理模块相连接，用于根据所述的信息校准与存储处理模块得到的监测结果，判断是否进行报警处理；以及
[0012]信息显示与提示处理模块，与所述的报警提示处理模块相连接，用于显示所述的
报警提示处理模块监测到的错误信息，并根据所述的待校准信息给出正确的提示操作。
[0013]较佳地，所述的预设目标对象的视频帧图像具体包括：
[0014]配件类型图像、配件插座类型图像、服务器单板类型图像以及服务器单板状态图像。
[0015]较佳地，所述的标准校准信息具体包括：
[0016]配件类型标准信息、配件插座类型标准信息、服务器单板类型标准信息以及服务器单板状态标准信息。
[0017]该利用上述系统实现基于计算机视觉的生产线装配流程行为监测的方法，其主要特点是，所述的方法包括以下步骤：
[0018](1)利用所述的图像检测处理模块，获取指定位置处的标准识别视频帧图像；
[0019](2)将所述的标准识别视频帧图像进行数据标注，并将其输入到深度学习算法中进行参数训练，获取训练后的标准算法模型；
[0020](3)系统预设目标对象开始工作，所述的图像检测处理模块获取所述的系统预设目标对象在装配过程中的待识别视频帧图像；
[0021](4)将所述的待识别视频帧图像输入到YOLOv5深度神经网络，并根据预先训练好的所述的标准算法模型，获取当前各个部件的装配状态；
[0022](5)根据所述的装配状态判断是否进行报警与提示处理，直至各个部件均满足安装需求后，完成行为监测。
[0023]较佳地，所述的步骤(1)具体为：
[0024]利用所述的图像检测处理模块，获取当前所述的指定位置处的配件标准类型图像、配件插座标准类型图像、服务器单板标准类型图像以及服务器单板标准状态图像。
[0025]较佳地，所述的步骤(2)具体包括以下步骤：
[0026](2.1)将获取到所述的配件标准类型图像、配件插座标准类型图像、服务器单板标准类型图像以及服务器单板标准状态图像进行待识别区域的数据标注；
[0027](2.2)将进行数据标注处理后的所述的配件标准类型图像、配件插座标准类型图像、服务器单板标准类型图像以及服务器单板标准状态图像输入到深度学习算法中进行标准参数训练，获取训练后的标准算法模型；
[0028](2.3)将所述的标准算法模型作为后续监测实施阶段的对比参考。
[0029]较佳地，所述的步骤(3)具体包括以下步骤：
[0030](3.1)系统预设目标对象在指定位置上进行部件装配；
[0031](3.2)所述的图像检测处理模块采集当前指定位置处的待识别视频帧图像，包括：配件类型图像、配件插座类型图像、服务器单板类型图像以及服务器单板状态图像。
[0032]较佳地，所述的步骤(4)具体包括以下步骤：
[0033](4.1)将所述的配件类型图像、配件插座类型图像、服务器单板类型图像以及服务器单板状态图像输入到所述的YOLOv5深度神经网络中进行识别处理；
[0034](4.2)利用识别出的服务器单板类型确定当前所处位置的完整工艺操作流程；
[0035](4.3)根据服务器单板上各个配件插座的安装状态获取当前系统预设目标对象的待操作步骤以及各个部件的正确安装方向和位置；
[0036](4.4)将采集到的所述的配件类型图像与当前待操作步骤需安装的配件类型进行
对比处理。
[0037]较佳地，所述的步骤(5)具体包括以下步骤：
[0038](5.1)如果所述的配件类型图像与当前待操作步骤需安装的配件类型一致，则识别通过；否则，进入步骤(5.2)；
[0039](5.2)所述的报警提示处理模块执行报警处理，并通过所述的信息显示与提示处理模块在显示器上给出该装配流程需正确安装的配件、配件的正确安装方向以及位置信息；
[0040](5.3)将安装完成后采集到的配件插座装配结构图像输入到所述的标准算法模型中进行识别，判断配件以及配件插座是否与当前指定位置所需的配件以及配件插座一致，如果一致，则进入步骤(5.4)，否则，进入步骤(5.5)；
[0041](5.4)系统匹配识别成功，配件安装正确，所述的显示器显示PASS通过；
[0042](5.5)系统匹配识别失败，配件安装错误，所述的显示器显示FAIL失败，并作出告警提示。
[0043]该用于实现基于计算机视觉的生产线装配流程行为监测的装置，其主要特点是，所述的装置包括：
[0044本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于计算机视觉实现生产线装配流程行为监测的系统，其特征在于，所述的系统包括：图像检测处理模块，用于获取系统预设目标对象的视频帧图像；目标识别处理模块，与所述的图像检测处理模块相连接，用于根据所述的预设目标对象的视频帧图像获取相应的预设目标对象的参数信息；信息校准与存储处理模块，与所述的目标识别处理模块相连接，用于存储标准校准信息，并与获取到的预设目标对象的参数信息进行对比，得到相应的监测结果；报警提示处理模块，与所述的信息校准与存储处理模块相连接，用于根据所述的信息校准与存储处理模块得到的监测结果，判断是否进行报警处理；以及信息显示与提示处理模块，与所述的报警提示处理模块相连接，用于显示所述的报警提示处理模块监测到的错误信息，并根据所述的待校准信息给出正确的提示操作。2.根据权利要求1所述的基于计算机视觉实现生产线装配流程行为监测的系统，其特征在于，所述的预设目标对象的视频帧图像具体包括：配件类型图像、配件插座类型图像、服务器单板类型图像以及服务器单板状态图像。3.根据权利要求2所述的基于计算机视觉实现生产线装配流程行为监测的系统，其特征在于，所述的标准校准信息具体包括：配件类型标准信息、配件插座类型标准信息、服务器单板类型标准信息以及服务器单板状态标准信息。4.一种利用权利要求3所述的系统实现基于计算机视觉的生产线装配流程行为监测的方法，其特征在于，所述的方法包括以下步骤：(1)利用所述的图像检测处理模块，获取指定位置处的标准识别视频帧图像；(2)将所述的标准识别视频帧图像进行数据标注，并将其输入到深度学习算法中进行参数训练，获取训练后的标准算法模型；(3)系统预设目标对象开始工作，所述的图像检测处理模块获取所述的系统预设目标对象在装配过程中的待识别视频帧图像；(4)将所述的待识别视频帧图像输入到YOLOv5深度神经网络，并根据预先训练好的所述的标准算法模型，获取当前各个部件的装配状态；(5)根据所述的装配状态判断是否进行报警与提示处理，直至各个部件均满足安装需求后，完成行为监测。5.根据权利要求4所述的实现基于计算机视觉的生产线装配流程行为监测的方法，其特征在于，所述的步骤(1)具体为：利用所述的图像检测处理模块，获取当前所述的指定位置处的配件标准类型图像、配件插座标准类型图像、服务器单板标准类型图像以及服务器单板标准状态图像。6.根据权利要求5所述的实现基于计算机视觉的生产线装配流程行为监测的方法，其特征在于，所述的步骤(2)具体包括以下步骤：(2.1)将获取到所述的配件标准类型图像、配件插座标准类型图像、服务器单板标准类型图像以及服务器单板标准状态图像进行待识别区域的数据标注；(2.2)将进行数据标注处理后的所述的配件标准类型图像、配件插座标准类型图像、服务器单板标准类型图像以及服务器单板标准状态图像输入到深度学习算法中进行标准参
数训练，获取训练后的标准算法...

【专利技术属性】
技术研发人员：邱亮，
申请(专利权)人：上海铂端科技有限公司，
类型：发明
国别省市：