基于深度学习的多模式装配工序识别系统及方法技术方案

本申请关于基于深度学习的多模式装配工序识别系统及方法，涉及人工智能技术领域。该系统包括摄像头、计算机设备、位置传感器、限位开关以及放行开关；摄像头、位置传感器、限位开关以及放行开关分别与计算机设备通信连接。在零件装配的过程当中，通过摄像头对于待装配零件所在的位置以及零件的加工过程进行实时录像，并将录像内容发送至计算机设备中，基于深度学习的人工智能技术进行工序内容的识别，得到对于待装配零件进行的装配动作的集合，并将该装配动作与预设动作进行比对，以判断对于工序的安装是否正确，使得零件装配过程不会出现工序错误，对于零件装配过程提供全时段检查，降低产品产生缺陷和不合格情况的概率。降低产品产生缺陷和不合格情况的概率。降低产品产生缺陷和不合格情况的概率。

【技术实现步骤摘要】
基于深度学习的多模式装配工序识别系统及方法


[0001]本申请涉及信息技术以及人工智能
，特别涉及一种基于深度学习的多模式装配工序识别方法。

技术介绍

[0002]在产品生产装配工序中，人工装配零件是进行零件装配过程的常规选择。由于产线上的人工零件装配过程为重复性较高的过程，在产线工作当中，通常需要对于装配工序是否执行进行检测。
[0003]相关技术中，通常通过工人自主检查的方式，根据零件的装配结果确定零件的装配工序是否存在问题，若零件的装配工序存在问题，则进行零件成品的追溯以及重新装配。
[0004]然而，由于人工装配过程存在重复操作工序，工人易因为疲劳导致操作失误，致使自主检查的准确率较低，进而导致产品存在缺陷，不合格率高。

技术实现思路

[0005]本申请关于一种基于深度学习的多模式装配工序识别方法及系统，能够对于零件装配过程提供全时段检查，降低产品产生缺陷和不合格情况的概率。该技术方案如下：一方面，提供了一种基于深度学习的多模式装配工序识别系统，该系统包括摄像头、计算机设备、位置传感器、限位开关以及放行开关；所述摄像头、所述位置传感器、所述限位开关以及所述放行开关分别与所述计算机设备通信连接；所述位置传感器，用于响应于待装配零件位于装配位置，向所述计算机设备发送待检测信号；所述限位开关，用于响应于所述待装配工件位于装配位置，限制所述待装配零件所在产线的运动；所述计算机设备，用于接收所述待检测信号；基于所述待检测信号向所述摄像头发送视频采集信号；所述摄像头，用于接收所述视频采集信号；基于所述视频采集信号对所述待装配零件所处的位置进行视频采集，得到装配视频；将所述装配视频实时发送至所述计算机设备；所述计算机设备，用于接收所述装配视频；基于深度学习技术对所述装配视频进行动作识别，得到装配动作组合，所述装配动作组合中包括至少两个装配动作，以及与所述装配动作对应的装配动作顺序，所述装配组合用于将所述待装配零件处理为装配后零件；将所述装配动作组合与预设装配动作组合进行比对；响应于所述装配动作组合与所述预设装配动作组合一致，向所述放行开关发送放行信号；所述放行开关，用于接收所述放行信号；基于所述放行信号启动所述装配后零件所在产线。
[0006]另一方面，提供了一种基于深度学习的多模式装配工序识别方法，该方法应用于如上所述的基于深度学习的多模式装配工序识别系统内的计算机设备中，该方法包括：接收待检测信号，所述待检测信号为所述位置传感器生成的信号；基于所述待检测信号向所述摄像头发送视频采集信号；接收所述摄像头发送的装配视频；基于深度学习技术对所述装配视频进行动作识别，得到装配动作组合，所述装配动作组合中包括至少两个装配动作，以及与所述装配动作对应的装配动作顺序，所述装配组合用于将所述待装配零件处理为装配后零件；将所述装配动作组合与预设装配动作组合进行比对；响应于所述装配动作组合与所述预设装配动作组合一致，向放行开关发送放行信号。
[0007]本申请技术方案带来的有益效果至少包括：在零件装配的过程当中，通过摄像头对于待装配零件所在的位置以及零件的加工过程进行实时录像，并将录像内容发送至计算机设备中，基于深度学习的人工智能技术进行工序内容的识别，得到对于待装配零件进行的装配动作的集合，并将该装配动作与预设动作进行比对，以判断对于工序的安装是否正确，当工序正确时，计算机设备即指示通行开关工作，接触对于零件位置以及产线状态的限制，指示零件的装配工作完成。在零件装配的过程当中，借助摄像头的全程动作监控以及计算机设备的智能识别，使得零件装配过程不会出现工序错误，对于零件装配过程提供全时段检查，降低产品产生缺陷和不合格情况的概率。
附图说明
[0008]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0009]图1示出了本申请一个示例性实施例提供的一种基于深度学习的多模式装配工序识别系统的结构示意图。
[0010]图2示出了本申请一个示例性实施例提供的另一种基于深度学习的多模式装配工序识别流程的框架示意图。
[0011]图3示出了本申请一个示例性实施例提供的一种基于深度学习的多模式装配工序识别系统的结构示意图。
[0012]图4示出了本申请一个示例性实施例提供的一种基于深度学习的多模式装配工序识别方法的流程示意图。
[0013]图5示出了本申请一个示例性实施例提供的另一种基于深度学习的多模式装配工序识别方法的流程示意图。
[0014]图6示出了本申请一个示例性实施例提供的一种显示设备所显示内容的示意图。
具体实施方式
[0015]为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
[0016]图1示出了本申请一个示例性实施例提供的一种基于深度学习的多模式装配工序识别系统的结构示意图，请参考图1，该系统包括摄像头110、计算机设备120、位置传感器130、限位开关140以及放行开关150。摄像头、位置传感器、限位开关以及放行开关分别与计算机设备通信连接。
[0017]在本申请实施例中，位置传感器、限位开关以及放行开关均实现为零件装配产线上的组件，其中，位置传感器以及限位开关配合作用，用于零件运动至待装配位置时，对于待装配零件进行限位，并进行信号反馈，使得计算机设备知悉装配流程开始，进行装配工序的识别过程。在装配工序识别结束且装配工序正确后，放行开关将启动，使得装配完成后的零件送至后续不部分，如，零件缺陷检测处或仓储部分。
[0018]在本申请实施例中，摄像头与计算机设备配合工作，以完成装配工序的识别过程。其中，摄像头即实现为具有图像采集功能与通信功能的装置，其能够基于通信信号，执行视频拍摄过程并通过与计算机设备的通信连接将装配视频进行实时传输。
[0019]在本申请实施例中，计算机设备实现为具有数据处理接收、数据发送以及数据处理的设备。可选地，计算机设备实现为个人电脑，或，基于人工智能的边缘计算设备。可选地，计算机设备具有专用于进行视频处理制作的框架，请参考图2，其集成有拉流201、预处理202、目标检测203，后处理204，存储与显示205共计五类功能，以执行本申请所需的装配工序识别过程。需要说明的是，本申请实施例中，计算机设备的存储功能可以是本地存储功能，也可以是因此，在上述过程中，位置传感器，用于响应于待装配零件位于装配位置，向计算机设备发送待检测信号；限位开关，用于响应于待装配工件位于装配位置，限制待装配零件所在产线的运动；计算机设备，用于接收待检测信号；基于待检测信号向摄像头发送视频采集信号；摄像头，用于接收视频采集信号；基于视频采集信号对待装配零件所处的位置进行视频采集，得到装配视频；将装配视频实时发送至计算机设备；计算机设备，用于接收装配视频；基于深度学习技术对装配视本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的多模式装配工序识别系统，其特征在于，所述系统包括摄像头、计算机设备、位置传感器、限位开关以及放行开关；所述摄像头、所述位置传感器、所述限位开关以及所述放行开关分别与所述计算机设备通信连接；所述位置传感器，用于响应于待装配零件位于装配位置，向所述计算机设备发送待检测信号；所述限位开关，用于响应于所述待装配工件位于装配位置，限制所述待装配零件所在产线的运动；所述计算机设备，用于接收所述待检测信号；基于所述待检测信号向所述摄像头发送视频采集信号；所述摄像头，用于接收所述视频采集信号；基于所述视频采集信号对所述待装配零件所处的位置进行视频采集，得到装配视频；将所述装配视频实时发送至所述计算机设备；所述计算机设备，用于接收所述装配视频；基于深度学习技术对所述装配视频进行动作识别，得到装配动作组合，所述装配动作组合中包括至少两个装配动作，以及与所述装配动作对应的装配动作顺序，所述装配组合用于将所述待装配零件处理为装配后零件；将所述装配动作组合与预设装配动作组合进行比对；响应于所述装配动作组合与所述预设装配动作组合一致，向所述放行开关发送放行信号；所述放行开关，用于接收所述放行信号；基于所述放行信号启动所述装配后零件所在产线。2.根据权利要求1所述的系统，其特征在于，所述计算机设备，还用于对所述装配视频进行预处理；响应于所述装配视频经过预处理，通过动作识别模型对预处理后的所述装配视频进行实时动作识别，得到所述装配动作组合，所述动作识别模型为Yolov5模型，所述动作识别模型对应有动作识别模型训练样本集，所述动作识别模型集中包括至少两个标注有样本动作识别结果的样本动作，所述样本动作标注有接触状态特征以及位置特征。3.根据权利要求1所述的系统，其特征在于，所述动作识别模型包括处理输入图像层、特征提取层以及损失函数及输出层，所述特征提取层用于提取接触状态特征以及位置特征。4.根据权利要求1所述的系统，其特征在于，所述系统还包括显示设备；所述计算机设备，还用于响应于接收到所述装配视频显示设备发送显示指令，所述显示指令中包括装配视频；所述显示设备，用于接收所述显示指令；根据所述显示指令，基于万维网WEB技术进行所述装配视频的显示。5.根据权利要求4所述的系统，其特征在于，所述显示指令中还包括与预设...

【专利技术属性】
技术研发人员：杨桂锋，仲如星，胡震，倪锡剑，夏志禹，陈凯，钱圆园，
申请(专利权)人：无锡威孚高科技集团股份有限公司，
类型：发明
国别省市：