一种基于深度学习的工序检测装置及其工序检测方法制造方法及图纸

本发明专利技术属于基于深度学习的工序检测技术领域，特别涉及一种基于深度学习的工序检测装置及其工序检测方法。本发明专利技术包括离线工序检测模型训练模块和在线工序检测模块，所述离线工序检测模型训练模块用于获取工序中每一个步骤的产品图像信息，并对所述产品图像信息进行分析训练，得到工序对应的神经网络模型，并将所述神经网络模型存储至模型库，在线工序检测模块用于接收操作人员从模型库中选择的神经网络模型，分析并识别出工序类型，并将工序类型反馈至操作人员。本发明专利技术的成本低廉、兼容性好、工序检测准确，而且能够对生产物料进行实时追踪，记录工件的坐标，数量以及计算装配时间，记录工件装配顺序。

A process detection device based on deep learning and its process detection method

The invention belongs to the technical field of process detection based on depth learning, in particular to a process detection device and a process detection method based on depth learning. The invention comprises an off-line process detection model training module and an on-line process detection module. The off-line process detection model training module is used to obtain the product image information of each step in the process, and the product image information is analyzed and trained to obtain the neural network model corresponding to the process, and the neural network is used to obtain the product image information of each step in the process. The network model is stored in the model library, and the on-line process detection module is used to receive the neural network model selected by the operator from the model library, analyze and identify the process type, and feedback the process type to the operator. The invention has the advantages of low cost, good compatibility, accurate process detection, real-time tracking of production materials, recording coordinates of workpieces, calculating assembly time and recording assembly sequence of workpieces.

【技术实现步骤摘要】
一种基于深度学习的工序检测装置及其工序检测方法
本专利技术属于基于深度学习的工序检测
，特别涉及一种基于深度学习的工序检测装置及其工序检测方法。
技术介绍
由于制造类企业近年来的生产成本的急剧上升，其中大部分来自于劳动成本的上升，许多制造类企业，特别是劳动密集性企业，不仅面临着工人工资的大幅上升，而且面临着工人难招，离职率高，而且面临工人难以管理，生产效率和产品质量难以保证的困境。现有技术中使用亮灯分拣系统来监管生产效率和提升品质，但是由于亮灯分拣系统需要设计专门的电路板，并配置主机，硬件造价成本较高；由于制造类企业的生产线上的物料种类差别很大，型号复杂，对于工位区域内有些动作不在亮灯的信号采集区域，就无法采集数据。因此亟需提供一种成本低廉、兼容性好、工序检测准确的基于深度学习的工序检测装置。
技术实现思路
本专利技术为了克服上述现有技术的不足，提供了一种基于深度学习的工序检测装置，本专利技术成本低廉、兼容性好、工序检测准确。为实现上述目的，本专利技术采用了以下技术措施：一种基于深度学习的工序检测装置包括离线工序检测模型训练模块和在线工序检测模块，其中，离线工序检测模型训练模块，用于获取工序中每一个步骤的产品图像信息，并对所述产品图像信息进行分析训练，得到工序对应的神经网络模型，并将所述神经网络模型存储至模型库；在线工序检测模块，用于接收操作人员从模型库中选择的神经网络模型，分析并识别出工序类型，并将工序类型反馈至操作人员。优选的，所述离线工序检测模型训练模块包括背景图像获取单元、第一样本生成单元、分割模型训练单元、工件图像获取单元、工件分割单元、第二样本生成单元、训练目标检测模型单元，背景图像获取单元，用于分别获取不同环境下的多个颜色的背景图像，并将所述背景图像发送至第一样本生成单元；第一样本生成单元，用于获取不带有背景图像的工件图像，并对不带有背景图像的工件图像进行图像处理操作，得到图像处理后的工件图像，将所述图像处理后的工件图像贴到背景图像的任意位置，得到第一样本图像，对第一样本图像进行二值化处理，得到第一标签图像；分割模型训练单元，用于接收来自第一样本生成单元的第一样本图像和第一标签图像，利用第一样本图像和第一标签图像训练基于深度学习的图像分割模型，输出多个颜色的背景图像的分割模型；工件图像获取单元，用于获取不同环境下的工件以及与工件颜色反差较大的背景相结合的图像，并将结合后的图像发送至工件分割单元；工件分割单元，用于接收来自分割模型训练单元的多个颜色的背景图像的分割模型，以及来自工件图像获取单元的结合后的图像，多个颜色的背景图像的分割模型分割结合后的图像，得到分割后的工件图像；第二样本生成单元，用于接收来自工件分割单元的分割后的工件图像，并将分割后的工件图像进行图像处理操作，得到第二样本图像，对第二样本图像进行二值化处理，得到第二标签图像；训练目标检测模型单元，用于接收来自第二样本生成单元的第二样本图像以及第二标签图像，利用第二样本图像和第二标签图像训练基于深度学习的目标检测模型，输出工序对应的神经网络模型。优选的，所述在线工序检测模块包括图像提取单元、预处理单元、工件目标检测单元、手部目标检测单元、工序判断单元以及计时显示单元；图像提取单元，用于获取监控设备拍摄的视频图像，并将所述视频图像发送至预处理单元；预处理单元，用于对视频图像进行预处理操作，并将预处理后的视频图像分别发送至工件目标检测单元、手部目标检测单元、计时显示单元；工件目标检测单元，用于接收来自训练目标检测模型单元的工序对应的神经网络模型以及预处理后的视频图像，得到预处理后的视频图像中的工件目标的坐标、大小以及类别；手部目标检测单元，用于接收预处理后的视频图像，利用基于深度学习的手部检测模型，得到预处理后的视频图像中的手部目标的坐标、大小；工序判断单元，用于接收预处理后的视频图像中的工件目标的坐标、大小、类别以及预处理后的视频图像中的手部目标的坐标、大小，判断视频图像中的工件目标的工序类型以及工件目标是否为人工正在操作的工件，并将判断结果发送至计时显示单元；计时显示单元，用于更新各个工序的计时，在监控设备拍摄的视频图像中画出工件目标的位置、工序以及时间。本专利技术还提供了一种基于深度学习的工序检测装置的工序检测方法，包括以下步骤：S1、所述背景图像获取单元分别获取不同环境下的多个颜色的背景图像，并将所述背景图像发送至第一样本生成单元；S2、所述第一样本生成单元获取不带有背景图像的工件图像，并对不带有背景图像的工件图像进行图像处理操作，得到图像处理后的工件图像，将所述图像处理后的工件图像贴到背景图像的任意位置，得到第一样本图像，对第一样本图像进行二值化处理，得到第一标签图像；S3、所述分割模型训练单元接收来自第一样本生成单元的第一样本图像和第一标签图像，利用第一样本图像和第一标签图像训练基于深度学习的图像分割模型，分割模型训练单元输出多个颜色的背景图像的分割模型；S4、所述工件图像获取单元获取不同环境下的工件以及与工件颜色反差较大的背景相结合的图像，并将结合后的图像发送至工件分割单元；S5、所述工件分割单元接收来自分割模型训练单元的多个颜色的背景图像的分割模型，以及接收来自工件图像获取单元的结合后的图像，多个颜色的背景图像的分割模型分割结合后的图像，得到分割后的工件图像；S6、所述第二样本生成单元接收来自工件分割单元的分割后的工件图像，并将分割后的工件图像进行图像处理操作，得到第二样本图像，对第二样本图像进行二值化处理，得到第二标签图像；S7、所述训练目标检测模型单元接收来自第二样本生成单元的第二样本图像以及第二标签图像，利用第二样本图像和第二标签图像训练基于深度学习的目标检测模型，输出工序对应的神经网络模型；S8、所述图像提取单元获取监控设备拍摄的视频图像，并将所述视频图像发送至预处理单元；S9、所述预处理单元对视频图像进行预处理操作，并将预处理后的视频图像分别发送至工件目标检测单元、手部目标检测单元、计时显示单元；S10、所述工件目标检测单元接收来自训练目标检测模型单元的工序对应的神经网络模型以及预处理后的视频图像，得到预处理后的视频图像中的工件目标的坐标、大小以及类别；S11、所述手部目标检测单元接收预处理后的视频图像，利用基于深度学习的手部检测模型，得到预处理后的视频图像中的手部目标的坐标、大小；S12、所述工序判断单元接收预处理后的视频图像中的工件目标的坐标、大小、类别以及预处理后的视频图像中的手部目标的坐标、大小，判断视频图像中的工件目标的工序类型以及工件目标是否为人工正在操作的工件，并将判断结果发送至计时显示单元；S13、所述计时显示单元更新各个工序的计时，在监控设备拍摄的视频图像中画出工件目标的位置、工序以及时间。优选的，步骤S9中的所述预处理单元对视频图像进行预处理操作具体包括以下步骤：S91、将视频图像按照原图像比例缩放为长边448像素；S92、所述长边448像素中的每个像素点均除以255，将每个像素点归一化到0～1之间，得到归一化后的像素点；S93、所述归一化后的像素点中的每个通道分别减去相应通道的均值，得到预处理后的视频图像。进一步的，步骤S1中的所述不同环境包括光照、焦距、噪音环境。进一步的，步骤S2中的图本文档来自技高网...

【技术保护点】
1.一种基于深度学习的工序检测装置，其特征在于：包括离线工序检测模型训练模块(10)和在线工序检测模块(20)，其中，离线工序检测模型训练模块(10)，用于获取工序中每一个步骤的产品图像信息，并对所述产品图像信息进行分析训练，得到工序对应的神经网络模型，并将所述神经网络模型存储至模型库；在线工序检测模块(20)，用于接收操作人员从模型库中选择的神经网络模型，分析并识别出工序类型，并将工序类型反馈至操作人员。

【技术特征摘要】
1.一种基于深度学习的工序检测装置，其特征在于：包括离线工序检测模型训练模块(10)和在线工序检测模块(20)，其中，离线工序检测模型训练模块(10)，用于获取工序中每一个步骤的产品图像信息，并对所述产品图像信息进行分析训练，得到工序对应的神经网络模型，并将所述神经网络模型存储至模型库；在线工序检测模块(20)，用于接收操作人员从模型库中选择的神经网络模型，分析并识别出工序类型，并将工序类型反馈至操作人员。2.如权利要求1所述的一种基于深度学习的工序检测装置，其特征在于：所述离线工序检测模型训练模块(10)包括背景图像获取单元(11)、第一样本生成单元(12)、分割模型训练单元(13)、工件图像获取单元(14)、工件分割单元(15)、第二样本生成单元(16)、训练目标检测模型单元(17)，背景图像获取单元(11)，用于分别获取不同环境下的多个颜色的背景图像，并将所述背景图像发送至第一样本生成单元(12)；第一样本生成单元(12)，用于获取不带有背景图像的工件图像，并对不带有背景图像的工件图像进行图像处理操作，得到图像处理后的工件图像，将所述图像处理后的工件图像贴到背景图像的任意位置，得到第一样本图像，对第一样本图像进行二值化处理，得到第一标签图像；分割模型训练单元(13)，用于接收来自第一样本生成单元(12)的第一样本图像和第一标签图像，利用第一样本图像和第一标签图像训练基于深度学习的图像分割模型，输出多个颜色的背景图像的分割模型；工件图像获取单元(14)，用于获取不同环境下的工件以及与工件颜色反差较大的背景相结合的图像，并将结合后的图像发送至工件分割单元(15)；工件分割单元(15)，用于接收来自分割模型训练单元(13)的多个颜色的背景图像的分割模型，以及来自工件图像获取单元(14)的结合后的图像，多个颜色的背景图像的分割模型分割结合后的图像，得到分割后的工件图像；第二样本生成单元(16)，用于接收来自工件分割单元(15)的分割后的工件图像，并将分割后的工件图像进行图像处理操作，得到第二样本图像，对第二样本图像进行二值化处理，得到第二标签图像；训练目标检测模型单元(17)，用于接收来自第二样本生成单元(16)的第二样本图像以及第二标签图像，利用第二样本图像和第二标签图像训练基于深度学习的目标检测模型，输出工序对应的神经网络模型。3.如权利要求2所述的一种基于深度学习的工序检测装置，其特征在于：所述在线工序检测模块(20)包括图像提取单元(21)、预处理单元(22)、工件目标检测单元(23)、手部目标检测单元(24)、工序判断单元(25)以及计时显示单元(26)；图像提取单元(21)，用于获取监控设备拍摄的视频图像，并将所述视频图像发送至预处理单元(22)；预处理单元(22)，用于对视频图像进行预处理操作，并将预处理后的视频图像分别发送至工件目标检测单元(23)、手部目标检测单元(24)、计时显示单元(26)；工件目标检测单元(23)，用于接收来自训练目标检测模型单元(17)的工序对应的神经网络模型以及预处理后的视频图像，得到预处理后的视频图像中的工件目标的坐标、大小以及类别；手部目标检测单元(24)，用于接收预处理后的视频图像，利用基于深度学习的手部检测模型，得到预处理后的视频图像中的手部目标的坐标、大小；工序判断单元(25)，用于接收预处理后的视频图像中的工件目标的坐标、大小、类别以及预处理后的视频图像中的手部目标的坐标、大小，判断视频图像中的工件目标的工序类型以及工件目标是否为人工正在操作的工件，并将判断结果发送至计时显示单元(26)；计时显示单元(26)，用于更新各个工序的计时，在监控设备拍摄的视频图像中画出工件目标的位置、工序以及时间。4.如权利要求3所述的一种基于深度学习的工序检测装置的工序检测方法，其特征在于，包括以下步骤：S1、所述背景图像获取单元(11)分别获取不同环境下的多个颜色的背景图像，并将所述背景图像发送至第一样本生成单元(12)；S2、所述第一样本生成...

【专利技术属性】
技术研发人员：许鹏，令狐彬，钱戈，童文富，张鲜顺，
申请(专利权)人：合肥迪宏自动化有限公司，
类型：发明
国别省市：安徽,34