生产线零件错漏装处理设备、方法、装置和存储介质制造方法及图纸

本发明专利技术提供了一种生产线零件错漏装处理设备、方法、装置和存储介质。该设备包括树莓派、图像采集器件、音频输出器件、报警器件、显示器件和人体传感器。树莓派用于：从生产设备PLC读取检测对象到达工位后的等待信号；驱动图像采集器件采集检测对象图像；在检测对象图像中截取感兴趣图像区域；利用开源计算机视觉库，判断感兴趣图像区域中是否存在零件错漏装，标识其位置；驱动报警器件执行报警；控制音频输出器件输出提示语音；驱动显示器件显示错漏装零件图像；向生产设备PLC发送停线信号；在生产线停止运行之后，在接收到人体感应信号时，向生产设备PLC发送开线信号，控制生产线恢复运行。本发明专利技术极大减少了硬件成本，对生产线的控制及时、迅速。迅速。迅速。

【技术实现步骤摘要】
生产线零件错漏装处理设备、方法、装置和存储介质


[0001]本专利技术的实施方式总体上涉及生产线零件装配领域，更具体地，涉及一种生产线零件错漏装处理设备、方法、装置和存储介质。

技术介绍

[0002]产品组装生产线面临最常见及后果较严重的质量问题为零件的错漏装。传统的解决方式为在每一段生产线的末尾设置人工检查点来识别问题，但这种方式具有滞后性、浪费人员工时、和不能100％识别出漏装装的缺点。由于硬件性能的提升及各类基础理论算法的提出，计算机机器视觉技术在近几年高速发展，在制造、医疗、安防及自动驾驶领域上都得到了大规模的应用。在现代制造领域，机器视觉技术可以实现产品的检测及生产设备动作的定位，即可以用于零件错漏装的检测。
[0003]目前市面上已经有了VMT、IRSA、基恩士和康耐视等品牌的成熟的工业视觉方案，但这些商业化的解决方案(工业相机+工业镜头+配套软件+工业电脑+工业光源)十分昂贵，一套的成本达十万余元，推广使用经济性不高，难于被中小型公司接受。此外，产品组装生产线部分防差错场景需求简单，只需简单识别出零件的有无、区分出颜色或图案的不同等，不需要商业方案的高精度及运算处理能力，直接使用商业方案等于“大马拉小车”，造成成本和资源的浪费。

技术实现思路

[0004]为了解决现有技术中的上述问题，在第一方面，本专利技术的实施方式提供了一种生产线零件错漏装处理设备，所述设备包括树莓派、图像采集器件、音频输出器件、报警器件、显示器件和人体传感器。所述树莓派通过传输控制协议/网际协议与生产线上的生产设备可编程逻辑控制器可通信地连接，通过通用串行总线接口或者相机串行接口与所述图像采集器件连接，通过音频接口与所述音频输出器件通信并且通过通用串行总线接口为所述音频输出器件供电，通过通用输入输出接口与所述报警器件和所述人体传感器连接，通过高清多媒体接口与所述显示器件连接。所述图像采集器件用于在所述树莓派的驱动下采集所述检测对象图像。所述人体传感器用于在生产线停止运行的情况下无接触式地感测人体，并且在感测到人体时生成人体感应信号，将所述人体感应信号发送至所述树莓派。所述树莓派用于：以固定时间间隔从生产线上的生产设备可编程逻辑控制器上读取检测对象到达工位后的等待信号；在读取到所述等待信号时，驱动所述图像采集器件采集检测对象图像；在所述检测对象图像中截取感兴趣图像区域；利用开源计算机视觉库，根据零件无错漏装情况下的零件安装状态的参考图像特征，对所述感兴趣图像区域中的零件安装状态的图像特征进行识别，判断是否存在零件错漏装，并且在存在零件错漏装时，标识错漏装零件的位置；在判断存在错漏装时，驱动报警器件执行报警；控制所述音频输出器件输出提示错漏装零件的名称、种类、位置中的一个或多个的语音；驱动所述显示器件显示错漏装零件和所标识的位置的图像；并且，向所述生产设备可编程逻辑控制器发送停线信号，以便于所述生产
设备可编程逻辑控制器控制生产线停止运行；在生产线停止运行之后，在接收到所述人体感应信号时，向所述生产设备可编程逻辑控制器发送开线信号，以便于所述生产设备可编程逻辑控制器控制所述生产线恢复运行。所述报警器件用于在所述树莓派的驱动下执行报警。所述音频输出器件用于在所述树莓派的控制下播放提示错漏装零件的名称、种类、位置中的一个或多个的语音。所述显示器件用于在所述树莓派的驱动下显示错漏装零件的位置的图像。
[0005]在一些实施方式中，利用开源计算机视觉库，根据零件无错漏装情况下的零件安装状态的参考图像特征，对所述感兴趣图像区域中的零件安装状态的图像特征进行识别，判断是否存在零件错漏装包括：对所述感兴趣图像区域进行灰度化处理，生成单通道灰度图；利用开源计算机视觉库将所述单通道灰度图转换为黑白二值图；利用开源计算机视觉库提取出所述黑白二值图内的目标轮廓；利用开源计算机视觉库计算出所述黑白二值图中的目标轮廓的面积或者周长，并且与目标轮廓的阈值面积或者阈值周长进行对比，判断是否存在零件错漏装，其中，所述阈值面积和所述阈值周长是分别根据零件无错漏装情况下的目标轮廓的面积或者周长而确定的。
[0006]在一些实施方式中，利用开源计算机视觉库，根据零件无错漏装情况下的零件安装状态的参考图像特征，对所述感兴趣图像区域中的零件安装状态的图像特征进行识别，判断是否存在零件错漏装包括：利用开源计算机视觉库将所述感兴趣图像区域由三原色模型图像转换为色调
‑
饱和度
‑
明度模型图像；利用开源计算机视觉库，基于预先定义的待检测颜色的上下限阈值，将所述色调
‑
饱和度
‑
明度模型图像转换为灰度图，将所述灰度图中待检测颜色的区域的像素值赋值为第一数值，将其他区域的像素值赋值为第二数值；利用开源计算机视觉库，计算所述灰度图中像素值为第一数值的像素点的第一数目，将所述第一数目与第一数目阈值进行对比，根据对比结果判断是否存在零件错漏装，其中，所述第一数目阈值是根据零件无错漏装情况下的第一数目的数值而确定的。
[0007]在一些实施方式中，所述人体传感器是人体红外感应传感器。
[0008]在一些实施方式中，所述树莓派上装载有Raspbian操作系统、Snap7库和所述开源计算机视觉库，所述Snap7库用于执行与生产线上的所述生产设备可编程逻辑控制器的通信。
[0009]在第二方面，本专利技术的实施方式提供了一种生产线零件错漏装处理方法，所述方法应用于生产线零件错漏装处理设备中的树莓派，所述方法包括：通过传输控制协议/网际协议，以固定时间间隔从生产线上的生产设备可编程逻辑控制器上读取检测对象到达工位后的等待信号；在读取到所述等待信号时，通过通用串行总线接口或者相机串行接口驱动所述图像采集器件采集检测对象图像；在所述检测对象图像中截取感兴趣图像区域；利用开源计算机视觉库，根据零件无错漏装情况下的零件安装状态的参考图像特征，对所述感兴趣图像区域中的零件安装状态的图像特征进行识别，判断是否存在零件错漏装，并且在存在零件错漏装时，标识错漏装零件的位置；在判断存在错漏装时，通过通用输入输出接口驱动报警器件执行报警；通过音频接口控制所述音频输出器件输出提示错漏装零件的名称、种类、位置中的一个或多个的语音；通过高清多媒体接口驱动所述显示器件显示错漏装零件和所标识的位置的图像；并且，通过传输控制协议/网际协议向所述生产设备可编程逻辑控制器发送停线信号，以便于所述生产设备可编程逻辑控制器控制生产线停止运行；在
生产线停止运行之后，在通过通用输入输出接口接收到所述人体感应信号时，通过传输控制协议/网际协议向所述生产设备可编程逻辑控制器发送开线信号，以便于所述生产设备可编程逻辑控制器控制所述生产线恢复运行。
[0010]在一些实施方式中，利用开源计算机视觉库，根据零件无错漏装情况下的零件安装状态的参考图像特征，对所述感兴趣图像区域中的零件安装状态的图像特征进行识别，判断是否存在零件错漏装包括：对所述感兴趣图像区域进行灰度化处理，生成单通道灰度图；利用开源计算机视觉库将所述单通道灰度图转换为黑白二值图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种生产线零件错漏装处理设备，其特征在于，所述设备包括树莓派、图像采集器件、音频输出器件、报警器件、显示器件和人体传感器，所述树莓派通过传输控制协议/网际协议与生产线上的生产设备可编程逻辑控制器可通信地连接，通过通用串行总线接口或者相机串行接口与所述图像采集器件连接，通过音频接口与所述音频输出器件通信并且通过通用串行总线接口为所述音频输出器件供电，通过通用输入输出接口与所述报警器件和所述人体传感器连接，通过高清多媒体接口与所述显示器件连接，所述图像采集器件用于在所述树莓派的驱动下采集所述检测对象图像；所述人体传感器用于在生产线停止运行的情况下无接触式地感测人体，并且在感测到人体时生成人体感应信号，将所述人体感应信号发送至所述树莓派；所述树莓派用于：以固定时间间隔从生产线上的生产设备可编程逻辑控制器上读取检测对象到达工位后的等待信号；在读取到所述等待信号时，驱动所述图像采集器件采集检测对象图像；在所述检测对象图像中截取感兴趣图像区域；利用开源计算机视觉库，根据零件无错漏装情况下的零件安装状态的参考图像特征，对所述感兴趣图像区域中的零件安装状态的图像特征进行识别，判断是否存在零件错漏装，并且在存在零件错漏装时，标识错漏装零件的位置；在判断存在错漏装时，驱动报警器件执行报警；控制所述音频输出器件输出提示错漏装零件的名称、种类、位置中的一个或多个的语音；驱动所述显示器件显示错漏装零件和所标识的位置的图像；并且，向所述生产设备可编程逻辑控制器发送停线信号，以便于所述生产设备可编程逻辑控制器控制生产线停止运行；在生产线停止运行之后，在接收到所述人体感应信号时，向所述生产设备可编程逻辑控制器发送开线信号，以便于所述生产设备可编程逻辑控制器控制所述生产线恢复运行；所述报警器件用于在所述树莓派的驱动下执行报警；所述音频输出器件用于在所述树莓派的控制下播放提示错漏装零件的名称、种类、位置中的一个或多个的语音；所述显示器件用于在所述树莓派的驱动下显示错漏装零件的位置的图像。2.根据权利要求1所述的设备，其特征在于，利用开源计算机视觉库，根据零件无错漏装情况下的零件安装状态的参考图像特征，对所述感兴趣图像区域中的零件安装状态的图像特征进行识别，判断是否存在零件错漏装包括：对所述感兴趣图像区域进行灰度化处理，生成单通道灰度图；利用开源计算机视觉库将所述单通道灰度图转换为黑白二值图；利用开源计算机视觉库提取出所述黑白二值图内的目标轮廓；利用开源计算机视觉库计算出所述黑白二值图中的目标轮廓的面积或者周长，并且与目标轮廓的阈值面积或者阈值周长进行对比，判断是否存在零件错漏装，其中，所述阈值面积和所述阈值周长是分别根据零件无错漏装情况下的目标轮廓的面积或者周长而确定的。3.根据权利要求1所述的设备，其特征在于，利用开源计算机视觉库，根据零件无错漏装情况下的零件安装状态的参考图像特征，对所述感兴趣图像区域中的零件安装状态的图
像特征进行识别，判断是否存在零件错漏装包括：利用开源计算机视觉库将所述感兴趣图像区域由三原色模型图像转换为色调
‑
饱和度
‑
明度模型图像；利用开源计算机视觉库，基于预先定义的待检测颜色的上下限阈值，将所述色调
‑
饱和度
‑
明度模型图像转换为灰度图，将所述灰度图中待检测颜色的区域的像素值赋值为第一数值，将其他区域的像素值赋值为第二数值；利用开源计算机视觉库，计算所述灰度图中像素值为第一数值的像素点的第一数目，将所述第一数目与第一数目阈值进行对比，根据对比结果判断是否存在零件错漏装，其中，所述第一数目阈值是根据零件无错漏装情况下的第一数目的数值而确定的。4.根据权利要求1所述的设备，其特征在于，所述人体传感器是人体红外感应传感器。5.根据权利要求1所述的设备，其特征在于，所述树莓派上装载有Raspbian操作系统、Snap7库和所述开源计算机视觉库，所述Snap7库用于执行与生产线上的所述生产设备可编程逻辑控制器的通信。6.一种生产线零件错漏装处理方法，其特征在于，所述方法应用于生产线零件错漏装处理设备中的树莓派，所述方法包括：通过传输控制协议/网际协议，以固定时间间隔从生产线上的生产设备可编程逻辑控制器上读取检测对象到达工位后的等待信号；在读取到所述等待信号时，通过通用串行总线接口或者相机...

【专利技术属性】
技术研发人员：王钒旭，白塔，何森，刘国华，
申请(专利权)人：一汽大众汽车有限公司，
类型：发明
国别省市：