一种基于深度学习算法的液体内异物与气泡智能视觉检测系统技术方案

一种基于深度学习算法的液体内异物与气泡智能视觉检测系统，其特征在于：包括多个工站、多个光源和多个工业相机，以及图像采集模块、图像预处理及筛选模块、分组转发模块、两级分类模块和分类结果统计模块。本发明专利技术创造性地在流水线上直接检测自旋后运动中的液瓶，去掉了输液瓶旋转后急停的步骤，这样不仅能够简化灯检机硬件电路设计，而且由于不再需要旋转后急停再进行拍照，所以减少了时间损耗，使检测速度变快；首创瓶身水平放置后检测方法，大大提高异物检出概率，对漂浮异物也有较好的检出效果，使用多相机多工站，做到输液瓶的内外全方位检测，另外，针对快速沉底异物单独使用一个工站进行检测，检出效果可达100％。

An intelligent visual detection system for foreign bodies and bubbles in liquid based on deep learning algorithm

【技术实现步骤摘要】
一种基于深度学习算法的液体内异物与气泡智能视觉检测系统
本专利技术涉及智能视觉检测
，特别涉及一种基于深度学习算法的液体内异物与气泡智能视觉检测系统。
技术介绍
近年来，市场上中药口服液的种类和数量增长迅速。然而目前研究的可见异物检测方法主要是传统的较大输液瓶、安瓿瓶的静态检测方法。中药药液瓶瓶身较小，自旋后在流水线上继续运动的设备在制造上早已可以实现，然而相应检测流水线上直线运动中的药液瓶中杂质技术却没有跟上研究步伐。目前多数还停留在人工检测阶段，检测方法为由培训过的工人在日光灯下观察药液中是否有可见异物，若有则将瓶子丢弃在专门盛装不合格品的大容器内，这种方法称为人工灯检。由于长时间的工作会使得人眼疲劳，影响检测效果，并且需要每个员工时刻保持高度责任心对自己的工作认真仔细，因此人工检测结果在很大程度上都和每个人的视力、责任心、甚至心情等众多主观因素有关，不能保证检测结果的客观准确。有些企业为保证检测质量，规定灯检工人每工作一小段时间便需休息一段时间，这样的做法虽然可以在一定程度上减少了主观因素对检测结果的影响，但大大降低了生产效率，使得最后的药液质量检测环节成为影响医药产品生产过程速度的瓶颈环节，也成为影响医药生产行业效益的一个重要因素。在我国，由于生产工艺原因，盛装药液的容器质量参差不齐，瓶壁厚度不均，密度分布也不均匀，因此，虽然德国、日本等发达国家已经有比较成熟的全自动灯检设备，但设备不仅价格高昂，而且由于国内外的容器标准等的不同会造成过高的次品率，使企业得不偿失。因此开发适合我国国情的全自动灯检设备势在必行，即采用机器视觉的方法模拟人类眼睛进行检测，但在视觉方面由于以下几点难点使得现在市面上仍没有一台能够客观准确的检测出异物的全自动灯捡机：(1)成像过程中的图像随机噪声以及其他众多干扰。在成像过程中的干扰主要包括以下几点：a)由于生产环境不洁，空气中含有的微小悬浮物或灰尘颗粒等；b)容器本身缺陷如玻璃瓶上的裂痕会造成强烈反光，对异物跟踪与识别造成严重干扰；(2)瓶壁上的刻字、凹痕等会偶尔遮挡异物，造成识别错误；(3)由于机械加工精度影响，在成像过程中装药液的瓶子会发生移动，增加检测识别的难度；(4)不同产品所含有的异物种类、数量不同，即使同一类产品的不同个体也会含有多种异物并且数量不一、大小迥异，需要找寻一种通用有效的检测识别方法。检测速度和检测精度的要求增加了检测难度。由于检测速度的要求，一方面限制了获取图像帧数，另一方面也限制了先进检测算法的应用。
技术实现思路
本专利技术的主要目的在于提供一种基于深度学习算法的液体内异物与气泡智能视觉检测系统，可以有效解决
技术介绍
中的问题。为实现上述目的，本专利技术采取的技术方案为：一种基于深度学习算法的液体内异物与气泡智能视觉检测系统，其特征在于：包括多个工站、多个光源和多个工业相机，以及图像采集模块、图像预处理及筛选模块、分组转发模块、两级分类模块和分类结果统计模块；所述工站包括吊环工站、瓶盖工站、外观微粒工站、微粒工站、仿人工工站和沉底工站；所述光源均连接有光源控制器；所述吊环工站配备有一个环形光源和多个工业相机，所述瓶盖工站配备有一个环形光源和多个工业相机，所述外观微粒工站配备有两个弧面光源和多个工业相机、所述微粒工站配备有两个弧面光源和多个工业相机、所述仿人工工站配备有一个大背光源和多个工业相机，所述沉底工站配备有一个小背光源和多个工业相机，各个目标水平放置在各个工站上。进一步的，所述吊环工站和所述瓶盖工站均包括可旋转的机械手，工业相机布设在机械手的侧面，光源配置在机械手的下部或上部，所述外观微粒工站、所述微粒工站、所述仿人工工站和所述沉底工站均包括一传送带，工业相机布设在传送带的两侧和上部，所述弧面光源布设在传送带的两侧，大背光源和小背光源配置在传送带下部。进一步的，所述图像采集模块连接各工业相机，采集各工业相机的图像数据；所述图像预处理及筛选模块对所述图像采集模块采集到的图像使用中值滤波去噪，并通过二阶Sobel滤波对感兴趣区域进行相应的边缘提取并通过对所述图像进行分割计算提取工程阈值，通过工程阈值筛选出异常的图像帧；所述分组转发模块对所述图像预处理及筛选模块处理过的图像数据进行统一编码并将其发送到两级分类模块；所述编码将包括所属组信息、当前时间信息以及预处理结果信息设置唯一性的ID；所属组信息根据异常类型或者处理方案进行分组；所述两级分类模块对所述分组转发模块发送的图像数据进行可疑异常检测和第二级的异常目标检测；所述可疑异常检测对特定目标图像进行初筛选，得到特定目标的图像帧；所述第二级的异常目标检测通过卷积神经网络对预先采集的实际样图训练，对当前目标下的吊环或瓶盖或瓶体外观或沉底异物或液体内颗粒、毛发状漂浮物进行监测得到异常报警信息，对可疑异常检测得到的特定目标的图像帧进行当前目标下的目标异常程度进行辨别；所述分类结果统计模块统计所述两级分类模块得到的分类结果并通过对分类结果的连续时间性判断做出分类结果判定，并将相应的结果数据保存到本地；所述分类结果判定采用时间连续性判定，即通过判断是否在根据不同的要求和不同的目标所确定的设定时间段出现相同结果得到最终判断结果，并且将得到的结果存储到本地用于线下模型优化；所述图像采集模块采用添加输出功能的监控设备或者可执行图像数据提取的处理单元；所述图像预处理及筛选模块使用具备图像数据处理功能的监控设备或者可执行图像数据处理的处理单元。进一步的，所述两级分类模块包括第一级神经网络和第二级神经网络；所述第一级神经网络由一个神经网络模型组成，所述神经网络模型选用RCNN、FastR-CNN、FasterR-CNN、FPN、YOLOv1、YOLOv2、SSD或RetinaNet；所述第二级神经网络使用卷积神经网络模型，根据检测目标的数目确定所述神经网络模型数量。进一步的，还包括主控中心，所述主控中心包括消息管理模块以及预警和显示模块；所述消息管理模块用于接收和传递各模块间事件消息；所述预警和显示模块用于接收分类结果并对相应的结果发送至异常目标剔除设备并输出到显示设备。进一步的，所述异常目标剔除设备采用药瓶剔除机，所述显示设备为电脑客户端或者网页端。与现有技术相比，本专利技术具有如下有益效果：本专利技术创造性地在流水线上直接检测自旋后运动中的液瓶，去掉了输液瓶旋转后急停的步骤，这样不仅能够简化灯检机硬件电路设计，而且由于不再需要旋转后急停再进行拍照，所以减少了时间损耗，使检测速度变快；首创瓶身水平放置后检测方法，大大提高异物检出概率，对漂浮异物也有较好的检出效果，使用多相机多工站，做到输液瓶的内外全方位检测，另外，针对快速沉底异物单独使用一个工站进行检测，检出效果可达100％。具体实施方式为使本专利技术实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本专利技术。实施例1。本实施例中的一种基于深度学习算法的液体内异物与气泡本文档来自技高网...

【技术保护点】
1.一种基于深度学习算法的液体内异物与气泡智能视觉检测系统，其特征在于：包括多个工站、多个光源和多个工业相机，以及图像采集模块、图像预处理及筛选模块、分组转发模块、两级分类模块和分类结果统计模块；/n所述工站包括吊环工站、瓶盖工站、外观微粒工站、微粒工站、仿人工工站和沉底工站；所述光源均连接有光源控制器；所述吊环工站配备有一个环形光源和多个工业相机，所述瓶盖工站配备有一个环形光源和多个工业相机，所述外观微粒工站配备有两个弧面光源和多个工业相机、所述微粒工站配备有两个弧面光源和多个工业相机、所述仿人工工站配备有一个大背光源和多个工业相机，所述沉底工站配备有一个小背光源和多个工业相机，各个目标水平放置在各个工站上。/n

【技术特征摘要】
1.一种基于深度学习算法的液体内异物与气泡智能视觉检测系统，其特征在于：包括多个工站、多个光源和多个工业相机，以及图像采集模块、图像预处理及筛选模块、分组转发模块、两级分类模块和分类结果统计模块；
所述工站包括吊环工站、瓶盖工站、外观微粒工站、微粒工站、仿人工工站和沉底工站；所述光源均连接有光源控制器；所述吊环工站配备有一个环形光源和多个工业相机，所述瓶盖工站配备有一个环形光源和多个工业相机，所述外观微粒工站配备有两个弧面光源和多个工业相机、所述微粒工站配备有两个弧面光源和多个工业相机、所述仿人工工站配备有一个大背光源和多个工业相机，所述沉底工站配备有一个小背光源和多个工业相机，各个目标水平放置在各个工站上。


2.根据权利要求1所述的一种基于深度学习算法的液体内异物与气泡智能视觉检测系统，其特征在于：所述吊环工站和所述瓶盖工站均包括可旋转的机械手，工业相机布设在机械手的侧面，光源配置在机械手的下部或上部，所述外观微粒工站、所述微粒工站、所述仿人工工站和所述沉底工站均包括一传送带，工业相机布设在传送带的两侧和上部，所述弧面光源布设在传送带的两侧，大背光源和小背光源配置在传送带下部。


3.根据权利要求1所述的一种基于深度学习算法的液体内异物与气泡智能视觉检测系统，其特征在于：所述图像采集模块连接各工业相机，采集各工业相机的图像数据；
所述图像预处理及筛选模块对所述图像采集模块采集到的图像使用中值滤波去噪，并通过二阶Sobel滤波对感兴趣区域进行相应的边缘提取并通过对所述图像进行分割计算提取工程阈值，通过工程阈值筛选出异常的图像帧；
所述分组转发模块对所述图像预处理及筛选模块处理过的图像数据进行统一编码并将其发送到两级分类模块；所述编码将包括所属组信息、当前时间信息以及预处理结果信息设置唯一性的ID；所属组信息根据异常类型或者处理方案进行分组；
所述两级分类模块对所述分组转发模块发送的图像数据进行可疑异常检测和第二级的异常目标检测；
所述...

【专利技术属性】
技术研发人员：王芳，潘慧敏，李新倩，
申请(专利权)人：嘉兴凡视智能科技有限公司，
类型：发明
国别省市：浙江;33