一种基于深度学习的凉果食品杂质挑拣方法及系统技术方案

本发明专利技术公开了一种基于深度学习的凉果食品杂质挑拣方法及系统，其特征在于：包括视觉检测子系统和杂质挑拣子系统：所述视觉检测子系统包括：传送带、工作台、第一支架、视觉相机、光源及其控制器和微型工业电脑。所述杂质挑拣子系统包括：并联机器人、第二支架、末端吸具、通料管、集料箱和涡轮抽风机。本发明专利技术运用了并联机器人、视觉相机及光源、末端除杂执行器及搭载自主研发的神经网络模型生成软件与杂质挑拣软件的PC系统，结合ResNet101的分类模型和BiSeNet的语义分割模型技术，可以实现多种杂质的识别与自动分拣的功能。杂质的识别与自动分拣的功能。杂质的识别与自动分拣的功能。

【技术实现步骤摘要】
一种基于深度学习的凉果食品杂质挑拣方法及系统


[0001]本专利技术属于视觉检测
，尤其涉及一种基于深度学习的凉果食品杂质挑拣方法及系统。

技术介绍

[0002]随着现代化建设步伐的加快和国民经济持续高速发展，我国越发注重农副凉果食品加工业的自动化生产需求和产品安全质量的提高。近年来，大部分农副凉果食品加工企业都引进了自动化食品加工技术，但在实际生产过程中，由于产品挑拣、加工工艺等不可控因素，农副凉果食品不可避免存在遗留杂质、质量不符合要求等问题。目前，凉果食品杂质挑拣仍然以人工挑拣为主，一方面，传统人工挑拣劳动强度高、工作量大，容易受主观因素影响而不能保持长期高效的挑拣效率，同时人工肉眼辨别速度较慢，导致流水线生产速度不得不放慢，制约工厂生产效率；另一方面，人工作业的不稳定，容易导致食品卫生安全问题与售后问题，影响企业口碑。
[0003]当前传统的机器视觉除杂技术主要存在以下几个问题：
[0004]1.传统机器视觉技术难以适应农副凉果食品加工业过程中产品数量大、杂质种类多、杂质难以分辨识别的痛点；
[0005]2.传统的图像处理技术将待检测的产品的三维图像投影成二维图像时，许多信息会消失，除此之外，当前的技术尚未能很好地解决食品和食品、食品和杂质之间相互覆盖的问题；
[0006]3.实时性问题，其主要包含软实时和硬实时。当前硬实时已随着硬件的不断发展有了比较好的解决方案，软实时主要通过算法来解决，但在复杂的工作情况下，会导致准确性和鲁棒性下降，因而无法精确地得到食品杂质图像。<br/>
技术实现思路

[0007]本专利技术的目的在于提供一种基于深度学习的凉果食品杂质挑拣方法及系统，旨在解决所述
技术介绍
中存在的问题。为实现所述目的，本专利技术采用的技术方案是：
[0008]一种基于深度学习的凉果食品杂质挑拣系统，包括视觉检测子系统和杂质挑拣子系统：
[0009]所述视觉检测子系统包括：传送带、工作台、第一支架、视觉相机、光源及其控制器和微型工业电脑；所述传送带固定于所述工作台，所述传动带通过电机驱动；所述第一支架固定于所述工作台，并且所述传送带穿过所述第一支架；所述视觉相机架设在所述第一支架上端，并且位于传送带正上方；所述光源共有四条，环绕固定于所述支架中部，光源位于传动带正上方且位于视觉相机的下方。
[0010]所述杂质挑拣子系统包括：并联机器人、第二支架、末端吸具、通料管、集料箱和涡轮抽风机；所述并联机器人固定于所述第二支架；所述末端吸具固定于所述并联机器人上；所述通料管的两端分别连接所述末端吸具及集料箱；所述涡轮抽风机连接所述集料箱；所
述末端吸具和涡轮抽风机共同构成末端除杂执行器。
[0011]所述微型工业电脑通过TCP通讯与所述并联机器人建立连接，输出信号指令控制所述视觉相机和所述光源控制器。
[0012]一种基于深度学习的凉果食品杂质挑拣方法，应用于上述基于深度学习的凉果食品杂质挑拣系统，包括以下步骤：
[0013]S01：将待测凉果食品放置于所述传送带上，程序根据编码器记录的传送带运动的距离触发相机拍照，从而自动运行视觉程序；
[0014]S02：视觉程序自动运行开启后，利用视觉相机在固定角度采集图像，获得待检测凉果食品图像数据集；
[0015]S03：标注图像中杂质的轮廓，利用颜色差异，将不同种类杂质、正常凉果食品及背景渲染为不同颜色，生成只包含颜色信息的特征图；步骤S03中生成特征图之后，沿随机角度对图像进行翻转，并随机变换图像的亮度及大小，生成信息更丰富的数据集；对所述数据集进行尺寸归一化处理，生成归一化图像。
[0016]S04：将所述图像及特征图划分为训练集、验证集、测试集；
[0017]S05：将所述训练集、验证集及测试集输入到神经网络进行训练，生成杂质检测模型；步骤S05所述神经网络是由ResNet101分类模型及BiSeNet语义分割模型组成；所述训练涉及修改模型用到的学习率、训练总步数和批次大小等参数；
[0018]S06：将待测图像分别输入所述生成的杂质检测模型及传统视觉程序，分别输出颜色特征图1和特征图2，经坐标矩阵换算，从而获得杂质图像坐标信息1和2；具体的为：步骤S06将所述生成的颜色特征图进行灰度化、二值化、膨胀及腐蚀处理，再经过面积滤波器处理，提取轮廓信息；获取包围所述轮廓的最小矩形，将其中心坐标作为杂质坐标，整合为杂质坐标集后进行重复去除处理，最终得到杂质图像坐标信息1和2；
[0019]S07：将杂质图像坐标信息1和2经过坐标转换后利用TCP通信传输到并联机器人；
[0020]S08：并联机器人通过TCP/IP通讯得到的坐标信息控制末端除杂执行器移动到指定位置，进行杂质剔除。
[0021]本专利技术的有益效果：
[0022]1、以深度学习图像处理为核心，通过训练神经网络模型，实现对目标物的精准检测及定位；
[0023]2、由并联机器人替代人工剔除出不可食用的杂质成分与影响产品质量的次品成分，提高生产效率；
[0024]3、本专利适应于复杂多变的无规律场景；
[0025]4、搭建了一个针对凉果食品的杂质快速检测及分拣系统，可以在1秒内实现对当前流水线上食品杂质的检测并完成对2个杂质的吸取，做到除杂与产品质量的提升；
[0026]5、搭建了一个针对凉果食品的杂质精准检测系统，可实现92％查全率和97％查准率；
[0027]6、解决困扰凉果食品加工企业的用工难、用工贵与食品卫生安全问题，填补了凉果除杂工艺自动化的空缺，推动行业的智能化与工艺标准化进程。
[0028]本专利技术运用了并联机器人、视觉相机及光源、末端除杂执行器及搭载自主研发的神经网络模型生成软件与杂质挑拣软件的PC系统，结合ResNet101的分类模型和BiSeNet的
语义分割模型技术，公开了一种基于深度学习的凉果食品杂质挑拣方法及系统，可以实现多种杂质的识别与自动分拣的功能。
[0029]首先根据编码器记录的传送带运动的距离，触发工业相机在固定角度进行图像采集；经深度神经网络模型进行图像处理并定位到杂质的点位信息；通过TCP/IP通信控制并联机器人移动到计算所得的位置；接着由搭载在并联机器人上的末端除杂执行器进行杂质的剔除，从而实现对凉果食品杂质的高速度、高精度识别挑拣。
附图说明
[0030]图1是本专利技术的整体检测系统图；
[0031]图2是本专利技术的视觉检测子系统放大图；
[0032]图3是本专利技术的杂质挑拣子系统图；
[0033]图4是本专利技术的程序设计流程图；
[0034]图5是本专利技术的原图及对应颜色特征图。
[0035]其中，图中各附图标记：
[0036]1、电机；2、传送带；3、微型工业电脑；4、光源；5、第一支架；6、视觉相机；7、第二支架；8、并联机器人；9、末端吸具；10、通料管；11、集料箱；12、涡轮抽风机。
具体实施方式
[0037本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的凉果食品杂质挑拣系统，其特征在于：包括视觉检测子系统和杂质挑拣子系统：所述视觉检测子系统包括：传送带、工作台、第一支架、视觉相机、光源及其控制器和微型工业电脑；所述传送带固定于所述工作台，所述传动带通过电机驱动；所述第一支架固定于所述工作台，并且所述传送带穿过所述第一支架；所述视觉相机架设在所述第一支架上端，并且位于传送带正上方；所述光源共有四条，环绕固定于所述支架中部，光源位于传动带正上方且位于视觉相机的下方；所述杂质挑拣子系统包括：并联机器人、第二支架、末端吸具、通料管、集料箱和涡轮抽风机；所述并联机器人固定于所述第二支架；所述末端吸具固定于所述并联机器人上；所述通料管的两端分别连接所述末端吸具及集料箱；所述涡轮抽风机连接所述集料箱；所述末端吸具和涡轮抽风机共同构成末端除杂执行器。2.根据权利要求1所述的一种基于深度学习的凉果食品杂质挑拣系统，其特征在于：所述微型工业电脑通过TCP通讯与所述并联机器人建立连接，输出信号指令控制所述视觉相机和所述光源控制器。3.一种基于深度学习的凉果食品杂质挑拣方法，应用于权利要求1
‑
2任意一项所述基于深度学习的凉果食品杂质挑拣系统，包括以下步骤：S01：将待测凉果食品放置于所述传送带上，程序根据编码器记录的传送带运动的距离触发相机拍照，从而自动运行视觉程序；S02：视觉程序自动运行开启后，利用视觉相机在固定角度采集图像，获得待检测凉果食品图像数据集；S03：标注图像中杂质的轮廓，利用颜色差异，将不同...

【专利技术属性】
技术研发人员：许秋钿，郭少智，莫烁，许嘉瀚，蔡树园，许灿祺，丁哲希，
申请(专利权)人：广东猛犸象智能机器人制造有限公司，
类型：发明
国别省市：