一种基于深度学习的自由落体果蔬分选方法及系统技术方案

一种基于深度学习的自由落体果蔬分选方法和系统，属于果蔬分选领域。电气控制箱安装于设备外壳外侧，显示触控装置安装于设备外壳的前侧，畚斗倾斜安装于进料口下方，直振器安装于畚斗底部，溜槽与畚斗相接，理料帘设置于溜槽上方，光电传感器安装溜槽下方，第一喷嘴阵列与高频电磁阀阵列连接，第二喷嘴阵列与高频电磁阀阵列连接，第二落料板设置于第一、二喷嘴阵列之间的对侧，第一、二图像采集箱安装在机架内前后两端，两个彩色线扫相机安装于第一、二图像采集箱内，第一光源箱和第一光源背景箱互呈角度位于溜槽右侧，第二光源箱和第二光源背景箱互呈角度位于溜槽左侧。本发明专利技术能大大提高检测果蔬的速度，具有分选功能，剔除精度高，维护成本低。

A Free-falling Fruit and Vegetable Sorting Method and System Based on Deep Learning

【技术实现步骤摘要】
一种基于深度学习的自由落体果蔬分选方法及系统
本专利技术属于果蔬分选领域，具体涉及一种基于深度学习的自由落体果蔬分选方法及系统。
技术介绍
现阶段果蔬分选行业，主要依靠人工拣选，自动化水平低、效率低、人力资源成本开销大。对于枸杞等小颗粒物体，采用色选技术，通过颜色检查缺陷，目前已成熟广泛应用。但对于干红枣、西红柿等品种，涉及品相判定及复杂的缺陷而非单纯颜色大小辨识，依然停留在人工拣选阶段。在检测算法方面，目前果蔬分选普遍采用常规图像处理算法，主要通过颜色、边缘检测等技术来实现对不同种类果蔬的颜色大小及明显缺陷的检测。在涉及果蔬表面纹理，品相等等主观性较强的检测项目，则难以实现检测。在检测机构方面，目前基于常规视觉算法果蔬分选设备，由于检测算法运行速度条件限制，普遍采用履带式分选系统，因此无法检测背面区域、检测速度慢、设备复杂、维护成本高。在分选机构方面，对比目前常规自由落体分选系统采用单排气嘴喷气分选机构，分选结果只能分成两类。检测物体较小，采用区域检测算法，剔除精度较差。
技术实现思路
本专利技术的目的是为了解决上述技术问题，提供了一种基于深度学习的自由落体果蔬分选方法及系统。本专利技术通过机器视觉技术，采用深度神经网络算法对果蔬品相进行判定；通过嵌入式技术，采用FPGA控制器驱动气动分选装置进行高速分选。本专利技术为实现上述目的，采取的技术方案如下：一种基于深度学习的自由落体果蔬分选系统，其特征在于，包括：进料漏斗、电气控制箱、显示触控装置、多块快拆防护板、第一图像采集箱、两个彩色线扫相机、第一光源箱、第一光源背景箱、光电传感器、高频电磁阀阵列、第一落料阻挡帘、两个喷嘴阵列、第一落料板、第二落料板、喷气挡板、第三落料阻挡帘、第二落料阻挡帘、第二光源背景箱、第二光源箱、第二图像采集箱、机架、减震弹簧、直振器、畚斗、理料帘、溜槽；所述两个喷嘴阵列分别是第一喷嘴阵列和第二喷嘴阵列，所述第一喷嘴阵列和第二喷嘴阵列均包括多个喷嘴控制单元；多块快拆防护板安装于机架外围，由机架和多块快拆防护板组成一个立方体设备外壳，所述设备外壳的上端有一进料口；所述电气控制箱安装于所述设备外壳的外侧壁上，所述显示触控装置安装于所述设备外壳的前侧面上；所述进料漏斗安装于所述进料口处；所述畚斗倾斜安装于所述进料口下方；所述直振器安装于所述畚斗的底部；所述减震弹簧的两端分别连接所述直振器的底部和机架上；所述溜槽安装于机架内，且所述溜槽的前端与所述畚斗的后端相接；所述理料帘安装于机架内，且竖直设置于所述溜槽的上方；所述光电传感器安装于机架内，且设置于所述溜槽的下方；所述电气控制箱接收所述光电传感器发出的电信号，并对电信号处理后发给所述高频电磁阀阵列；高频电磁阀阵列安装于机架内；所述第一喷嘴阵列设置于所述溜槽的下方，通过第一气路与所述高频电磁阀阵列连接，所述第一气路穿过第一阀板，第一阀板安装在机架上；所述第二喷嘴阵列设置于所述第一喷嘴阵列的下方，通过第二气路与所述高频电磁阀阵列连接，第二气路穿过第二阀板，第二阀板安装在机架上；喷气挡板安装于机架内，且位于所述第一喷嘴阵列的对侧；第二落料板安装于机架内，且设置于第一喷嘴阵列和第二喷嘴阵列之间的对侧，并位于所述喷气挡板的下方，第二落料板的左端向下倾斜设置；第三落料阻挡帘安装于所述喷气挡板的下部；第一落料板安装于机架内，且位于所述第二落料板的下方，所述第一落料板由下凹板和直板构成，下凹板位于直板的右侧，下凹板向右倾斜设置，直板向左下方倾斜设置，下凹板的左端与直板的右端相连，由第二落料板、下凹板和直板组成三通道集料装置，所述第二落料阻挡帘安装于所述第二落料板的下表面，并位于所述第一落料板的左侧；所述第一落料阻挡帘安装于机架内，且位于所述第一落料板的右侧；第一图像采集箱和第二图像采集箱分别安装在机架内前后两端；两个彩色线扫相机分别安装于所述第一图像采集箱和所述第二图像采集箱内；所述第一光源箱和所述第一光源背景箱互呈角度安装于机架内且位于所述溜槽的右侧；所述第二光源箱和所述第二光源背景箱互呈角度安装于机架内且位于所述溜槽的左侧，所述高频电磁阀阵列的进气口处安装有气源压力传感器。一种基于深度学习的自由落体果蔬分选方法，包括如下步骤：S101两个彩色线扫相机扫描自由落体运动状态物体，并生成彩色BAYER图像；S102两个X86视觉控制器通过GigE总线采集彩色BAYER图像片段；S103两个X86视觉控制器将彩色BAYER图像片段存入图像缓冲层等待调用；S104两个X86视觉控制器判断彩色BAYER图像片段是否满足图像识别处理条件，如果是则进入步骤S105；否则返回步骤S101；S105两个X86视觉控制器将彩色BAYER图像片段转化为RGB处理区域后进入步骤S106，同时执行步骤S110；S106两个X86视觉控制器在将RGB处理区域进行灰度处理；S107两个X86视觉控制器将经过灰度处理后的图像片段进行高斯模糊处理；S108两个X86视觉控制器寻找经高斯模糊处理过的图像片段的闭合边界；S109两个X86视觉控制器通过边界划分待识别物料区域；S110两个X86视觉控制器载入预训练神经网络，公式如下：此处z(u,v)即为神经网络中的每个节点的卷积函数，输入端为n个红枣训练图像(神经元匹配识别目标)用于分类的k种特征向量(每个图像的像素矩阵群)，基于卷积神经网络设计了多个卷积层和池化层交叠的方式进行神经网络构建，并通过预训练神经网络进行辨识获得相应评价参数；S111两个X86视觉控制器通过参数比对进行瑕疵判断，如果满足分拣条件则进入步骤S112；否则返回步骤S101；S112两个X86视觉控制器发送UDP命令给FPGA控制器；S113FPGA控制器内部的CPU模块接收UDP命令，并进行UDP命令的解析及任务处理；S114FPGA控制器将UDP命令传输至FPGA控制器内的AXI总线；S115FIFO模块对AXI总线中的UDP命令存储及缓冲；S116物料触发光电传感器，光电传感器生成信号，并传输信号至喷嘴控制单元；S117喷嘴控制单元收到光电传感器生成的信号后，运算处理UDP命令；S118运算结果输出至驱动高频电磁阀，返回步骤S101。本专利技术的技术效果：(1)本专利技术应用深度学习算法，解决常规机器视觉算法无法解决品相、纹理等高度非线性图像识别问题；识别速度快，分类识别时间低于10ms，远高于常规视觉瑕疵检测程序速度，从而提高果蔬加工效率。(2)本专利技术采用透镜式LED照射光源(是指物料LED光源)，提高单位面积的光照强度，达到对物料的高速曝光；同时可降低LED光源的功率，提高LED光源可靠性，降低能耗；通过LED(是指物料LED光源)光照强度的程序化控制(通过计算机控制)，针对不同的分选物调节光照强度值，更进一步提高能源利用率。通过4台光源模组(即第一光源箱、第一光源背景箱、第二光源箱、第二光源背景箱)，解决检测物料表面出现阴影导致误判等问题。(3)本专利技术采用自由落体分选方式，通过两台彩色线扫相机对物料前后两面进行检测，提高物料检测准确率；照射光源与图像采集装置(是指两个彩色线扫相机)分离，将图像采集装置(是指两个彩色线扫相机)远离落料区域，避免采集窗口(即两个光学保护窗)污染概率，同时也解决光源远距离放置衰减大，背景本文档来自技高网...

【技术保护点】
1.一种基于深度学习的自由落体果蔬分选系统，其特征在于，包括：进料漏斗(1)、电气控制箱(2)、显示触控装置(3)、多块快拆防护板(4)、第一图像采集箱(5)、两个彩色线扫相机(6)、第一光源箱(8)、第一光源背景箱(9)、光电传感器(10)、高频电磁阀阵列(11)、第一落料阻挡帘(12)、两个喷嘴阵列、第一落料板(15)、第二落料板(16)、喷气挡板(17)、第三落料阻挡帘(18)、第二落料阻挡帘(19)、第二光源背景箱(20)、第二光源箱(21)、第二图像采集箱(22)、机架(23)、减震弹簧(24)、直振器(25)、畚斗(27)、理料帘(29)、溜槽(30)；所述两个喷嘴阵列分别是第一喷嘴阵列(13)和第二喷嘴阵列(14)，所述第一喷嘴阵列(13)和第二喷嘴阵列(14)均包括多个喷嘴控制单元；多块快拆防护板(4)安装于机架(23)外围，由机架(23)和多块快拆防护板(4)组成一个立方体设备外壳，所述设备外壳的上端有一进料口；所述电气控制箱(2)安装于所述设备外壳的外侧壁上，所述显示触控装置(3)安装于所述设备外壳的前侧面上；所述进料漏斗(1)安装于所述进料口处；所述畚斗(27)倾斜安装于所述进料口下方；所述直振器(25)安装于所述畚斗(27)的底部；所述减震弹簧(24)的两端分别连接所述直振器(25)的底部和机架(23)上；所述溜槽(30)安装于机架(23)内，且所述溜槽(30)的前端与所述畚斗(27)的后端相接；所述理料帘(29)安装于机架(23)内，且竖直设置于所述溜槽(30)的上方；所述光电传感器(10)安装于机架(23)内，且设置于所述溜槽(30)的下方；所述电气控制箱(2)接收所述光电传感器(10)发出的电信号，并对电信号处理后发给所述高频电磁阀阵列(11)；高频电磁阀阵列(11)安装于机架(23)内；所述第一喷嘴阵列(13)设置于所述溜槽(30)的下方，通过第一气路与所述高频电磁阀阵列(11)连接，所述第一气路穿过第一阀板，第一阀板安装在机架(23)上；所述第二喷嘴阵列(14)设置于所述第一喷嘴阵列(13)的下方，通过第二气路与所述高频电磁阀阵列(11)连接，第二气路穿过第二阀板，第二阀板安装在机架(23)上；喷气挡板(17)安装于机架(23)内，且位于所述第一喷嘴阵列(13)的对侧；第二落料板(16)安装于机架(23)内，且设置于第一喷嘴阵列(13)和第二喷嘴阵列(14)之间的对侧，并位于所述喷气挡板(17)的下方，第二落料板(16)的左端向下倾斜设置；第三落料阻挡帘(18)安装于所述喷气挡板(17)的下部；第一落料板(15)安装于机架(23)内，且位于所述第二落料板(16)的下方，所述第一落料板(15)由下凹板和直板构成，下凹板位于直板的右侧，下凹板向右倾斜设置，直板向左下方倾斜设置，下凹板的左端与直板的右端相连，由第二落料板(16)、下凹板和直板组成三通道集料装置，所述第二落料阻挡帘(19)安装于所述第二落料板(16)的下表面，并位于所述第一落料板(15)的左侧；所述第一落料阻挡帘(12)安装于机架(23)内，且位于所述第一落料板(15)的右侧；第一图像采集箱(5)和第二图像采集箱(22)分别安装在机架(23)内前后两端；两个彩色线扫相机(6)分别安装于所述第一图像采集箱(5)和所述第二图像采集箱(22)内；所述第一光源箱(8)和所述第一光源背景箱(9)互呈角度安装于机架(23)内且位于所述溜槽(30)的右侧；所述第二光源箱(21)和所述第二光源背景箱(20)互呈角度安装于机架(23)内且位于所述溜槽(30)的左侧，所述高频电磁阀阵列(11)的进气口处安装有气源压力传感器。...

【技术特征摘要】
1.一种基于深度学习的自由落体果蔬分选系统，其特征在于，包括：进料漏斗(1)、电气控制箱(2)、显示触控装置(3)、多块快拆防护板(4)、第一图像采集箱(5)、两个彩色线扫相机(6)、第一光源箱(8)、第一光源背景箱(9)、光电传感器(10)、高频电磁阀阵列(11)、第一落料阻挡帘(12)、两个喷嘴阵列、第一落料板(15)、第二落料板(16)、喷气挡板(17)、第三落料阻挡帘(18)、第二落料阻挡帘(19)、第二光源背景箱(20)、第二光源箱(21)、第二图像采集箱(22)、机架(23)、减震弹簧(24)、直振器(25)、畚斗(27)、理料帘(29)、溜槽(30)；所述两个喷嘴阵列分别是第一喷嘴阵列(13)和第二喷嘴阵列(14)，所述第一喷嘴阵列(13)和第二喷嘴阵列(14)均包括多个喷嘴控制单元；多块快拆防护板(4)安装于机架(23)外围，由机架(23)和多块快拆防护板(4)组成一个立方体设备外壳，所述设备外壳的上端有一进料口；所述电气控制箱(2)安装于所述设备外壳的外侧壁上，所述显示触控装置(3)安装于所述设备外壳的前侧面上；所述进料漏斗(1)安装于所述进料口处；所述畚斗(27)倾斜安装于所述进料口下方；所述直振器(25)安装于所述畚斗(27)的底部；所述减震弹簧(24)的两端分别连接所述直振器(25)的底部和机架(23)上；所述溜槽(30)安装于机架(23)内，且所述溜槽(30)的前端与所述畚斗(27)的后端相接；所述理料帘(29)安装于机架(23)内，且竖直设置于所述溜槽(30)的上方；所述光电传感器(10)安装于机架(23)内，且设置于所述溜槽(30)的下方；所述电气控制箱(2)接收所述光电传感器(10)发出的电信号，并对电信号处理后发给所述高频电磁阀阵列(11)；高频电磁阀阵列(11)安装于机架(23)内；所述第一喷嘴阵列(13)设置于所述溜槽(30)的下方，通过第一气路与所述高频电磁阀阵列(11)连接，所述第一气路穿过第一阀板，第一阀板安装在机架(23)上；所述第二喷嘴阵列(14)设置于所述第一喷嘴阵列(13)的下方，通过第二气路与所述高频电磁阀阵列(11)连接，第二气路穿过第二阀板，第二阀板安装在机架(23)上；喷气挡板(17)安装于机架(23)内，且位于所述第一喷嘴阵列(13)的对侧；第二落料板(16)安装于机架(23)内，且设置于第一喷嘴阵列(13)和第二喷嘴阵列(14)之间的对侧，并位于所述喷气挡板(17)的下方，第二落料板(16)的左端向下倾斜设置；第三落料阻挡帘(18)安装于所述喷气挡板(17)的下部；第一落料板(15)安装于机架(23)内，且位于所述第二落料板(16)的下方，所述第一落料板(15)由下凹板和直板构成，下凹板位于直板的右侧，下凹板向右倾斜设置，直板向左下方倾斜设置，下凹板的左端与直板的右端相连，由第二落料板(16)、下凹板和直板组成三通道集料装置，所述第二落料阻挡帘(19)安装于所述第二落料板(16)的下表面，并位于所述第一落料板(15)的左侧；所述第一落料阻挡帘(12)安装于机架(23)内，且位于所述第一落料板(15)的右侧；第一图像采集箱(5)和第二图像采集箱(22)分别安装在机架(23)内前后两端；两个彩色线扫相机(6)分别安装于所述第一图像采集箱(5)和所述第二图像采集箱(22)内；所述第一光源箱(8)和所述第一光源背景箱(9)互呈角度安装于机架(23)内且位于所述溜槽(30)的右侧；所述第二光源箱(21)和所述第二光源背景箱(20)互呈角度安装于机架(23)内且位于所述溜槽(30)的左侧，所述高频电磁阀阵列(11)的进气口处安装有气源压力传感器。2.根据权利要求1所述的一种基于深度学习的自由落体果蔬分选系统，其特征在于，所述基于深度学习的自由落体果蔬分选系统还包括两个光学保护窗(7)，所述两个光学保护窗(7)分别安装在所述第一图像采集箱(5)和第二图像采集箱(22)的左侧面和右侧面。3.根据权利要求2所述的一种基于深度学习的自由落体果蔬分选系统，其特征在于，所述两个光学保护窗(7)均采用石英玻璃制成。4.根据权利要求1所述的一种基于深度学习的自由落体果蔬分选系统，其特征在于，所述畚斗(27)和所述溜槽(30)的表面均喷涂有特氟龙涂层。5.根据权利要求1所述的一种基于深度学习的自由落体果蔬分选系统，其特征在于，所述第一光源背景箱(9)和所述第二光源背景箱(20)中均包括：背景LED灯板(31)、两个导光板安装支架(32)、导光系统遮光板(33)、导光板(34)、透明防护板(35)、物料灯非球面透镜(36)、物料灯系统遮光板(37)、两个物料灯透镜安装支架(38)、物料灯柱面透镜(39...

【专利技术属性】
技术研发人员：蔡兆晖，周聪辉，林学杰，陈秋强，张松勇，卢祺斌，
申请(专利权)人：福建铂格智能科技股份公司，
类型：发明
国别省市：福建,35