一种基于机器视觉的坚果计数包装系统技术方案

本发明专利技术涉及一种基于机器视觉的坚果计数包装系统，该方法的内容为统计流水线上的坚果数量，确保每袋坚果包装的坚果数量一致，包括以下步骤：1、振动上料；2、传感拍照；3、采用边缘检测、BLOB分析等传统图像处理方法初步分割；4、建立分类网络样本库；5、建立实例分割样本库；6、构建分类网络；7、构建实例分割网络；8、在线计数；实时采集传感器触发时的图片，然后将其传入图像分析模块，输出得到图像中的坚果数量，并实时统计分析当前包装袋中的坚果数量，使用机器视觉技术进行计数能够大大减少人为误差，提高统计数据的准确性，大大提高工作效率，减少人力消耗，提高工作效率。提高工作效率。提高工作效率。

【技术实现步骤摘要】
一种基于机器视觉的坚果计数包装系统


[0001]本专利技术涉及机器视觉
，具体涉及一种基于机器视觉的坚果计数包装系统。

技术介绍

[0002]机器视觉计数技术是一种使用计算机图像处理和深度学习技术对图像或视频中物体数量进行自动识别和计数的技术；它通过对图像中物体的形状、颜色、位置、运动等特征进行分析，实现对物体的识别和数量的估计；这项技术在多个领域中得到广泛应用，如监测人流量、评估物品存储状况等；
[0003]在工业领域中，主要用于生产线上的物品检测、计数、质量检查等任务，帮助提高生产效率和质量控制；其发展历程可以追溯到20世纪70年代，随着计算机技术和图像处理技术的不断发展，机器视觉工业计数技术也得到了长足的进展，现有的坚果包装技术中，通过人工的方式对每个包装袋中的坚果进行计量包装，但通过人工进行计数包装入袋的话会花费较大的人力，且会不可避免的产生人工误差。

技术实现思路

[0004]针对
技术介绍
中存在的技术缺陷，本专利技术提出一种基于机器视觉的坚果计数包装系统，解决了上述技术问题以及满足了实际需求，具体的技术方案如下所示：
[0005]一种基于机器视觉的坚果计数包装系统，包括
[0006]步骤1：振动上料，通过设置振动盘将坚果振动传输至传送带上；
[0007]步骤2：传感拍照，传送带上设有工业传感器、所述工业传感器连接触发工业相机拍照，获取传送带上的坚果图像；
[0008]步骤3：图像分割，采用传统图像处理方法，初步分割简单场景的坚果，并输出坚果的坐标和数量。
[0009]步骤4：建立分类网络样本库，将图像分割后分为坚果、坚果蒂、坚果芯搜集整理放入不同的分类中，建立分类网络样本库；
[0010]步骤5：建立实例分割样本库，收集无法通过传统图像处理方法切割的图片进行人工标注，建立实例分割样本库；
[0011]步骤6：构建分类网络，并使用GPU离线训练样本集，获得分类模型；
[0012]步骤7：构建实例分割网络，并使用GPU离线训练样本集，和实例分割模型；
[0013]步骤8：在线计数，实时采集传感器触发时的图片，然后将其传入图像分析模块，输出得到图像中的坚果数量，并实时统计分析当前包装袋中的坚果数量。
[0014]作为上述方案的改进，步骤1具体为，通过在输送坚果的传送带的上料一端设置振动盘，将坚果放置在所述振动盘中，通过振动盘振动将坚果单颗依次排列输送至传送带上。
[0015]作为上述方案的改进，步骤2具体为，所述传送带的上方设有工业相机，所述工业相机为彩色工业CCD相机，所述传送带上设有工业传感器，所述工业传感器和工业相机通信
连接，所述传送带的上方对应工业相机的两侧设有工业光源。
[0016]作为上述方案的改进，步骤3具体为，分析图片场景的复杂度，采用传统图像处理方法，通对BLOB分析和边缘检测对图片中的坚果位置进行区域性分割，获取图片中的坚果位置和数量。
[0017]作为上述方案的改进，步骤4具体为，对裁切后的图片进行收集整理汇总，如通过人工对裁切后的图片进行分类，具体分类为坚果、坚果蒂和坚果芯，以此构件分类网络样本库。
[0018]作为上述方案的改进，步骤5具体为，对无法通过传统图像处理方法进行分割的存在问题图片进行人工标注，问题图片包括坚果前后相连、并排和重叠等情况。
[0019]作为上述方案的改进，步骤6中构建分类网络具体为：
[0020]步骤61：通过堆叠多个3*3的卷积核(少数使用1*1)来替代大的卷积核，以减少所需参数；
[0021]步骤62：卷积核专注于扩大通道数，池化层用来缩小特征图的高和宽，增加模型的深度和宽度，放缓因为模型增加而导致的计算量的增加速度。
[0022]步骤63：使用残差结构来解决深度网络的梯度消失和梯度爆炸问题，具体公式表示为：x
l+1
＝x
l
+F(x
l
,W
l
)，其中F(x
l
,W
l
)是残差部分，由两个或者三个卷积构成。
[0023]步骤64：采用Batch Normalization来解决网络训练过程中的internal covariate shift问题：
[0024]Input:Values of x over a mini
‑
batch：β＝{x1...m}
[0025]Parameters to be learned：γ，β
[0026]Output：y
i
＝{BN
γ，β
(x
i
)}
[0027]//mini
‑
batch mean
[0028]//mini
‑
batch variance
[0029]//normalize
[0030]//scale and shift
[0031]作为上述方案的改进，步骤7中构建实例分割网络具体为：
[0032]步骤71：采用FPN，融合不同阶段的特征，并获得多分辨率的特征图。
[0033]步骤72：根据特征图分辨率的不同，采用不同尺寸的anchor，设计RPN网络学习目标区域，获取前景ROI；RPN为轻量的神经网络，通过滑动窗口来扫描图像，并寻找存在目标的区域，RPN扫描的矩形区域被称为anchor，anchor相互重叠地覆盖图像；滑动窗口是由RPN的卷积过程实现的，使用GPU并行地扫描所有区域；RPN扫描主干特征图，使得RPN可以有效地复用提取的特征，并避免重复计算；RPN为每个anchor生成两个输出：用于区分前景和背景的anchor类别以及更好拟合目标的边框精度；通过使用RPN的预测，可以选出最好地包含了目标的anchor，并对其位置和尺寸进行精调，如果有多个anchor互相重叠，通过非极大值抑制，保留拥有最高前景分数的anchor。
[0034]步骤73：利用双线性差值，设计ROI Align来获得更加精确的ROI区域；ROI Align
不做量化操作，而是对于量化中产生的坐标为浮点数的像素，利用双线性插值计算其像素值，从而使得每个ROI取得的特征能更好的对齐原图上的ROI区域；其反向传播的公式为：
[0035][0036]步骤74：设计分类分支，用来区分皮带、坚果、坚果蒂、坚果芯。
[0037]步骤75：设计分割分支，用来描绘坚果、坚果蒂和坚果芯的轮廓区域。
[0038]步骤76：设计损失函数，包括分类分支的损失函数和分割分支的损失函数，并合理平衡两个分支在训练中所占的比例：L＝L
cls
+L
box
+L
mask
。
[0039]本专利技术具有的有益效果在于：
[0040]本专利技术用于识别工业生产线上产品的类别和位置，并统计当前包装袋中的坚果数量。该方法可以大大提高生本文档来自技高网...

【技术保护点】

【技术特征摘要】
shift问题：Input:Values of x over a mini
‑
batch：β＝{x1...m}Parameters to be learned：γ，βOutput：y
i
＝{BN
γ，β
(x
i
)}//mini
‑
batch mean//mini
‑
batch variance//normalize//scale and shift。8.根据权利要求1所述的基于机器视觉的坚果计数包装系统，其特征在于，步骤7中构建实例分割网络具体为：步骤71：采用FPN，融合不同阶段的特征，并获得多分辨率的特征图；步骤72：根据特征图分辨率的不同，采用不同尺寸的anchor，设计RPN网络学习目标区域，获取前景ROI；RPN为轻量的神经网络，通过滑动窗口来扫描图像，并寻找存在目标的区域，RPN扫描的矩形区域被称为anchor，anchor相互重叠地覆盖图像；滑动窗口是由RPN的卷积过程实现的，使用GPU并行地扫描...

【专利技术属性】
技术研发人员：郑大军，秦文，
申请(专利权)人：深圳市霍克视觉科技有限公司，
类型：发明
国别省市：