一种基于传感器耦合的机器视觉垃圾识别定位技术制造技术

本发明专利技术公开了一种基于传感器耦合的机器视觉垃圾识别定位技术包括通过传感器采集物体图像信息、红外光谱信息和3D轮廓信息；将图像信息传入YOLOv5目标识别网络，建立数据集类型；将红外光谱信息传输至主成分分析(PCA)和支持向量机(SVM)模型，建立数据集类型；将YOLOv5识别的目标类别与红外光谱识别的物体类别进行耦合；将YOLOv5获得的物体二维坐标与传感器获得的三维坐标进行耦合；将耦合得到的目标类别传输给并联机器臂；将耦合得到的坐标传输给PLC，通过PLC的伺服控制模块进行定位；并联机器臂通过控制器指导机械臂进行抓取，根据目标类别选择放置位置；本专利使用多传感器耦合，使得不同传感器之间优势互补，对于仅需要图像即可判别的类别，可保证识别精度。可保证识别精度。可保证识别精度。

【技术实现步骤摘要】
一种基于传感器耦合的机器视觉垃圾识别定位技术


[0001]本专利技术涉及机器视觉的
，尤其涉及一种基于传感器耦合的机器视觉垃圾识别定位技术。

技术介绍

[0002]现有技术主要还是通过人工流程进行垃圾分拣任务，成本高、效率低、对工人身体健康有负面影响。有少部分采用机器视觉技术，也只停留在通过单一的图像技术进行物类识别与定位，单一的图像识别不能区分外形相似但材质不同的物体，因此无法应对回收过程中高附加值产品的精细分类问题；单一的红外识别的识别精度与效率均不如图象识别，也容易受到外部环境干扰，识别精度与定位精度仍有提升空间。本专利相比人工分拣方式分拣速度更快，预计每条流水线可达5400件/h，更环保，并能有效缓解劳动密集型产业招工难的问题；相比现有机器视觉与垃圾分拣领域的结合应用现状，本技术通过多传感器的耦合对提升识别与定位精度的提升空间进行了一定的探索。

技术实现思路

[0003]本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。
[0004]鉴于上述现有基于传感器耦合的机器视觉垃圾识别定位技术存在的问题，提出了本专利技术。
[0005]因此，本专利技术目的是提供一种基于传感器耦合的机器视觉垃圾识别定位技术，其通过多传感器的耦合提升识别与定位精度。
[0006]为解决上述技术问题，本专利技术提供如下技术方案：一种基于传感器耦合的机器视觉垃圾识别定位技术，通过传感器采集物体图像信息、红外光谱信息和 3D轮廓信息；
[0007]将图像信息传入YOLOv5目标识别网络，建立数据集类型；
[0008]将红外光谱信息传输至主成分分析(PCA)和支持向量机(SVM)模型，建立数据集类型；
[0009]将YOLOv5识别的目标类别与红外光谱识别的物体类别进行耦合；
[0010]将YOLOv5获得的物体二维坐标与传感器获得的三维坐标进行耦合；
[0011]将耦合得到的目标类别传输给并联机器臂；
[0012]将耦合得到的坐标传输给PLC，通过PLC的伺服控制模块进行定位；
[0013]并联机器臂通过控制器指导机械臂进行抓取，根据目标类别选择放置位置。
[0014]作为本专利技术所述基于传感器耦合的机器视觉垃圾识别定位技术的一种优选方案，其中：传感器标定牵涉的坐标系包括四个平面坐标系，分别为：像素平面坐标系(u，v)、图像物理坐标系(像平面坐标系)(x，y)、相机坐标系(X
C
，Y
C
，Z
C
)和世界坐标系(X
W
，Y
W
，Z
W
)；像素坐标(u，v)可以通过以下公式从像平面坐标得出：
[0015][0016]其中，dx、dy、u0、v0均为设定参数，dx、dy表示感光芯片上像素的实际大小，是连接像素坐标系和真实尺寸坐标系；u0、v0是图像平面中心，最终可求得内外参数；建立像素平面坐标系(u，v)时，采用棋盘格作为标定检测物体，标定过程中计算棋盘格边长与相应的边在图像中像素个数的对应值，完成坐标系的建立。
[0017]作为本专利技术所述基于传感器耦合的机器视觉垃圾识别定位技术的一种优选方案，其中：上述公式转换为矩阵形式为：
[0018][0019]相机坐标系是经过旋转平移之后的世界坐标系，可以通过旋转矩阵R和平移矩阵T来得到以下关系：
[0020][0021]根据相机成像原理，可以得到基于相似三角形的边长关系式：
[0022][0023]最终可以得到如下公式：
[0024][0025]作为本专利技术所述基于传感器耦合的机器视觉垃圾识别定位技术的一种优选方案，其中：相机采集的图像在边缘部分的直线可能会畸变成为曲线；径向畸变数学模型为：
[0026][0027]式中，k1、k2、k3表示各阶次径向畸变系数；(x，y)是理想的无畸变的坐标(图像坐标系)；(x
dr
，y
dr
)是畸变后图像像素点的坐标；r表示目标坐标与原点之间的距离，即r2＝x2+y2；
[0028]切向畸变数学模型为：
[0029][0030]式中p1，p2表示各阶次切向畸变系数；r表示目标坐标与原点之间的距离，即r2＝x2+y2；
[0031]合并：
[0032][0033]最终可以得到5个畸变参数k1、k2、k3、p1，p2，通过对工业相机内参数与畸变参数进行标定，对采集的图像进行畸变校正处理即可得到校正后的图像。
[0034]作为本专利技术所述基于传感器耦合的机器视觉垃圾识别定位技术的一种优选方案，其中：通过参考光谱对得到的反射信号进行矫正，先进行探头高度h ＝1m情况下的白板采样，在探头下铺设整块白瓷砖，进行连续采样，随后用黑棉布包裹探头，采集黑板；随后通过以下公式进行光谱矫正：
[0035][0036]式中，x
i
为经过第i个波长参考光谱矫正后的信号强度；为原始反射信号第i个波长的信号强度；为白板漫反射光谱第i个波长的信号强度；为暗电流背景光谱在第i个波长的信号强度。
[0037]作为本专利技术所述基于传感器耦合的机器视觉垃圾识别定位技术的一种优选方案，其中：YOLOv5目标检测模型先通过K近邻(KNN)聚类得到anchor 框，随后通过目标框回归预测精确目标框，yolov5采用如下公式：
[0038]b
x
＝2σ(t
x
)
‑
0.5+c
x
[0039]b
y
＝2σ(t
y
)
‑
0.5+c
y
[0040]b
w
＝p
w
(2σ(t
w
))2[0041]b
h
＝p
h
(2σ(t
h
))2[0042]其中，t
x
、t
y
、t
w
、t
h
均为反向传播过程中需要迭代的参数，为sigmoid激活函数，b
x
、b
y
分别为预测框的中心x、y坐标，c
x
和c
y
分别为单个网格的长度和宽度。b
w
、b
h
为预测框的宽度和长度，b
w
、p
h
分别为聚类得到的anchor框的宽度和长度；
[0043]YOLOv5的损失函数(L)是置信度损失(L
conf
)、分类损失(L
cla
)、边界框损失(L
loc
)三部分的加权和：
[0044]L(o，c，O，C，l，g)＝λ1L...

【技术保护点】

【技术特征摘要】
1.一种基于传感器耦合的机器视觉垃圾识别定位技术，其特征在于：包括，通过传感器采集物体图像信息、红外光谱信息和3D轮廓信息；将图像信息传入YOLOv5目标识别网络，建立数据集类型；将红外光谱信息传输至主成分分析(PCA)和支持向量机(SVM)模型，建立数据集类型；将YOLOv5识别的目标类别与红外光谱识别的物体类别进行耦合；将YOLOv5获得的物体二维坐标与传感器获得的三维坐标进行耦合；将耦合得到的目标类别传输给并联机器臂；将耦合得到的坐标传输给PLC，通过PLC的伺服控制模块进行定位；并联机器臂通过控制器指导机械臂进行抓取，根据目标类别选择放置位置。2.如权利要求1所述的基于传感器耦合的机器视觉垃圾识别定位技术，其特征在于：传感器标定牵涉的坐标系包括四个平面坐标系，分别为：像素平面坐标系(u，v)、图像物理坐标系(像平面坐标系)(x，y)、相机坐标系(X
C
，Y
C
，Z
C
)和世界坐标系(X
W
，Y
W
，Z
W
)；像素坐标(u，v)可以通过以下公式从像平面坐标得出：其中，dx、dy、u0、v0均为设定参数，dx、dy表示感光芯片上像素的实际大小，是连接像素坐标系和真实尺寸坐标系；u0、v0是图像平面中心，最终可求得内外参数；建立像素平面坐标系(u，v)时，采用棋盘格作为标定检测物体，标定过程中计算棋盘格边长与相应的边在图像中像素个数的对应值，完成坐标系的建立。3.如权利要求2所述的基于传感器耦合的机器视觉垃圾识别定位技术，其特征在于：上述公式转换为矩阵形式为：相机坐标系是经过旋转平移之后的世界坐标系，可以通过旋转矩阵R和平移矩阵T来得到以下关系：根据相机成像原理，可以得到基于相似三角形的边长关系式：最终可以得到如下公式：
其中，t
x
、t
y
、t
w
、t
h
均为反向传播过程中需要迭代的参数，为sigmoid激活函数，b
x
、b
y
分别为预测框的中心x、y坐标，c
x
和c
y
分别为单个网格的长度和宽度。b
w
、b
h
为预测框的宽度和长度，b
w
、p
h
分别为聚类得到的anchor框的宽度和长度；YOLOv5的损失函数(L)是置信度损失(L
conf
)、分类损失(L
cla
)、边界框损失(L
loc
...

【专利技术属性】
技术研发人员：李佳，谈文杰，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：