一种城市垃圾分类处理智能视觉检测方法技术

本发明专利技术提供了一种城市垃圾分类处理智能视觉检测方法，针对城市垃圾智能自动分类回收需求，采用新型卷积神经网络NCNN包括改进神经网络特征提取部分，使用新的复合卷积池化层取代传统的卷积神经网络卷积层；本发明专利技术将网络架构设计为12个层，包括6个卷积层，3个池化层和3个全连接层，模型泛化能力强，可迁移性强，革新了城市垃圾智能分类实现方法，能够自动完成垃圾分类任务，减轻人工操作，使垃圾分类做到减量化、资源化、无害化，确保垃圾分类效果。

【技术实现步骤摘要】
一种城市垃圾分类处理智能视觉检测方法
本专利技术涉及垃圾分类视觉智能检测
，尤其涉及一种城市垃圾分类处理智能视觉检测方法。
技术介绍
目前的垃圾分类大多由人工判断分拣完成，自动化程度较低，这不仅占用大量的人力资源，还容易发生环境污染、毒害泄漏、人员受伤等危险情况，面对目前巨额的城市垃圾，如何实现快速、自动化分拣，是目前亟待解决的难题。
技术实现思路
为解决上述问题，提供了一种城市垃圾分类处理智能视觉检测方法。一种城市垃圾分类处理智能视觉检测方法，其中包括如下步骤：步骤1)、采集多种城市垃圾图像，制作垃圾图像数据集，将除厨余垃圾外的生活垃圾类别分为18个二级类别，包含：1：玻璃类、2：牛奶盒、3：金属类、4：塑料类、5：废纸类、6：织物类、7：废电池、8：废墨盒、9：废油漆桶、10：过期药品、11：废灯管、12：杀虫剂、13：污染塑料袋、14：烟头、15：污染纸张、16：破旧陶瓷品、17：灰土、18：一次性餐具；按照垃圾所属二级类别，对各图像的所属类别进行标注，保存每张图像属于类别1-18中的哪一类别，标注结果保存为.xml文件；然后进入步骤2)对全体样本集进行训练；步骤2)、每次送单张训练集图像数据进入新型卷积神经网络，训练集图像数据为3通道彩色图，图片格式为.jpg，图像尺寸参数为512像素*512像素*3通道；将所述新型卷积神经网络共有12层，相邻层与层之间采用串联方式；设置学习率为0.005，迭代次数为500次，使用垃圾图像数据集进行训练；所述卷积层在处理过程中要用到的公式中的变量及其含义说明如下：*：表示数乘，乘数均为实数；v：表示当前处理的卷积层在整个网络中所处的层级，v为正整数，v≥1，当v的值确定时，指定当前的层数，所有下标包含v的变量均以v的值代入来表示此变量的名称；Cv：表示网络第v层为卷积层；wv：单位为像素，表示第v层输入图像的尺寸为wv*wv；这里我们设置输入图像宽高比均为1:1；dv：正整数，表示第v层Cv输入图像的通道数，输入图像为彩色3通道，分别是R、G、B，分别代表图像某点像素中的红色、绿色、蓝色分量值，这里的R、G、B均为正整数；fv：正整数，表示第v层Cv使用的卷积核的大小，即卷积核的长度和宽度，中的所有卷积核的长度等于其宽度；tv：正整数，表示第v层Cv使用的卷积核的个数；kvu：三维实矩阵，表示第v层Cv使用的第u个卷积核，即长度*宽度*图像通道数，1≤u≤t1；Kvu(mv，nv)：表示卷积核kvu内的值，可看作对图像进行卷积运算的计算权重，为dv维实向量，mv、nv为正整数，表示第v层Cv使用的卷积核内的位置，mv表示横坐标，nv表示纵坐标，mv、nv的取值范围为：1≤mv，nv≤fv；Kvu(mv，nv，cv)：表示卷积核kvu内各通道的值，mv、nv为正整数，表示第v层使用的卷积核内的位置，mv是表示横坐标，nv表示纵坐标，mv、nv的取值范围为1≤mv，nv≤fv，cv为正整数，表示卷积核内第cv个通道，1≤cv≤dv；bv：代表第v层使用的全部tv个卷积核对应的tv个偏置量；kv：代表第v层使用的全部tv个卷积核，没有数学意义，仅做符号表示；pv：正整数，做卷积运算之前，对将要做卷积运算的图像的上、下、左、右四边均添加0像素的行数或列数，每个0像素的通道数均为dv，这里说的“0像素”是指一个像素的所有通道上的值均为0的像素；sv：正整数，第v层卷积运算操作步长，使用卷积核对将要做卷积运算的图像进行卷积运算时，无论是横向，还是纵向，均要每隔几个像素进行一次卷积运算，这个间隔数即操作步长，以像素为单位；layerv(iv，jv)：表示第v层输入图像中的第iv行，第jv列的像素值，其由(R，G，B)三个数来表示，其中0≤R，G，B≤255，1≤iv，jv≤wv；layerv(iv，jv，cv)：表示第v层输入图像中的第iv行，第jv列，第cv通道的像素值，1≤iv，jv≤wv，1≤cv≤dv；layervout(pv，qv，kvu)：表示第v层输入图像经与卷积核kvu做卷积运算后得到的特征图的第pv行，第qv列的像素值，每个值可以看做一个神经元，其中1≤pv，qv≤wvout；wvout：单位为像素，表示第v层输入图像layerv与卷积核kvu进行卷积运算后得到的特征图layervout的尺寸为wvout*wvout；对第一层卷积网络做卷积运算，所需参数的值如下：v＝1，w1＝512，d1＝3，f1＝5，t1＝6，s1＝1，p1＝0，k1u和b1设置为初始值在(-1，1)之间的随机数，对所述新型卷积神经网络的第一卷积层C1与卷积核k1u进行卷积计算的过程为：根据输入图像从左至右，从上到下，按照指定步长s1移动，将卷积核k1u在每个位置上与输入图像对应位置且对应通道的像素值相乘后求和，所得结果作为输出的二维特征图，每个值可看作一个神经元layer1out(p1，q1，k1u)，公式表示如下：其中layer1(i1+m1，j1+n1，c1)表示卷积运算进行到输入图像layer1第c1通道的i1+m1行、第j1+n1列，1≤i1，j1≤w1–f1+1，第一层图像layer1做卷积运算后输出的特征图尺寸由第一层图像尺寸w1、卷积核大小f1及扫描步长s1和填充p1决定，计算公式为：代入上述数据计算可得，则第一层与卷积核k1u做卷积操作后的输出特征图尺寸为508像素*508像素；分别利用t9＝256个卷积核依次重复上述卷积过程，最终形成t9＝256层二维特征图，神经元的个数为508*508*6个，这就是第一卷积层的全部输出结果，这里以下式代表：layer1out(p1,q1,k1)；所述第一卷积层激活函数采用LeakyReLU，其数学表达式为：其中，layer1out(p1，q1，k1)+b1做为本层激活函数LeakyReLU的输入，layer2(i2，j2，c2)代表新型卷积神经网络第一卷积层激活后的输出，b1代表偏置量，其中i2、j2、c2均为正整数，且1≤i2，j2≤508，1≤c2≤6，这里c取值为50；之后，进入步骤3)；步骤3)、进入所述新型卷积神经网络的第二层池化层，本文中所有的池化层在计算过程中要用到的公式中的变量及其含义说明如下：max：池化过程运算符号，表示取最大值；z：表示当前处理的池化层在整个网络中所处的层级，当z的值在一层被指定后，所有下标包含z的变量均以z的值代入来表示此变量的名称；wz：单位为像素，表示第z层输入图像的尺寸为wz*wz；dz：正整数，表示第z层输入图像的通道数，这里为第z层的输出结果的通道数，dz＝tz-1；fz：正整数，表示第z层使用的池化过滤器的大小，即过滤器的长度和宽度，中所有池化层过滤器的长度等于其宽度；layerz(iz，jz)：无单位，表示第z层输入图像中的第iz行，第jz列的像素值，其是一个dz维向量，其中1≤iz，jz≤wz；layerz(iz，jz，cz)：无单位，表示第z层输入图像中的第iz行，第jz列，第cz通道的像素值，1本文档来自技高网...

【技术保护点】
1.一种城市垃圾分类处理智能视觉检测方法，其特征在于：包括如下步骤：/n步骤1)、采集多种城市垃圾图像，制作垃圾图像数据集，将除厨余垃圾外的生活垃圾类别分为18个二级类别，包含：1：玻璃类、2：牛奶盒、3：金属类、4：塑料类、5：废纸类、6：织物类、7：废电池、8：废墨盒、9：废油漆桶、10：过期药品、11：废灯管、12：杀虫剂、13：污染塑料袋、14：烟头、15：污染纸张、16：破旧陶瓷品、17：灰土、18：一次性餐具；按照垃圾所属二级类别，对各图像的所属类别进行标注，保存每张图像属于类别1-18中的哪一类别，标注结果保存为.xml文件；然后进入步骤2)对全体样本集进行训练；/n步骤2)、每次送单张训练集图像数据进入新型卷积神经网络，训练集图像数据为3通道彩色图，图片格式为.jpg，图像尺寸参数为512像素*512像素*3通道；将所述新型卷积神经网络共有12层，相邻层与层之间采用串联方式；/n设置学习率为0.005，迭代次数为500次，使用垃圾图像数据集进行训练；/n所述卷积层在处理过程中要用到的公式中的变量及其含义说明如下：/n*：表示数乘，乘数均为实数；/nv：表示当前处理的卷积层在整个网络中所处的层级，v为正整数，v≥1，当v的值确定时，指定当前的层数，所有下标包含v的变量均以v的值代入来表示此变量的名称；/nCv：表示网络第v层为卷积层；/nw...

【技术特征摘要】
1.一种城市垃圾分类处理智能视觉检测方法，其特征在于：包括如下步骤：
步骤1)、采集多种城市垃圾图像，制作垃圾图像数据集，将除厨余垃圾外的生活垃圾类别分为18个二级类别，包含：1：玻璃类、2：牛奶盒、3：金属类、4：塑料类、5：废纸类、6：织物类、7：废电池、8：废墨盒、9：废油漆桶、10：过期药品、11：废灯管、12：杀虫剂、13：污染塑料袋、14：烟头、15：污染纸张、16：破旧陶瓷品、17：灰土、18：一次性餐具；按照垃圾所属二级类别，对各图像的所属类别进行标注，保存每张图像属于类别1-18中的哪一类别，标注结果保存为.xml文件；然后进入步骤2)对全体样本集进行训练；
步骤2)、每次送单张训练集图像数据进入新型卷积神经网络，训练集图像数据为3通道彩色图，图片格式为.jpg，图像尺寸参数为512像素*512像素*3通道；将所述新型卷积神经网络共有12层，相邻层与层之间采用串联方式；
设置学习率为0.005，迭代次数为500次，使用垃圾图像数据集进行训练；
所述卷积层在处理过程中要用到的公式中的变量及其含义说明如下：
*：表示数乘，乘数均为实数；
v：表示当前处理的卷积层在整个网络中所处的层级，v为正整数，v≥1，当v的值确定时，指定当前的层数，所有下标包含v的变量均以v的值代入来表示此变量的名称；
Cv：表示网络第v层为卷积层；
wv：单位为像素，表示第v层输入图像的尺寸为wv*wv；这里我们设置输入图像宽高比均为1:1；
dv：正整数，表示第v层Cv输入图像的通道数，输入图像为彩色3通道，分别是R、G、B，分别代表图像某点像素中的红色、绿色、蓝色分量值，这里的R、G、B均为正整数；
fv：正整数，表示第v层Cv使用的卷积核的大小，即卷积核的长度和宽度，中的所有卷积核的长度等于其宽度；
tv：正整数，表示第v层Cv使用的卷积核的个数；
kvu：三维实矩阵，表示第v层Cv使用的第u个卷积核，即
长度*宽度*图像通道数，1≤u≤t1；
Kvu(mv，nv)：表示卷积核kvu内的值，可看作对图像进行卷积运算的计算权重，为dv维实向量，mv、nv为正整数，表示第v层Cv使用的卷积核内的位置，mv表示横坐标，nv表示纵坐标，mv、nv的取值范围为：1≤mv，nv≤fv；
Kvu(mv，nv，cv)：表示卷积核kvu内各通道的值，mv、nv为正整数，表示第v层使用的卷积核内的位置，mv是表示横坐标，nv表示纵坐标，mv、nv的取值范围为1≤mv，nv≤fv，cv为正整数，表示卷积核内第cv个通道，1≤cv≤dv；
bv：代表第v层使用的全部tv个卷积核对应的tv个偏置量；
kv：代表第v层使用的全部tv个卷积核，没有数学意义，仅做符号表示；
pv：正整数，做卷积运算之前，对将要做卷积运算的图像的上、下、左、右四边均添加0像素的行数或列数，每个0像素的通道数均为dv，这里说的“0像素”是指一个像素的所有通道上的值均为0的像素；
sv：正整数，第v层卷积运算操作步长，使用卷积核对将要做卷积运算的图像进行卷积运算时，无论是横向，还是纵向，均要每隔几个像素进行一次卷积运算，这个间隔数即操作步长，以像素为单位；
layerv(iv，jv)：表示第v层输入图像中的第iv行，第jv列的像素值，其由(R，G，B)三个数来表示，其中0≤R，G，B≤255，1≤iv，jv≤wv；
layerv(iv，jv，cv)：表示第v层输入图像中的第iv行，第jv列，第cv通道的像素值，1≤iv，jv≤wv，1≤cv≤dv；
layervout(pv，qv，kvu)：表示第v层输入图像经与卷积核kvu做卷积运算后得到的特征图的第pv行，第qv列的像素值，每个值可以看做一个神经元，其中1≤pv，qv≤wvout；
wvout：单位为像素，表示第v层输入图像layerv与卷积核kvu进行卷积运算后得到的特征图layervout的尺寸为wvout*wvout；
对第一层卷积网络做卷积运算，所需参数的值如下：
v＝1，w1＝512，d1＝3，f1＝5，t1＝6，s1＝1，p1＝0，k1u和b1设置为初始值在(-1，1)之间的随机数，对所述新型卷积神经网络的第一卷积层C1与卷积核k1u进行卷积计算的过程为：根据输入图像从左至右，从上到下，按照指定步长s1移动，将卷积核k1u在每个位置上与输入图像对应位置且对应通道的像素值相乘后求和，所得结果作为输出的二维特征图，每个值可看作一个神经元layer1out(p1，q1，k1u)，公式表示如下：



其中layer1(i1+m1，j1+n1，c1)表示卷积运算进行到输入图像layer1第c1通道的i1+m1行、第j1+n1列，1≤i1，j1≤w1–f1+1，第一层图像layer1做卷积运算后输出的特征图尺寸由第一层图像尺寸w1、卷积核大小f1及扫描步长s1和填充p1决定，计算公式为：代入上述数据计算可得，则第一层与卷积核k1u做卷积操作后的输出特征图尺寸为508像素*508像素；分别利用t1＝6个卷积核依次重复上述卷积过程，最终形成t1＝6层二维特征图，神经元的个数为508*508*6个，这就是第一卷积层的全部输出结果，这里以下式代表：layer1out(p1,q1,k1)
所述第一卷积层激活函数采用LeakyReLU，其数学表达式为：



其中，layer1out(p1，q1，k1)+b1做为本层激活函数LeakyReLU的输入，layer2(i2，j2，c2)代表新型卷积神经网络第一卷积层激活后的输出，b1代表偏置量，其中i2、j2、c2均为正整数，且1≤i2，j2≤508，1≤c2≤6，这里c取值为50；之后，进入步骤3)；
步骤3)、进入所述新型卷积神经网络的第二层池化层，本文中所有的池化层在计算过程中要用到的公式中的变量及其含义说明如下：
max：池化过程运算符号，表示取最大值；
z：表示当前处理的池化层在整个网络中所处的层级，当z的值在一层被指定后，所有下标包含z的变量均以z的值代入来表示此变量的名称；
wz：单位为像素，表示第z层输入图像的尺寸为wz*wz；
dz：正整数，表示第z层输入图像的通道数，这里为第z层的输出结果的通道数，dz＝tz-1；
fz：正整数，表示第z层使用的池化过滤器的大小，即过滤器的长度和宽度，中所有池化层过滤器的长度等于其宽度；
layerz(iz，jz)：无单位，表示第z层输入图像中的第iz行，第jz列的像素值，其是一个dz维向量，其中1≤iz，jz≤wz；
layerz(iz，jz，cz)：无单位，表示第z层输入图像中的第iz行，第jz列，第cz通道的像素值，1≤iz，jz≤wz，1≤cz≤dz；
layerzout(pz，qz，dz)：无单位，表示第z层输出图像中的第pz行，第qz列，第dz通道位置处的值，1≤pz，qz≤(wz/fz)；
对第z层池化层做运算时，操作步骤如下：
把池化层的输入图像的一个通道内的wz*wz个像素划分为(wz/fz)行，(wz/fz)列个fz*fz的小块，对每个小块中的数，取最大数做为输出结果，然后遍历完每行上的小块和每列上的小块，依小块原有的次序放在相应的位置，最终构成一个(wz/fz)*(wz/fz)的矩阵，所有下标包含z的变量均以z的值代入来表示此变量的名称；
对第二层池化层做运算时，所需参数的值如下：z＝2，w2＝508，d2＝6，f2＝2，池化层使用的池化操作为最大池化，对输入数据的d2通道的第i2行，j2列位置的池化计算公式如下：



对一个通道做完池化操作后，形成输出特征图layer2out的1层二维池化结果，再对另外d2-1个通道，依次重复上述池化过程，最终形成d2层二维池化结果，这就是第二池化层的全部输出结果，以下式代表：layer2out(p2,q2,d2)
式中，1≤p2，q2≤(w2/f2)＝254，d2＝6；之后，进入步骤4)；
步骤4)、进入所述新型卷积神经网络第三层为卷积层C3,对第三层卷积网络做卷积运算时，所需参数的值如下：
v＝3，w3＝254，d3＝6，f3＝3，t3＝16，s3＝1，p3＝0，k3u和b3设置为初始值在(-1，1)之间的随机数，对所述新型卷积神经网络的第三层卷积层C3与卷积核k3u进行卷积计算的过程为：根据输入图像从左至右，从上到下，按照指定步长s3移动，将卷积核k3u在每个位置上与输入图像对应位置且对应通道的像素值相乘后求和，所得结果作为输出的二维特征图，每个值可看作一个神经元layer3out(p3，q3，k3u)，公式表示如下：



其中layer3(i3+m3，j3+n3，c3)表示卷积运算进行到输入图像layer3第c3通道的i3+m3行，第j3+n3列，1≤i3，j3≤w3–f3+1，第三层图像layer3做卷积运算后输出的特征图尺寸由第一层图像尺寸w3、卷积核大小f3及扫描步长s3和填充p3决定，计算公式为：代入上述数据计算可得，则第三层与卷积核k3u做卷积操作后的输出特征图尺寸为252像素*252像素；分别利用t3＝16个卷积核依次重复上述卷积过程，最终形成t3＝16层二维特征图，神经元的个数为252*252*16个，这就是第三层卷积层的全部输出结果，这里以下式代表：layer3out(p3,q3,k3)
第三层卷积层激活函数采用LeakyReLU，其数学表达式为：



其中，layer3out(p3，q3，k3)+b3做为本层激活函数LeakyReLU的输入，layer4(i4，j4，c4)代表新型卷积神经网络第三层卷积层激活后的输出，b3代表偏置量，其中i4、j4、c4均为正整数，且1≤i4，j4≤508，1≤c4≤6，这里c取值为50；之后，进入步骤5)；
步骤5)、进入所述新型卷积神经网络第四层为池化层，对第四层池化层做运算时，所需参数的值如下：z＝4，w4＝252，d4＝16，f4＝2，对输入数据的d4通道的第i4行，j4列位置的池化计算公式如下：



对一个通道做完池化操作后，形成输出特征图layer4out的1层二维池化结果，再对另外d4-1个通道，依次重复上述池化过程，最终形成d4层二维池化结果，这就是第四层池化层的全部输出结果，以下式表示：layer4out(p4,q4,d4)
式中，1≤p4，q4≤(w4/f4)＝126，d4＝16；之后，进入步骤6)；
步骤6)、进入所述新型卷积神经网络第五层，第五层为卷积层C5，对第五层卷积网络做卷积运算时，所需参数的值如下：w5＝126，d5＝16，f5＝3，t5＝32，s5＝1，p5＝0，k5u和b5设置为初始值在(-1，1)之间的随机数，对所述新型卷积神经网络的第五层卷积层C5与卷积核k5u进行卷积计算的过程为：根据输入图像从左至右，从上到下，按照指定步长s5移动，将卷积核k5u在每个位置上与输入图像对应位置且对应通道的像素值相乘后求和，所得结果作为输出的二维特征图，每个值可看作一个神经元layer5out(p5，q5，k5u)，公式表示如下：



其中layer5(i5+m5，j5+n5，c5)表示卷积运算进行到输入图像layer5第c5通道的i5+m5行，第j5+n5列，1≤i5，j5≤w5–f5+1，第五层图像layer5做卷积运算后输出的特征图尺寸由第五层图像尺寸w5、卷积核大小f5及扫描步长s5和填充p5决定，计算公式为：代入上述数据计算可得，则第五层与卷积核k5u做卷积操作后的输出特征图尺寸为126像素*126像素；分别利用t5＝32个卷积核依次重复上述卷积过程，最终形成t5＝32层二维特征图，神经元的个数为126*126*32个，这就是第一卷积层的全部输出结果，这里以下式表示：layer5out(p5,q5,k5)
第五层卷积层激活函数采用LeakyReLU，其数学表达式为：



layer5out(p5，q5，k5)做为本层激活函数LeakyReLU的输入，b5代表偏置量，layer6(i6，j6，c6)代表新型卷积神经网络第五层卷积层激活后的输出，其中i6、j6、c6均为正整数，且1≤i6，j6≤126，1≤c6≤32，这里c取值为50；之后，进入步骤7)；
步骤7)、进入所述新型卷积神经网络第六层为池化层，对第六层池化层做运算时，所需参数的值如下：z＝6，w6＝126，d6＝32，f6＝2，池化层使用的池化操作为最大池化，对输入数据的d6通道的第i6行，j6列位置的池化计算公式如下：



对一个通道做完池化操作后，形成输出特征图layer6out的1层二维池化结果，再对另外d6-1个通道，依次重复上述池化过程，最终形成d6层二维池化结果，这就是第六层池化层的全部输出结果，以下式表示：layer6out(p6,q6,d6)
式中，1≤p6，q6≤(w6/f6)＝63，d6＝32；之后，进入步骤8)；
步骤8)、进入所述新型卷积神经网络第七层，第七层为卷积层C7，对第七层卷积网络做卷积运算时，所需参数的值如下：w7＝63，d7＝32，f7＝3，t7＝64，s7＝2，p7＝0，k7u和b7设置为初始值在(-1，1)之间的随机数，对所述新型卷积神经网络的第七层卷积层C7与卷积核k7u进行卷积计算的过程为：根据输入图像从左至右，从上到下，按照指...

【专利技术属性】
技术研发人员：班瑞，
申请(专利权)人：郑州睿如信息技术有限公司，
类型：发明
国别省市：河南;41