本发明专利技术提出结合异构局部图的渐进式网络的废钢图像细粒度分类方法，用于对废弃钢材进行等级区分，所述渐近式网络为卷积神经网络，使用监控摄像机采集的废钢图像作为卷积神经网络训练的数据集；所述方法首先在仅使用图像类别标签的情况下，从不同的训练迭代阶段和网络特征提取阶段对注意力信息进行集成从原图像中定位到含关键信息的目标区域，接着在目标图像中采样显著性的局部部件，对关键的局部细节信息进行学习，最后，构建一个完整的异构局部图，对不同局部区域之间的语义关系进行学习从而增强特征的判别性；本发明专利技术能结合全局与局部的信息，并且对局部的相关性更进一步学习提高了废钢图像分类的准确性。
【技术实现步骤摘要】
本专利技术涉及计算机视觉，尤其是结合异构局部图的渐进式网络的废钢图像细粒度分类方法。
技术介绍
1、废钢图像分类属于计算机视觉和模式识别领域里面的细粒度图像分类，由于不同级别的废钢价格悬殊，其质量直接影响了钢企的生产成本和产品质量，因此，对废弃钢材实现等级划分是一项重要和极具挑战的研究课题。不同于普通的图像分类，废钢图像分类旨在对粗粒度的废钢图像大类别进行更加细致的子类划分，从而实现对不同类型的废钢划分等级。由于不同类别的废钢外观相似，类间差异性更加细微，并且不同的图像可能因为废钢的摆放位置、光照、背景等干扰使得同一类别有着巨大的方差，这些问题都使得废钢图像细粒度分类更加具有挑战性。近年来的许多研究表明，解决细粒度分类的问题关键是更有区分度的表征学习和定位目标特征显著的部分，并且，局部部分之间其实是存在一定的联系的。y.ding使用稀疏注意力采样目标显著性部位。wangz设计了一个图传播子网络寻找显著性的局部区域，并且使用gcn学习区域特征向量之间的内部语义相关性。s.wang使用gnn对子类的显著性区域间的语义关系进行建模从而学习重要的属性。但是这些研究本质上只考虑了在单个图像上独立地学习，忽略了特征空间整体的聚簇特性，由于废钢图像数据集的特点，数据在空间的分布往往会更加离散，导致无法学到有足够区分度的特征表示。
技术实现思路
1、本专利技术提出结合异构局部图的渐进式网络的废钢图像细粒度分类方法，能结合全局与局部的信息，并且对局部的相关性更进一步学习提高了废钢图像分类的准确性。</p>2、本专利技术采用以下技术方案。
3、结合异构局部图的渐进式网络的废钢图像细粒度分类方法，用于对废弃钢材进行等级区分，所述渐近式网络为卷积神经网络，使用监控摄像机采集的废钢图像作为卷积神经网络训练的数据集；所述方法首先在仅使用图像类别标签的情况下，从不同的训练迭代阶段和网络特征提取阶段对注意力信息进行集成从原图像中定位到含关键信息的目标区域，接着在目标图像中采样显著性的局部部件，对关键的局部细节信息进行学习，最后，构建一个完整的异构局部图，对不同局部区域之间的语义关系进行学习从而增强特征的判别性。
4、所述方法包括以下步骤；
5、步骤s1：将一个mini-batch的图像输入到卷积神经网络中，提取到图像的特征图f∈rh×w×c，其中h，w和c分别代表特征图的高，宽和通道数，采用通道注意力的方式对特征图f进行聚合，将通道数减少为单通道生成对应的注意力图a∈rh×w：
6、
7、上式指按位相乘，之后，执行一个简单的归一化进行后续的操作；
8、步骤s2：建立一个注意力累计图m用来保存各个训练迭代阶段图像的注意力图a的高响应区域，首先使用第一个迭代阶段生成的注意力图a1对m进行初始化，在这里将初始化后的注意力累计图记为m1，当训练进入第二个阶段，使用当前阶段生成的注意力图a2对m1进行更新：
9、m2＝max(m1,a2)公式二；
10、其中，max()代表对两个输入项的各个元素值进行比较取最大操作，同样地，当训练迭代进入第k个阶段，也依照该方式对累计注意力图m进行更新：
11、mk＝max(mk-1,ak)公式三；
12、求取更新过后的注意力累计图m的均值作为阈值来划分m中的各个位置的点，得到一个二值图
13、步骤s3：根据二值图从图像中裁剪出最大的1连通区域为目标图像，调整大小再输入到卷积神经网络网络中进行特征提取；
14、步骤s4：基于目标检测中滑动窗口的思想，使用预先定义的多个不同尺度和比例的anchor根据目标图像的特征图采样目标的显著性区域作为部件图像，调整大小再输入到卷积神经网络网络中进行特征提取；
15、步骤s5：对部件图像的特征图执行全局平均池化操作获取到局部部件特征向量其中表示第i张图片的第p个局部特征，将所有的局部特征作为节点构建一个完整的异构局部图g＝(f,e)，将局部区域特征f作为图的点，e为图的边集，对于该图存在着两种不同类型的边，一种为节点所对应的局部区域来自于同一类图像的正对边，另一种则是两个节点来自不同类的图像的负对边，通过一个自注意力操作计算图节点之间边的权重：
16、
17、其中w∈dh×df是一个变换矩阵，在这里先对原始的节点特征表示进行线性变换，||表示对两个节点的特征表示在通道维度上concat，g则是一个全连接层，对所有的节点两两之间计算边权；
18、步骤s6：为了让不同节点之间边的权重能够进行比较，将计算出的邻接矩阵e输送到一个softmax层进行归一化：
19、
20、表示一个mini-batch中第i张图像的第p个局部区域和第j张图像的第q个局部区域的关联权重系数根据该关联权重系数对节点表示进行线性组合来更新原来的节点特征：
21、
22、其中σ表示elu非线性激活函数；
23、步骤s7：通过最小化以下的目标函数对整个的网络参数进行优化：
24、ltotal＝lcls+α1*lar+α2*ldistill公式七；
25、其中α1和α2为超参，分别设置为0.01和1；得；
26、(1)lcls为分类损失，包含了对原图像、目标图像和部件图像三者的分类交叉熵损失，其中y是输入图像的真实标签，c表示一个全连接层和softmax层。
27、(2)lar为注意力正则化损失，对异构局部图的正对边和负对边的权重进行约束，引导图正确地学习不同节点特征向量之间的交互关系，lbce(,)为二值交叉熵损失，τ表示真值，如果为正对边，则τ等于1，否则τ等于0；
28、(3)ldistill为蒸馏损失，其中β为超参设置为0.7，为了让网络能够直接学到构建的异构局部图产生的优化信息，通过ldistill对特征提取网络和异构局部图之间进行自蒸馏，从而让特征提取网络能够直接产生优化的特征表示，对异构局部图所生成的新的节点特征表示只在训练迭代阶段计算分类损失，最终图像的分类结果为
29、所述步骤s3中，采用多层集成的方法获得目标图像，使用网络最后一个卷积块conv_final和其上一个卷积块conv_before输出的特征分别计算出对应的二值掩码图和由二者来共同决定目标连通区域的位置
30、所述步骤s4中，在对目标图像进行区域采样时，设置3类不同等级大小共8种anchor，分别为:{[4×4,3×5],[6×6，5×7],[8×8,6×10,7×9,7×10]}。将每个窗口在目标图像特征的注意力图上对应区域的均值(hw和ww分别为anchor的高、宽)作为得分寻找有价值的局部区域，为了尽可能让采样到的区域含有不同的信息，避免窗口之间的重叠带来的信息冗余，最后使用nms非极大值抑制选择固定数量的窗口作为采样的结果。
31、所述方法在输出预测的图像类别标签时，按以下步骤执行；
...
【技术保护点】
1.结合异构局部图的渐进式网络的废钢图像细粒度分类方法，用于对废弃钢材进行等级区分，其特征在于：所述渐近式网络为卷积神经网络，使用监控摄像机采集的废钢图像作为卷积神经网络训练的数据集；所述方法首先在仅使用图像类别标签的情况下，从不同的训练迭代阶段和网络特征提取阶段对注意力信息进行集成从原图像中定位到含关键信息的目标区域，接着在目标图像中采样显著性的局部部件，对关键的局部细节信息进行学习，最后，构建一个完整的异构局部图，对不同局部区域之间的语义关系进行学习从而增强特征的判别性。
2.根据权利要求1所述的结合异构局部图的渐进式网络的废钢图像细粒度分类方法，其特征在于：所述方法包括以下步骤；
3.根据权利要求2所述的结合异构局部图的渐进式网络的废钢图像细粒度分类方法，其特征在于：所述步骤S3中，采用多层集成的方法获得目标图像，使用网络最后一个卷积块Conv_final和其上一个卷积块Conv_before输出的特征分别计算出对应的二值掩码图和由二者来共同决定目标连通区域的位置
4.根据权利要求3所述的结合异构局部图的渐进式网络的废钢图像细粒度分类方法，其特征在于：所述步骤S4中，在对目标图像进行区域采样时，设置3类不同等级大小共8种anchor，分别为:{[4×4,3×5],[6×6，5×7],[8×8,6×10,7×9,7×10]}。将每个窗口在目标图像特征的注意力图上对应区域的均值(HW和WW分别为anchor的高、宽)作为得分寻找有价值的局部区域，为了尽可能让采样到的区域含有不同的信息，避免窗口之间的重叠带来的信息冗余，最后使用NMS非极大值抑制选择固定数量的窗口作为采样的结果。
5.根据权利要求1所述的结合异构局部图的渐进式网络的废钢图像细粒度分类方法，其特征在于：所述方法在输出预测的图像类别标签时，按以下步骤执行；
6.根据权利要求1所述的结合异构局部图的渐进式网络的废钢图像细粒度分类方法，其特征在于：所述废钢图像在采集时，使用监控摄像机现场采集的废钢图像，并对摄像机进行了防抖动处理，以避免废钢场地在车辆卸载重物后产生的震动对图像采集造成干扰；在采集时使用三个摄像机从不同的角度进行拍摄，以减少废钢间因摆放位置的不同形成遮挡引起的数据集偏差。
7.根据权利要求1所述的结合异构局部图的渐进式网络的废钢图像细粒度分类方法，其特征在于：所述废钢包括自产废钢、加工废钢、旧废钢；自产废钢为钢铁产品加工生产过程中产生的废钢，加工废钢则指下游制造商在钢材加工过程中产生的废钢，旧废钢主要包括了折旧废钢和垃圾废钢，折旧废钢为终端汽车、机械、建筑等达到报废年限的废旧钢铁，而垃圾废钢则为无用的日常生活中的家具。
...
【技术特征摘要】
1.结合异构局部图的渐进式网络的废钢图像细粒度分类方法，用于对废弃钢材进行等级区分，其特征在于：所述渐近式网络为卷积神经网络，使用监控摄像机采集的废钢图像作为卷积神经网络训练的数据集；所述方法首先在仅使用图像类别标签的情况下，从不同的训练迭代阶段和网络特征提取阶段对注意力信息进行集成从原图像中定位到含关键信息的目标区域，接着在目标图像中采样显著性的局部部件，对关键的局部细节信息进行学习，最后，构建一个完整的异构局部图，对不同局部区域之间的语义关系进行学习从而增强特征的判别性。
2.根据权利要求1所述的结合异构局部图的渐进式网络的废钢图像细粒度分类方法，其特征在于：所述方法包括以下步骤；
3.根据权利要求2所述的结合异构局部图的渐进式网络的废钢图像细粒度分类方法，其特征在于：所述步骤s3中，采用多层集成的方法获得目标图像，使用网络最后一个卷积块conv_final和其上一个卷积块conv_before输出的特征分别计算出对应的二值掩码图和由二者来共同决定目标连通区域的位置
4.根据权利要求3所述的结合异构局部图的渐进式网络的废钢图像细粒度分类方法，其特征在于：所述步骤s4中，在对目标图像进行区域采样时，设置3类不同等级大小共8种anchor，分别为:{[4×4,3×5],[6×6，5×7],[8×8,...
【专利技术属性】
技术研发人员：陈飞，陈权，王衍根，程航，王美清，刘蓉，
申请(专利权)人：福州大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。