基于自组织增量-图卷积神经网络的钢材微观组织自动分类方法技术

本发明专利技术公开了一种融合自组织增量学习神经网络和图卷积神经网络的钢材微观组织自动分类方法。一、确定要识别的钢材微观组织种类，并搜集由扫描电子显微镜获得的大量钢材微观组织图片，以形成数据集，并为数据集中的每张图片确定一个类别标签；二、采用迁移学习获取图片样本数据的特征向量集合；三、通过引入连接权重策略的自组织增量学习神经网络(WSOINN)对特征数据进行学习，获得其拓扑图结构，并引入胜利次数对节点进行少量人工标注；四、搭建多层图卷积神经网络(GCN)挖掘图中节点的潜在联系，利用Dropout手段提高网络的泛化能力，最后对剩余节点自动标注进而获得图片的分类结果。本专利所述的方法在图片标注量仅为传统深度学习网络模型的12％时，分类准确度就可达到91％以上，比VGG、MLP、SOINN等网络模型的精度高。型的精度高。型的精度高。

【技术实现步骤摘要】
基于自组织增量-图卷积神经网络的钢材微观组织自动分类方法


[0001]本专利技术属于钢材微观组织图像分类
，涉及一种基于深度学习的钢材微观组织自动分类方法，尤其涉及一种融合自组织增量学习神经网络和图卷积神经网络的钢材微观组织自动分类方法。

技术介绍

[0002]钢铁材料以其优异的力学性能和低廉的成本，仍然是最重要和最广泛使用的材料之一，钢材微观组织丰富多样，包括铁素体，珠光体、贝氏体、马氏体、奥氏体等，其微观组织类型、含量、尺寸、形貌和分布等特点决定了材料的性能，因此研究钢铁材料的微观组织有重要意义。
[0003]传统上，钢材微观组织的辨识由人工完成，对人的专业经验依赖性较大，即使是经验丰富的专家也会因为肉眼看不到的图像细节而分析失误。而现代钢材种类越来越多，其内部微观组织越来越复杂，人工辨识面临巨大挑战。随着人工智能的深入发展，国内外研究者已开始将深度学习用于钢材微观组织图像的自动辨识问题上，目前的研究需要将收集到的图像数据分为训练集、测试集，面对庞大的数据量，人工标注训练集的工作量巨大，实际应用很困难。这些问题在其他领域的研究中也屡见不鲜。因此，研究一种能够减少人工数据标注工作量的高效算法，无论对钢材微观组织还是其他领域的图像数据研究，都具有重要的理论研究与实际应用价值。
[0004]深度学习的概念源于人工神经网络的研究，是机器学习的分支，是一种以人工神经网络为架构，对数据进行表征学习的算法。有研究表明，深度学习在某些特定的图像识别上，能力已经超过人类，造成这一现象的主要原因是深度学习模型通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示，和其较强抗噪、复杂函数表达及泛化能力，深度学习不止应用于图像识别，还包括图像生成、机器翻译、目标检测、机器人技术等多个领域。
[0005]目前在图像数据的分类问题上，一般不能避免训练集、测试集的划分，且不能充分利用图像间的潜在关联信息。然而在其他领域中，早已在用具有极强的抽象性和灵活性的图G＝(V，E)来表达复杂数据关系，其V为节点集合，E为节点间的连接关系。其处理数据的强悍能力成为研究和关注的重点，广泛的应用包括社交网络、交通网络、生物信息、知识图谱、分布式运算、多智能体集群等。图卷积神经网络(GCN)是目前流行且有效的图数据处理方法，其是将CNN提取二维图像特征过程，过渡到图结构，从而进行巨量、稀疏、超维关联的数据挖掘和分析。它可处理具有空间拓扑图结构的不规则数据，并深入发掘其特征和规律。而拓扑学习可获取拓扑图结构，能有效描述数据的空间分布，目前有多种拓扑模型被提出用于数据分析。Self-organizing map(简称SOM)、Neural Gas(简称NG)和Topology Representing Network(简称TRN)在数据空间随机分布一定数量的神经元，并初始化连接，基于竞争学习机制，逐个输入数据样本进行训练；在NG基础上，有Growing Neural Gas(简
称GNG)的提出，其神经元随着输入数据动态地增加，比NG具有更强的动态性，但是稳定性较差；自组织增量学习神经网络(Self-Organizing Incremental Neural Network，简称SOINN)在SOM和GNG的基础上增强了网络的可塑性，同时增加了删除噪声节点、自适应调整阈值参数等操作来稳定学习的结果。
[0006]本专利技术方法在标注率仅30％时，精度可达91％，且模型计算耗时大幅减少，在保证高分类精度的情况下，减少了人工标注程度，节约人力，且分类实现较快。

技术实现思路

[0007]本专利技术的目的是为了解决现有技术存在的问题，提出基于自组织增量-图卷积神经网络的钢材微观组织自动分类方法，以提高钢材微观组织的分类精度与减少人工标注的工作量。
[0008]本专利技术的目的是通过以下技术方案实现的：
[0009]一种融合自组织增量学习神经网络与图卷积神经网络的钢材微观组织的自动分类方法，包括以下步骤：
[0010]步骤一、确定要识别的钢材微观组织种类，收集扫描电子显微镜所拍摄的不同钢铁材料样本的微观组织图片，依次为铁素体、珠光体、贝氏体、下贝氏体、板条马氏体、片状马氏体来组成数据集。
[0011]步骤二、对步骤一中搜集到的所有图片进行相同的预处理，预处理方法如下：
[0012]1)剔除扫描电子显微镜获取的微观组织图中含有的文字说明部分，得到只含有微观组织图本体的初始数据集T0；
[0013]2)对数据集T0中的每张图像，按等步长进行等分裁剪，得到新的数据集T1；
[0014]3)对数据集T1中的所有图像进行图像归一化后标准化处理，得到数据集T2。
[0015]步骤三、采用在ImageNet数据集上预训练好的VGG16模型，去除其中的全连接层，利用余下的卷积模块对数据集T2中所有图像进行处理，并对每张图输出的512张特征图作全局均值池化，得到512维的特征向量，从而得到全部钢材微观组织图像的特征向量数据集Ft＝{F1,F2,
…
F
M
}，F
i
为第i个特征向量，M为所有图像的张数。
[0016]步骤四、搭建一种引入连接权重和节点胜利次数的自组织增量学习神经网络WSOINN，利用WSOINN对特征向量数据集进行学习，获得其拓扑图结构，具体算法步骤如下：
[0017]1)初始化图节点集合V＝{v1,v2}，v1,v2∈R
d
；节点连接为空集；节点胜利次数其中R
d
代表长度为d维的向量，N为节点数量，分别表示节点v1,v2各自的胜利次数；
[0018]2)输入一个新的特征向量样本ξ∈R
d
，根据欧几里得范数查找V中与ξ最接近的节点s1和s2，即：胜利次数加1，即其中表示||ξ-v
n
||取最小值时v
n
的取值；
[0019]3)计算节点s1、s2的相似度阈值对上述任一节点v∈V，将与v连接的节点集合记为P，若T
v
＝min||v-v
n
||,v
n
∈V\{v}；若T
v
＝max||v-v
n
||,v
n
∈P，其
中表示空集，\表示删除操作；
[0020]4)如果或V＝V∪{ξ}，否则丢弃样本ξ，同时修正节点s1和s2，s1＝s1+ε(t)(ξ-s1)，s2＝s2+ε'(t)(ξ-s2)，其中
[0021]5)若s1和s2无连接，E＝E∪{(s1,s2)}，若有连接，如果其中，为s1与s2连接边的权重，W
max
为预定义的连接权重阈值；
[0022]6)每学习完总样本数的百分比例λ时，则删除孤立节点以及对应的胜利次数；
[0023]7)若样本输入未结束，则返回步骤2)；否则，输出图节点集合V、连接集合E及各个节点胜利次数。
[002本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自组织增量-图卷积神经网络的钢材微观组织自动分类方法，其特征在于，包括以下步骤：步骤一、确定要识别的钢材微观组织种类，收集扫描电子显微镜所拍摄的不同钢铁材料样本的微观组织图片，依次为铁素体、珠光体、贝氏体、下贝氏体、板条马氏体、片状马氏体来组成数据集；步骤二、对步骤一中搜集到的所有图片进行相同的预处理，预处理方法如下：1)剔除扫描电子显微镜获取的微观组织图中含有的文字说明部分，得到只含有微观组织图本体的初始数据集T0；2)对数据集T0中的每张图像，按等步长进行等分裁剪，得到新的数据集T1；3)对数据集T1中的所有图像进行图像归一化后标准化处理，得到数据集T2；步骤三、采用在ImageNet数据集上预训练好的VGG16模型，去除其中的全连接层，利用余下的卷积模块对数据集T2中所有图像进行处理，并对每张图输出的512张特征图作全局均值池化，得到512维的特征向量，从而得到全部钢材微观组织图像的特征向量数据集Ft＝{F1,F2,
…
F
M
}，F
i
为第i个特征向量，M为所有图像的张数；步骤四、搭建一种引入连接权重和节点胜利次数的自组织增量学习神经网络WSOINN，利用WSOINN对特征向量数据集进行学习，获得其拓扑图结构；步骤五、根据胜利次数对拓扑图中的节点按一定标注率进行人工标注；步骤六、基于拓扑图训练图卷积神经网络GCN，利用训练好的GCN对剩余未标注节点进行自动标注，最后根据节点与图像的对应关系确定图像的类别信息。2.如权利要求1所述的基于自组织增量-图卷积神经网络的钢材微观组织自动分类方法，其特征在于，上述步骤四中，具体算法步骤如下：1)初始化图节点集合V＝{v1,v2}，v1,v2∈R
d
；节点连接为空集；节点胜利次数其中R
d
代表长度为d维的向量，N为节点数量，分别表示节点v1,v2各自的胜利次数；2)输入一个新的特征向量样本ξ∈R
d
，根据欧几里得范数查找V中与ξ最接近的节点s1和s2，即：胜利次数加1，即其中表示||ξ-v
n
||取最小值时v
n
的取值；3)计算节点s1、s2的相似度阈值对上述任一节点v∈V，将与v连接的节点集合记为P，若若若其中表示空集，\表示删除操作；4)如果或V＝V∪{ξ}，否则丢弃样本ξ，同时修正节点s1和s2，s1＝s1+ε(t)(ξ-s1)，s2＝s2+ε'(t)(ξ-s2)，其中5)若s1和s2无连接，E＝E∪{(s1,s2)}，若有连接，如果
E\{(s1,s2)}，其中，为s1与s2连接边的权重，W
max
为预定...

【专利技术属性】
技术研发人员：李维刚，甘平，谌竟成，谢璐，
申请(专利权)人：武汉科技大学，
类型：发明
国别省市：