基于属性类别关系和少样本元学习的结构损伤识别方法技术

本发明专利技术公开一种基于属性类别关系和少样本元学习的结构损伤识别方法，能够对几乎所有的损伤类别产生很好的精度和鲁棒性，采用少样本元学习框架，从初始损伤类别中随机、独立地采样得到元训练批次，训练一个参数化模型。每个元批次样本是由随机抽样的训练和测试子集组成的不同分类任务，元批次任务不断地进行迭代，不断涉及到不同的损伤类别。通过训练端到端的属性提取模型，提取损伤类别的共同类间知识作为属性，生成一系列二元语义特征作为描述向量。通过最小化预测属性表示向量与真实属性表示向量之间的距离，在传递已有属性的基础上，对测试集中的损伤类型进行推断和分类。该方法的总体精度为97.61％，召回率为97.58％，最低检测保证精度为92.5％。

Structural damage identification method based on attribute class relation and small sample element learning

The invention discloses a structural damage identification method based on attribute category relationship and small sample element learning, which can produce good accuracy and robustness for almost all damage categories. Using the small sample element learning framework, the meta training batch can be randomly and independently sampled from the initial damage category to train a parametric model. Each metabatch sample is a different classification task composed of randomly sampled training and test subsets. The metabatch task is iterative and involves different damage categories. By training the end-to-end attribute extraction model, the common inter class knowledge of damage categories is extracted as attributes, and a series of binary semantic features are generated as description vectors. By minimizing the distance between the predicted attribute representation vector and the real attribute representation vector, the damage types in the test set are inferred and classified on the basis of transferring the existing attributes. The overall accuracy of the method is 97.61%, the recall rate is 97.58%, and the minimum detection accuracy is 92.5%.

【技术实现步骤摘要】
基于属性类别关系和少样本元学习的结构损伤识别方法
本专利技术涉及一种基于属性类别关系和少样本元学习的结构损伤识别方法。
技术介绍
常规的工程结构损伤识别方法需要通过对多类结构损伤的图像进行人工检查，然后将收集到的图像可用于基于视觉的结构损伤识别和状态评估。一方面，传统的基于图像处理的方法总是需要手工特征的优化设计，缺乏对不同应用情况的通用适应性。另一方面，常规的监督学习技术往往需要足够的样本来训练得到一个鲁棒的损伤检测模型，这就需要大量的训练样本，同时数据收集和标记过程也是费时费力的。此外，由于在实际检测中遇到的损伤类型会出现前所未有的或很少训练的类别和有限的训练样本，使得模型的泛化能力无法在实际情况下得到保证。
技术实现思路
针对当前结构损伤识别和安全评估的重大实际需求以及传统方法存在的不足，本专利技术提出了一种基于属性类别关系和少样本元学习的结构损伤识别方法，解决了传统损伤识别方法需要依赖大量样本、以及对新损伤类别预测精度差的迁移识别难题。本专利技术所采用的技术如下：一种基于属性类别关系和少样本元学习的结构损伤识别方法，步骤如下：步骤一、采用少样本元学习框架来处理训练集只包括不完备的损伤类型和训练样本有限的情况：元学习使计算机能够捕获到自主学习的能力，并通过从重新组装的各种任务池中执行迁移学习来生成参数化模型，这些任务是从可用子集中随机生成和采样的，每个任务都被命名为元处理批次；步骤二、采用基于属性的迁移学习来建立属性类别模型，提取出结构损伤图像的内部固有特征，利用类间属性知识进行损伤识别：属性提供了从源损伤空间和目标损伤空间之间的连接关系，属性提取机制利用嵌入在源损伤类型中的分类知识，有利于对新损伤类型实现迁移学习过程，使模型能够处理在没有足够标记样本情况下的少样本学习问题；步骤三、采用属性向量以相对简单的方式来表示复杂的耦合损伤：将单个损伤对应位置的二进制值由0改为1，重新获得耦合损伤的属性二进制向量；采用嵌套学习过程，由外部的少样本元学习回路和内部的属性类别学习回路组成，网络模型在内外循环中迭代更新，随着外部循环的运行，不断地提供和训练来自新类的例子，增强网络模型的泛化能力。本专利技术还具有如下技术特征：1、如上所述的步骤一具体包括：步骤一一、设结构损伤图像总共包含Nt个损伤类别，从Nt类中随机抽取N类，N<Nt，在N类随机抽取的损伤类别中，分别随机采样获得K个样本，构成支持集S，记为S＝{(x1×1,y1×1),…,(xi×j,yi×j),…,(xN×K,yN×K)}(1)其中S为支持集，即当前元处理批次中的训练集，xi×j为第i类中的第j个图像，yi×j为预先注释的类别标签，K和N分别为每个损伤类别中的图像数量和当前元处理批次中所考虑的损伤类别总数；步骤一二、在由步骤一一获得当前元处理批次的支持集S后，对所选的N个损伤类型，选取不同于支持集的T个图像作为查询集，记为其中，Q表示查询集，即当前元批中的测试集，和分别表示第i个输入图像及其带注释的损伤类别标签，T表示查询集中图像的总数量。2、如上所述的步骤二中属性类别建模阶段假设，属性作为损伤的内部特性，广泛适用于所有的元处理批次任务，而并非只在单个任务中有效，步骤二中对属性类别模型的建模过程具体为：Tk＝{LTk[(x1,a1),(x2,a2),…,(xK×N,aK×N)]},k＝1…Ntask(3)其中，Tk为外部循环中的第k个任务(由随机均匀采样获得)，Ntask为不同任务的总数，L为外环中的任务损失函数。x为输入的损伤图像，a为输出的属性向量，K和N分别为每个损伤类别中的图像数量和当前元处理批次中所考虑的损伤类别总数。在外部循环中生成元批次任务后，通过学习对图像属性的分类器来训练内部循环中的属性类别模型，所有属性都赋值为二进制形式，对应第j个训练样本的属性表示为形式的二进制向量，其中m表示所考虑属性的总数量，采用多目标损失函数进行回归，其中包含一个均方根强度项和一个角度适应项，并通过迭代对模型进行训练，第k个任务Tk的损失函数为其中，(xj,aj),j＝1…K×N表示任务Tk中的输入输出数据点，ξ和λ为超参数，强度项的目的是使预测的属性向量长度与预先指定的真值属性向量保持一致，而角度适应项的提出则是为了使预测属性向量的方向与真值保持一致，ξ为强度项与角度项之间的调谐系数，λ为权重衰减因子，防止过拟合。3、如上所述的步骤三中，通过误差反向传播对相应的模型参数进行更新，在获得损失函数后，采用带动量的随机梯度下降法，利用属性预测与地面真实之间的偏差实现加速训练，模型参数的导数由链式法则计算，表示为其中，为与第k个元处理任务Tk对应的损失函数，为预测的第j个样本的属性向量，θ为模型参数。4、如上所述的步骤三中所述的网络模型为卷积神经网络模型，输入层中的输入包含尺寸为256×256×3的RGB损伤图像，依次经过第一卷积层、第一批量归一化层、第一非线性激活层和第一最大池化层，然后将空间尺寸转换为62×62×8的特征图，同样，输出通过第二卷积层、第二批量归一化层、第二非线性激活层和第二最大池化层的另一个卷积模块，特征图尺寸大小变为15×15×36，再采用卷积核大小为3×3的卷积层，分别用于第三卷积层、第四卷积层和第五卷积层，同时每层分别进行批量归一化和非线性激活层，最后通过全连接层将输出的空间尺寸转换为1×1×11，归一化为[0,1]，用于回归损失函数的计算。5、在如上所述的全连接层后采用了归一化层对数据进行线性归一化，具体步骤如下：式中，xi为完全连接后的第i个神经元，yi为对应的归一化输出，max、min为本层神经元的最大值和最小值，l表示输出的属性总数11。本专利技术的优点及有益效果为：本专利技术具有准确度好、效率高、成本低、方便灵活等优点，为实现结构损伤识别的自动化、智能化以及结构全局安全监督管理奠定了基础。本专利技术具有十分广阔的应用前景。对于新出现的损伤类别，可以通过预测表示其本质特征的语义属性来对损伤进行描述，为结构现场巡检工作提供了一种自动、智能、高效的检测和监督手段，进一步提高了结构损伤识别方法的准确性和普适化程度。结果表明，该方法的总体精度为97.61％，召回率为97.58％，最低检测保证精度为92.5％。本专利技术能够对几乎所有的损伤类别产生很好的精度和鲁棒性。即使遇到完全没见过的损伤类别，也可以通过预测表示其本质特征的语义属性来描述。本专利技术很好地适应了目标类别的训练样本不足，无法进行结构损伤识别的常规有监督学习的情况。另一方面，通过支持集提供给属性类别模型并更新其参数，迭代最小化当前元处理批次中的损失，从而执行内部循环中的训练。内部循环的学习过程主要是对训练目标类别结合先验的属性知识，然后再次执行类别重采样，通过外部迭代不断生成上述元处理批次。内部循环中更新的属性类别模型实际上被视为外部循环中新的元处理批次的下一代初始状态。本专利技术能够在不完备损伤类型和少样本本文档来自技高网...

【技术保护点】
1.一种基于属性类别关系和少样本元学习的结构损伤识别方法，其特征在于，步骤如下：/n步骤一、采用少样本元学习框架来处理训练集只包括不完备的损伤类型和训练样本有限的情况：元学习使计算机能够捕获到自主学习的能力，并通过从重新组装的各种任务池中执行迁移学习来生成参数化模型，这些任务是从可用子集中随机生成和采样的，每个任务都被命名为元处理批次；/n步骤二、采用基于属性的迁移学习来建立属性类别模型，提取出结构损伤图像的内部固有特征，利用类间属性知识进行损伤识别：属性提供了从源损伤空间和目标损伤空间之间的连接关系，属性提取机制利用嵌入在源损伤类型中的分类知识；/n步骤三、采用属性向量以相对简单的方式来表示复杂的耦合损伤：将单个损伤对应位置的二进制值由0改为1，重新获得耦合损伤的属性二进制向量；采用嵌套学习过程，由外部的少样本元学习回路和内部的属性类别学习回路组成，网络模型在内外循环中迭代更新，随着外部循环的运行，不断地提供和训练来自新类的例子，增强网络模型的泛化能力。/n

【技术特征摘要】
1.一种基于属性类别关系和少样本元学习的结构损伤识别方法，其特征在于，步骤如下：
步骤一、采用少样本元学习框架来处理训练集只包括不完备的损伤类型和训练样本有限的情况：元学习使计算机能够捕获到自主学习的能力，并通过从重新组装的各种任务池中执行迁移学习来生成参数化模型，这些任务是从可用子集中随机生成和采样的，每个任务都被命名为元处理批次；
步骤二、采用基于属性的迁移学习来建立属性类别模型，提取出结构损伤图像的内部固有特征，利用类间属性知识进行损伤识别：属性提供了从源损伤空间和目标损伤空间之间的连接关系，属性提取机制利用嵌入在源损伤类型中的分类知识；
步骤三、采用属性向量以相对简单的方式来表示复杂的耦合损伤：将单个损伤对应位置的二进制值由0改为1，重新获得耦合损伤的属性二进制向量；采用嵌套学习过程，由外部的少样本元学习回路和内部的属性类别学习回路组成，网络模型在内外循环中迭代更新，随着外部循环的运行，不断地提供和训练来自新类的例子，增强网络模型的泛化能力。


2.根据权利要求1所述的基于属性类别关系和少样本元学习的结构损伤识别方法，其特征在于，步骤一具体包括：
步骤一一、设结构损伤图像总共包含Nt个损伤类别，从Nt类中随机抽取N类，N<Nt，在N类随机抽取的损伤类别中，分别随机采样获得K个样本，构成支持集S，记为
S＝{(x1×1,y1×1),…,(xi×j,yi×j),…,(xN×K,yN×K)}(1)
其中S为支持集，即当前元处理批次中的训练集，xi×j为第i类中的第j个图像，yi×j为预先注释的类别标签，K和N分别为每个损伤类别中的图像数量和当前元处理批次中所考虑的损伤类别总数；
步骤一二、在由步骤一一获得当前元处理批次的支持集S后，对所选的N个损伤类型，选取不同于支持集的T个图像作为查询集，记为



其中，Q表示查询集，即当前元批中的测试集，和分别表示第i个输入图像及其带注释的损伤类别标签，T表示查询集中图像的总数量。


3.根据权利要求1所述的基于属性类别关系和少样本元学习的结构损伤识别方法，其特征在于，步骤二中对属性类别模型的建模过程具体为：



其中，Tk为外部循环中的第k个任务，由随机均匀采样获得，Ntask为不同任务的总数，L为外环中的任务损失函数，x为输入的损伤图像，a为输出的属性向量，K和N分别为每个损伤类别...

【专利技术属性】
技术研发人员：李惠，徐阳，鲍跃全，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙;23