基于小样本的数据增强及神经网络对抗训练系统技术方案

本发明专利技术属于车辆缺陷等级评估技术领域，具体涉及一种基于小样本的数据增强及神经网络对抗训练系统。本发明专利技术改进了基于生成模型数据增强的车辆损伤和缺陷等级神经网络评估模型小样本条件优化方案。基于传统生成模型数据增强方法与神经网络评估模型结构的相容性不足，因此增强数据对神经网络评估模型的性能优化作用有限。本发明专利技术提出结合神经网络评估模型结构特征的数据增强方法和神经网络评估模型基于增强数据的对抗训练系统，解决神经网络评估模型在小样本条件下模型结构性能退化的问题，提升了神经网络评估模型的性能。

Data enhancement and neural network countermeasure training system based on small sample

【技术实现步骤摘要】
基于小样本的数据增强及神经网络对抗训练系统
本专利技术属于车辆缺陷等级评估
，具体涉及一种基于小样本的数据增强及神经网络对抗训练系统。
技术介绍
车辆部件的性能与可靠性与温度、湿度、光照等环境因素密切相关。评估环境对车辆部件损伤和性能退化的影响对面向不同地区的车辆设计与制造参数的优化具有重要的指导作用。在给定环境因素中，评估车辆部件损伤和缺陷等级是评估环境对车辆影响的重要内容和环节。由于车辆部件损伤和缺陷是相关影响因素长期作用所形成的，因此试验采集的部件损伤和缺陷数据面临数据量少、成本高的问题。另一方面，基于神经网络的车辆部件损伤和缺陷等级评估模型具有高性能的前提是需要大量的损伤和缺陷数据进行训练。当车辆部件损伤和缺陷的数据量小(满足小样本条件)时，基于神经网络的部件损伤和缺陷评估模型的性能受到限制。神经网络评估模型在小样本条件中的优化方法取得了飞速发展，通用神经网络评估模型在车辆部件损伤和缺陷等级评估领域取得了更加广泛和深入的应用。目前，神经网络评估模型在小样本条件中的优化方法以融合先验知识等学习为基本原理，主要基于数据增强、迁移学习、元学习、度量学习等优化策略。在元学习中，一些优化方法利用基于记忆的神经网络模型进行记忆增强，从而实现对已有知识的存储，利用知识记忆模型提升原有神经网络评估模型在小样本条件下的性能。在迁移学习中，一些评估方法将不同环境场景中采集的数据特征映射到公共空间，实现在单一场景采集少量数据的条件下训练神经网络评估模型。元学习基于已有的评估任务学习经验和信息，将已有的经验和信息融合到源评估模型中，从而在目标任务中通过源评估模型中存储的信息和知识，提升目标评估任务中的神经网络评估模型性能。度量学习通过构造数据特征空间和数据相似度的度量函数，利用特征相似的数据进行迁移训练，实现神经网络评估模型在小样本条件的性能。基于数据增强的神经网络评估模型优化方法利用数据增强方法和面向增强数据的模型训练方法，进一步提升评估模型的性能。迄今为止，基于数据增强的神经网络评估模型优化方法在数据增强和模型训练准则的性能方面无法满足实际应用领域的需求。基于人工准则的数据增强方法虽然融合先验知识和数据结构信息，但是由于人工准则与神经网络评估模型结构的相容性具有不确定性，所以增强数据对神经网络评估模型性能优化效果受到限制。基于深度生成模型的数据增强方法利用变分自编码器(VAE)与对抗生成网络(GAN)等深度生成模型生成数据对车辆损伤和缺陷数据集进行数据增强。但是VAE和GAN模型缺乏可解释性，因此生成的车辆损伤和缺陷数据与神经网络评估模型缺乏关联，对神经网络评估模型的性能具有不确定性。
技术实现思路
(一)要解决的技术问题本专利技术要解决的技术问题是如何提供一种基于小样本的数据增强及神经网络对抗训练系统。(二)技术方案为解决上述技术问题，本专利技术提供一种基于小样本的数据增强及神经网络对抗训练系统，所述系统包括：数据集分解模块、生成器训练模块、权值获取模块、最优参数获取模块、迭代控制模块；所述数据集分解模块用于将数据集平均分解成t份，具体形式如下：所述生成器训练模块用于随机选取整数k∈[1...nt]，训练第一生成器G1(x,φ1)、第二生成器G2(x,φ2)和第三生成器G3(x,φ3)中的参数{φ1,φ2,φ3}，所述生成器训练模块包括：第一训练单元、第二训练单元和第三训练单元；所述第一训练单元用于通过求解下面关于参数φ1的优化问题来得到第一生成器G1(x,φ1)的最优参数φ1：所述第二训练单元用于通过求解下面关于参数φ2的优化问题来得到第二生成器G2(x,φ2)的最优参数φ2：所述第三训练单元用于通过求解下面关于参数φ3的优化问题来得到生成器G3(x,φ3)的最优参数φ3：所述权值获取模块用于对i＝nk-1...nk，计算第一生成器G1(xi,φ1)、第二生成器G2(xi,φ2)和第三生成器G3(xi,φ3)的重要性权值W1i、W2i、W3i：其中，Jl(f(x,θ),y)为交叉熵损失函数l(f(x,θ),y)关于θ的Jacobian矩阵；Jl(f(G1(xi,φ1),θ),yi)表示Jl(f(x,θ),y)在x＝G1(xi,φ1),y＝yi处的取值；Jl(f(G2(xi,φ2),θ),yi)表示Jl(f(x,θ),y)在x＝G2(xi,φ2),y＝yi处的取值；Jl(f(G2(xi,φ2),θ),yi)表示Jl(f(x,θ),y)在x＝G2(xi,φ2),y＝yi处的取值；所述最优参数获取模块用于通过求解下面关于参数θ的优化问题，得到评估模型f(x,θ)的最优参数θ：所述迭代控制模块用于判断迭代次数是否超过给定阈值ε，则终止训练过程；否则控制所述生成器训练模块继续训练过程；所述系统的工作过程如下：步骤1：数据集分解模块将数据集平均分解成t份，具体形式如下：步骤2：生成器训练模块随机选取整数k∈[1...nt]，训练第一生成器G1(x,φ1)、第二生成器G2(x,φ2)和第三生成器G3(x,φ3)中的参数{φ1,φ2,φ3}，所述步骤2包括：步骤21、步骤22和步骤23；步骤21：第一训练单元通过求解下面关于参数φ1的优化问题来得到第一生成器G1(x,φ1)的最优参数φ1：步骤22：第二训练单元通过求解下面关于参数φ2的优化问题来得到第二生成器G2(x,φ2)的最优参数φ2：步骤23：第三训练单元通过求解下面关于参数φ3的优化问题来得到生成器G3(x,φ3)的最优参数φ3：步骤3：权值获取模块对i＝nk-1...nk，计算第一生成器G1(xi,φ1)、第二生成器G2(xi,φ2)和第三生成器G3(xi,φ3)的重要性权值W1i、W2i、W3i：其中，Jl(f(x,θ),y)为交叉熵损失函数l(f(x,θ),y)关于θ的Jacobian矩阵；Jl(f(G1(xi,φ1),θ),yi)表示Jl(f(x,θ),y)在x＝G1(xi,φ1),y＝yi处的取值；Jl(f(G2(xi,φ2),θ),yi)表示Jl(f(x,θ),y)在x＝G2(xi,φ2),y＝yi处的取值；Jl(f(G2(xi,φ2),θ),yi)表示Jl(f(x,θ),y)在x＝G2(xi,φ2),y＝yi处的取值；步骤4：最优参数获取模块通过求解下面关于参数θ的优化问题，得到评估模型f(x,θ)的最优参数θ：步骤5：迭代控制模块进行判断，如果迭代次数超过给定阈值ε，则终止；否则回到步骤2。其中，所述α1为给定的权值参数。其中，所述Jl(f(x,θ),y)为交叉熵损失函数l(f(x,θ),y)关于θ的Jacobian矩阵。其中，所述Jl(f(G2(xi,φ2),θ),yi)表示Jl(本文档来自技高网...

【技术保护点】
1.一种基于小样本的数据增强及神经网络对抗训练系统，其特征在于，所述系统包括：数据集分解模块、生成器训练模块、权值获取模块、最优参数获取模块、迭代控制模块；/n所述数据集分解模块用于将数据集

【技术特征摘要】
1.一种基于小样本的数据增强及神经网络对抗训练系统，其特征在于，所述系统包括：数据集分解模块、生成器训练模块、权值获取模块、最优参数获取模块、迭代控制模块；
所述数据集分解模块用于将数据集平均分解成t份，具体形式如下：



所述生成器训练模块用于随机选取整数k∈[1...nt]，训练第一生成器G1(x,φ1)、第二生成器G2(x,φ2)和第三生成器G3(x,φ3)中的参数{φ1,φ2,φ3}，所述生成器训练模块包括：第一训练单元、第二训练单元和第三训练单元；
所述第一训练单元用于通过求解下面关于参数φ1的优化问题来得到第一生成器G1(x,φ1)的最优参数φ1：



所述第二训练单元用于通过求解下面关于参数φ2的优化问题来得到第二生成器G2(x,φ2)的最优参数φ2：



所述第三训练单元用于通过求解下面关于参数φ3的优化问题来得到生成器G3(x,φ3)的最优参数φ3：



所述权值获取模块用于对i＝nk-1...nk，计算第一生成器G1(xi,φ1)、第二生成器G2(xi,φ2)和第三生成器G3(xi,φ3)的重要性权值W1i、W2i、W3i：









其中，Jl(f(x,θ),y)为交叉熵损失函数l(f(x,θ),y)关于θ的Jacobian矩阵；
Jl(f(G1(xi,φ1),θ),yi)表示Jl(f(x,θ),y)在x＝G1(xi,φ1),y＝yi处的取值；
Jl(f(G2(xi,φ2),θ),yi)表示Jl(f(x,θ),y)在x＝G2(xi,φ2),y＝yi处的取值；
Jl(f(G2(xi,φ2),θ),yi)表示Jl(f(x,θ),y)在x＝G2(xi,φ2),y＝yi处的取值；
所述最优参数获取模块用于通过求解下面关于参数θ的优化问题，得到评估模型f(x,θ)的最优参数θ：



所述迭代控制模块用于判断迭代次数是否超过给定阈值ε，则终止训练过程；否则控制所述生成器训练模块继续训练过程；
所述系统的工作过程如下：
步骤1：数据集分解模块将数据集平均分解成t份，具体形式如下：



步骤2：生成器训练模块随机选取整数k∈[1...nt]，训练第一生成器G1(x,φ1)、第二生成器G2(x,φ2)和第三生成器G3(x,φ3)中的参数{φ1,φ2,φ3}，所述步骤2包括：步骤21、步骤22和步骤23；
步骤21：第一训练单元通过求解下面关于参数φ1的优化问题来得到第一生成器G1(x,φ1)的最优参数φ1：

【专利技术属性】
技术研发人员：王础，范国超，郝创博，王佳佳，王东豪，刘玉蓉，
申请(专利权)人：北京京航计算通讯研究所，
类型：发明
国别省市：北京;11