融合注意力选择机制的CondenseNet算法制造技术

技术编号:24171180 阅读:40 留言:0更新日期:2020-05-16 03:00
本发明专利技术提供了一种融合注意力选择机制的CondenseNet算法,包括通过m个网络结构块对卷积神经网络中的数据进行特征提取,每个结构块包含n组完整的特征变换层,数据通过每一层特征变换层得到相对应的特征矩阵;将m个网络结构块级联连接,通过网络结构块的数据经过特征提取得到最终的特征矩阵;将上述得到的特征矩阵计算网络训练的损失值;计算各层误差项和权值梯度;根据损失值判断网络是否收敛,如不收敛,依据权值梯度调整卷积神经网络初始化参数重新进行训练,如已收敛则输出网络训练结果。本发明专利技术所述的融合注意力选择机制的CondenseNet算法,高效利用多维特征信息,增强深层网络的学习和表达能力,提高分类准确率。

Condensenet algorithm with attention selection mechanism

【技术实现步骤摘要】
融合注意力选择机制的CondenseNet算法
本专利技术属于深度学习以及大数据
,尤其是涉及一种融合注意力选择机制的CondenseNet算法。
技术介绍
面对海量、高维的大样本数据,深度学习因其快速、准确、智能的强大优势,在计算机视觉、自然语言处理领域成为炙手可热的处理问题方法,近几年随着相关技术的创新,深度学习领域不断取得突破性进展,学者们先后通过增加网络深度来提升网络性能;优化网络结构来提升网络准确率与网络适用性,但是传统的卷积神经网络结构搭建的深度学习网络随着层数的增加精度会达到饱和,甚至降低,梯度消失现象愈专利技术显,从而导致网络无法训练,而采用更好的网络初始化参数和更高效的激励函数也无法从根本上解决网络训练问题。文献“HuangG,LiuS,VanderMaatenL,etal.CondenseNet:AnEfficientDenseNetusingLearnedGroupConvolutions[C].ProceedingsoftheIEEEConferenceonComputerVisionandPatternR本文档来自技高网...

【技术保护点】
1.融合注意力选择机制的CondenseNet算法,其特征在于:包括按顺序进行的下列步骤:/n步骤一:通过m个网络结构块对卷积神经网络中的数据进行特征提取,每个结构块包含n组完整的特征变换层,每个特征变换层包含1个1×1学习卷积层、1个3×3分组卷积层以及一个CBAM模块,数据通过每一层特征变换层得到相对应的特征矩阵;/n步骤二:将m个网络结构块级联连接,n组特征变换层堆叠,每层网络采用稠密连接的方式连接到后续所有层,通过网络结构块的数据经过特征提取得到最终的特征矩阵;/n步骤三:将上述步骤二得到的最终特征矩阵进行全局平均池化并输入全连接层变为一维特征矩阵,并利用softmax分类器对一维特征...

【技术特征摘要】
1.融合注意力选择机制的CondenseNet算法,其特征在于:包括按顺序进行的下列步骤:
步骤一:通过m个网络结构块对卷积神经网络中的数据进行特征提取,每个结构块包含n组完整的特征变换层,每个特征变换层包含1个1×1学习卷积层、1个3×3分组卷积层以及一个CBAM模块,数据通过每一层特征变换层得到相对应的特征矩阵;
步骤二:将m个网络结构块级联连接,n组特征变换层堆叠,每层网络采用稠密连接的方式连接到后续所有层,通过网络结构块的数据经过特征提取得到最终的特征矩阵;
步骤三:将上述步骤二得到的最终特征矩阵进行全局平均池化并输入全连接层变为一维特征矩阵,并利用softmax分类器对一维特征矩阵进行分类,计算此次网络训练的损失值;
步骤四:利用误差反向传播算法进行梯度计算,计算各层误差项和权值梯度;
步骤五:根据步骤三中所得损失值判断网络是否收敛,如不收敛,依据步骤四中权值梯度调整卷积神经网络初始化参数重新进行训练,如已收敛则输出网络训练结果。


2.根据权利要求1所述的融合注意力选择机制的CondenseNet算法,其特征在于:所述步骤一的具体方法为:将数据输入到网络结构块中,通过第一个特征变换层,分别对数据进行卷积操作,每个卷积层的输入是上一个卷积层的输出,随后输入一个CBAM模块,实现特征重标定,最后输出特征矩阵。


3.根据权利要求1所述的融合注意力选择机制的CondenseNet算法,其特征在于:所述步骤二的具体方法为:在单个结构块中与每个结构块之间,每层网络采用稠密连接的方式;在单个结构块中,通过第1层特征变换层经过特征提取到的特征矩阵依次输入到第2个、第3个、第4个、一直到第n层特征变换层中;通过第2层特征变换层经过特征提取到的特征矩阵依次输入到第3个、第4个、第5个、一直到第n层特征变换层中,通过m个网络结构块的数据得到最终的特征矩阵。


4.根据权利要求1所述的融合注意力选择机制的CondenseNet算法,其特征在于:所述步骤三的具体方法为:首先,对最终特征矩阵进行全局平均池化,使用和最终特征矩阵大小一致的滤波器计算特征矩阵中数据的平均值...

【专利技术属性】
技术研发人员:屈景怡赵娅倩贾云飞陈敏杨俊
申请(专利权)人:中国民航大学
类型:发明
国别省市:天津;12

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1