基于卷积神经网络与注意力机制结合的关键路径识别方法技术

本发明专利技术提出一种基于卷积神经网络与注意力机制结合的关键路径识别方法，采用交叉验证方式测试原始数据集，对原始数据集的训练集和测试集进行主成分分析，根据基础网络主体特征提取结构，利用基准网络模型，选择损失函数，调整网络超参数，对网络进行优化，最后通过X

【技术实现步骤摘要】
基于卷积神经网络与注意力机制结合的关键路径识别方法


[0001]本专利技术涉及计算机视觉与医学领域，具体涉及一种基于深度模型的关键路径识别方法。

技术介绍

[0002]近年来，深度神经网络提供了处理非线性模块的便利，然而在处理一些复杂结构和数据依赖方面，仍然需要通过大量的抽象内容里面提取出带有有用信息的表达。而卷积神经网络在处理生物图像信息数据的问题上应用逐渐广泛，有很多生物医学检测，都运用了卷积神经网络方法，比如蛋白
‑
RNA绑定引用、预测具体DNA、RNA绑定蛋白的序列、以及识别非编码变量的功能影响，而许多非卷积神经网络的传统的神经网络则是用于处理一些非网格结构的生物数据。
[0003]但在处理一些特定功能的数据库数据上，例如数据集GSE31210等，传统的卷积神经网络技术仍存在信息冗余、模型复杂度高、处理速度较慢的问题，导致分析结果出现一定偏差，在此基础上，需要通过对其进行改进，创造新的模型，来让此类数据处理有一个更好的提高。

技术实现思路

[0004]基于上述原因，本专利技术需要提供一种方法，既能保留卷积网络并行学习、布局更接近于实际生物神经网络的优势，又能精准筛选重要信息，忽略大多不重要的信息。为实现上述目的，本专利技术采用以下技术方案。
[0005]基于卷积神经网络与注意力机制结合的关键路径识别方法，包括以下步骤：
[0006](1)数据组织，获取原始数据集，对原始数据集采用交叉验证方式测试；
[0007](2)数据预处理，对原始数据集的训练集和测试集进行主成分分析；
[0008](3)根据基础网络主体特征提取结构；
[0009](4)网络训练，利用基准网络模型，选择损失函数，调整网络超参数，对网络进行优化；
[0010](5)通过X
‑
GRAM技术，计算路径频率相关度，找到相关路径。
[0011]优选的，步骤(1)所述原始数据集选用数据集GSE31210，交叉验证方式采用CROSS
‑
VALIDATION5。
[0012]优选的，步骤(2)还包括：将训练集进一步分出一部分作为验证集，以控制训练过程。
[0013]优选的，主成分分析方法(PCA)包括步骤：
[0014](21)去除平均值；
[0015](22)计算协方差矩阵；
[0016](23)计算协方差矩阵的特征值和特征向量；
[0017](24)将特征值排序；
[0018](25)保留前N个最大的特征值对应的特征向量；
[0019](26)将原始特征转换到上面得到的N个特征向量构建的新空间中。
[0020]优选的，损失函数选用triplet loss、identification loss以及center loss相融合的损失函数。
[0021]优选的，步骤(4)使用ATT
‑
CNN作为基准网络模型，使用dropout防止过拟合的发生。
[0022]优选的，步骤(4)还包括：使用Adam优化方法自动调节参数。
[0023]优选的，网络超参数调整包括：训练总周期设置为30，权重衰减参数为0.0001，批量大小为180，卷积核大小为2
×
2，核数量为64；生物数据经过了卷积层提取数据，再通过注意力机制，从通道和空间两个维度计算feature map和attention map，然后将attention map与输入的feature map相乘进一步提取特征。
[0024]优选的，步骤(5)包括：先将数据放入卷积与注意力层，之后经过全连接层，经过ReLU激活函数之后，找出热力图，对常见路径进行进一步分析；的路径。找到路径需要计算权值，具体公式如下：
[0025][0026]有了权值之后，就可以开始进行计算特征图。具体公式如下：
[0027][0028]其中，F
lk
(x,y)表示网络层第l层第k个特征映射的第x行第y列响应，表示权值，其中c为感兴趣类别，即待可视化的类别，M
c
表示各个特征映射的线性加权和，S
c
(F
l
)表示预测的卷积神经网络的预测的c类得分，S
c
(F
l
\F
lk
)指的是将第k个特征映射置为0后，卷积神经网络预测的c类得分，K为特征映射的总和。
[0029]本专利技术的优点在于：
[0030]传统的关键路径识别方法可解释性不够强，而本方案使用深度学习技术，将卷积神经网络与注意力机制结合，使网络更成熟，性能更好。
[0031]对数据集进行了PCA等预处理操作提取样本，既能够提高数据的利用率，又能够提高模型的泛化能力，提高了数据提取的有效性；将训练集进一步分出验证集，控制训练过程，有效地得到最佳状态；经过网络模型ATT
‑
CNN模型训练，提升了传统方法的可解释性、AUC以及准确性，采用X
‑
GRAM方法找到关键性热力图，有助于了解一张原始图像的哪一个局部位置让ATT
‑
CNN模型做出了最终的分类决策。
附图说明
[0032]图1为本专利技术实施例的网络整体框图；
[0033]图2为本专利技术实施例的测试流程图。
具体实施方式
[0034]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0035]一种基于卷积神经网络与注意力机制结合的关键路径识别方法，包括以下步骤：
[0036]S1.对原始数据集采用CROSS
‑
VALIDATION5(五折交叉验证)的方式进行测试，以GSE31210数据集为例，将所有数据分为五份，将四份当成训练集，剩下的一份当成测试集，再重新随机分配，继续操作。
[0037]S2.对原始数据集的训练集和测试集进行PCA主成分分析，其目的是为了保证信息量不丢失的情况下，对原始特征进行降维，将高维的数据映射到低维的空间中，并期望在所投影的维度上数据的信息量最大(方差最大)，以此使用较少的数据维度，同时保留住较多的原数据点的特性。PCA的具体步骤如下：
[0038]S21.去除平均值
[0039]S22.计算协方差矩阵
[0040]S23.计算协方差矩阵的特征值和特征向量
[0041]S24.将特征值排序
[0042]S25.保留前N个最大的特征值对应的特征向量
[0043]S26.将原始特征转换到上面得到的N个特征向量构建的新空间中，这一步实现了特征压缩。
[0044]S3.在对数据集进行过相应的组织和上述的主成分分析之后，再对数据进行提取，即对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于卷积神经网络与注意力机制结合的关键路径识别方法，其特征在于，包括以下步骤：(1)数据组织，获取原始数据集，对原始数据集采用交叉验证方式测试；(2)数据预处理，对原始数据集的训练集和测试集进行主成分分析；(3)根据基础网络主体特征提取结构；(4)网络训练，利用基准网络模型，选择损失函数，调整网络超参数，对网络进行优化；(5)通过X
‑
GRAM技术，计算路径频率相关度，找到相关路径。2.根据权利要求1所述基于卷积神经网络与注意力机制结合的关键路径识别方法，其特征在于，步骤(1)所述原始数据集选用数据集GSE31210，所述交叉验证方式采用CROSS
‑
VALIDATION5。3.根据权利要求1所述基于卷积神经网络与注意力机制结合的关键路径识别方法，其特征在于，步骤(2)还包括：将训练集进一步分出一部分作为验证集，以控制训练过程。4.根据权利要求1所述基于卷积神经网络与注意力机制结合的关键路径识别方法，其特征在于，步骤(2)所述主成分分析方法包括步骤：(21)去除平均值；(22)计算协方差矩阵；(23)计算协方差矩阵的特征值和特征向量；(24)将特征值排序；(25)保留前N个最大的特征值对应的特征向量；(26)将原始特征转换到上面得到的N个特征向量构建的新空间中。5.根据权利要求1所述基于卷积神经网络与注意力机制结合的关键路径识别方法，其特征在于，步骤(4)所述损失函数为tripletloss、identification loss以及center loss相融合的损失函数。6.根据权利要求1所述基于卷积神经网络与注意力机制结合的关键路径识别方法，其特征在于，所述步骤(4)使用ATT
‑
CNN...

【专利技术属性】
技术研发人员：袁林，赖锦灵，
申请(专利权)人：齐鲁工业大学，
类型：发明
国别省市：