一种基于门参数迭代优化的深度网络关键路径构建方法技术

本发明专利技术公开了一种基于门参数迭代优化的深度网络关键路径构建方法，包括以下步骤：步骤一、获取数据集；步骤二、构建深度卷积神经网络模型；步骤三、在训练好的深度卷积神经网络模型上加入门参数；步骤四、基于门参数构建深度网络的关键路径模型。本发明专利技术结构简单、设计合理，基于门参数计算各个卷积核的重要度，选取贡献度大的卷积核获得深度网络关键路径模型，在对构建的深度网络关键路径模型进行修复时，仅对门参数进行更新优化，不对深度网络模型的其他参数进行更新，不改变深度网络模型的参数和结构；修复降低了协变量偏移，使用效果好。好。好。

【技术实现步骤摘要】
一种基于门参数迭代优化的深度网络关键路径构建方法


[0001]本专利技术属于人工智能
，具体涉及一种基于门参数迭代优化的深度网络关键路径构建方法。

技术介绍

[0002]深度学习技术已经取得许多不错的成绩，但仍存在以下问题：1、深度学习卷积网络模型运行的网络结构庞大，带来了高额的存储空间、计算资源消耗，使其很难落实到各个硬件平台。目前主流的网络，如VGG16，参数量1亿3千多万，占用500多MB空间，需要进行300多亿次浮点运算才能完成一次图像识别任务。2、深度神经网络结构复杂而庞大，信息在网络中的传递演化规律不清晰，导致基于深度学习的智能算法可解释性差，智能决策的机理不明，使用者并不能清晰的知道深度学习卷积网络模型内部决策的过程以及决策的依据是什么，给实际应用带来潜在风险。因此近些年关于深度学习卷积网络模型透明性、可解释性、可信性的研究逐渐增多。
[0003]针对深度学习网络结构与信息演变规律复杂的问题，本申请研究深度学习网络关键路径构建方法，分析深度网络的关键神经元节点和路径，量化神经元贡献度并简化深度网络，进而提升深度学习网络结构作用机理的可解释性。

技术实现思路

[0004]本专利技术所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于门参数迭代优化的深度网络关键路径构建方法，其结构简单、设计合理，基于门参数计算各个卷积核的重要度，选取贡献度大的卷积核获得深度网络关键路径模型，在对构建的深度网络关键路径模型进行修复时，仅对门参数进行更新优化，不对深度网络模型的其他参数进行更新，不改变深度网络模型的参数和结构；修复降低了协变量偏移，使用效果好。
[0005]为解决上述技术问题，本专利技术采用的技术方案是：一种基于门参数迭代优化的深度网络关键路径构建方法，其特征在于：包括以下步骤：
[0006]步骤一、获取数据集：采集多幅图像，获得数据集W＝(X,Y)，X表示输入数据,Y表示数据标签,将数据集W按比例划分为训练集、验证集和测试集；
[0007]步骤二、构建深度卷积神经网络模型：定义深度卷积神经网络模型目标函数，将训练集作为深度卷积神经网络模型输入，求解深度卷积神经网络模型最优参数从而完成深度卷积神经网络模型训练；
[0008]步骤三、在训练好的深度卷积神经网络模型上加入门参数：
[0009]步骤301、在训练好的深度卷积神经网络模型各层的卷积核上分别加入门参数φ
i,j
，φ
i,j
表示加在第i个卷积层第j个卷积核上的门参数，所述门参数φ
i,j
为(1，C
i,j
，1，1),C
i,j
表示门参数φ
i,j
的图像通道数，1≤i≤n，n表示网络层数，1≤j≤m，m表示第i层的卷积核个数；
[0010]步骤302、利用训练集对加入门参数φ
i,j
的深度卷积神经网络模型进行再次训练，
利用验证集对加入门参数φ
i,j
的深度卷积神经网络模型进行验证，得到重新训练好的深度卷积神经网络模型以及门参数φ
i,j
；
[0011]步骤四、基于门参数构建深度网络的关键路径模型：
[0012]步骤401、基于门参数计算各个卷积核的重要度：计算机根据公式Θ(φ
i,j
)＝KL(ΔL(φ
i,j
)||ΔL
Ω
(0))计算重新训练好的深度卷积神经网络模型第i层网络第j个卷积核的重要度Θ(φ
i,j
)，其中KL(
·
)表示KL散度计算，ΔL(φ
i,j
)表示步骤三中重新训练好的深度卷积神经网络模型的预测值与真实值的差值，ΔL
Ω
(0)表示步骤二中完成训练的深度卷积神经网络模型的预测值与真实值Y的差值，Ω表示除了φ
i,j
以外的网络模型参数；
[0013]步骤402，利用阈值对卷积核重要度低的门参数置零：若Θ(φ
i,j
)＜Θ(φ)，则将门参数φ
i,j
赋值为0，Θ(φ)表示优化阈值，得到深度网络关键路径模型；
[0014]步骤403、对构建的深度网络关键路径模型进行修复：将训练集输入深度网络关键路径模型进行迭代训练，通过梯度下降算法对深度网络关键路径模型的门参数进行更新优化，置零的门参数一直置零，不参与更新，门参数迭代训练过程中深度网络关键路径模型的损失函数为L'＝(1
‑
α)L1+αL2，其中α表示权重,X
k
表示训练集中的第k个数据，Y
k
表示X
k
对应的样本标签，1≤k≤N，N表示训练集的样本数，Δ表示标签平滑因子，p(X
k
,θ
‑
)表示训练样本X
k
的预测概率，θ
‑
表示关键路径模型的参数；
[0015]步骤404、利用验证集对步骤403中完成更新优化的深度网络关键路径模型进行验证，得到修复的深度网络关键路径模型；
[0016]步骤405、将测试集输入修复的深度网络关键路径模型，得到测试集的分类结果。
[0017]上述的一种基于门参数迭代优化的深度网络关键路径构建方法，其特征在于：步骤一中，图像为雷达图像，对采集到的雷达图像首先提取前景图，然后进行高斯模糊处理，再提取特征向量，获得数据集W＝(X,Y)。
[0018]上述的一种基于门参数迭代优化的深度网络关键路径构建方法，其特征在于：步骤302中，加入门参数φ
i,j
的网络模型的损失函数其中L(X，Y:θ)表示交叉熵损失函数，θ表示网络模型的参数，表示门参数的稀疏约束，λ表示稀疏约束的权重。
[0019]上述的一种基于门参数迭代优化的深度网络关键路径构建方法，其特征在于：步骤401中，L表示损失函数，δL表示损失函数L的增量，δφ
i,j
表示门参数φ
i,j
的增量，的增量，表示样本预测结果，Y表示样本标签。
[0020]本专利技术与现有技术相比具有以下优点：
[0021]1、本专利技术的结构简单、设计合理，实现及使用操作方便。
[0022]2、本专利技术在训练好的深度卷积神经网络模型上加入门参数，基于门参数计算各个
卷积核的重要度，获得贡献度大、信息交互强的卷积核节点，能够提升深度网络结构作用机理的可解释性，选取贡献度大的卷积核能够获得深度网络的关键路径模型，起到简化深度网络的作用。
[0023]3、本专利技术在对构建的深度网络关键路径模型进行修复时，通过梯度下降算法仅对深度网络关键路径模型的门参数进行更新优化，置零的门参数一直置零，不参与更新，且不对深度网络模型的其他参数进行更新，不改变深度网络模型的参数和结构。
[0024]4、本专利技术在对网络模型进行修复训练时，采用两个损失函数的叠加构造新的损失函数，损本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于门参数迭代优化的深度网络关键路径构建方法，其特征在于：包括以下步骤：步骤一、获取数据集：采集多幅图像，获得数据集W＝(X,Y)，X表示输入数据,Y表示数据标签,将数据集W按比例划分为训练集、验证集和测试集；步骤二、构建深度卷积神经网络模型：定义深度卷积神经网络模型目标函数，将训练集作为深度卷积神经网络模型输入，求解深度卷积神经网络模型最优参数从而完成深度卷积神经网络模型训练；步骤三、在训练好的深度卷积神经网络模型上加入门参数：步骤301、在训练好的深度卷积神经网络模型各层的卷积核上分别加入门参数φ
i,j
，φ
i,j
表示加在第i个卷积层第j个卷积核上的门参数，所述门参数φ
i,j
为(1，C
i,j
，1，1),C
i,j
表示门参数φ
i,j
的图像通道数，1≤i≤n，n表示网络层数，1≤j≤m，m表示第i层的卷积核个数；步骤302、利用训练集对加入门参数φ
i,j
的深度卷积神经网络模型进行再次训练，利用验证集对加入门参数φ
i,j
的深度卷积神经网络模型进行验证，得到重新训练好的深度卷积神经网络模型以及门参数φ
i,j
；步骤四、基于门参数构建深度网络的关键路径模型：步骤401、基于门参数计算各个卷积核的重要度：计算机根据公式Θ(φ
i,j
)＝KL(ΔL(φ
i,j
)||ΔL
Ω
(0))计算重新训练好的深度卷积神经网络模型第i层网络第j个卷积核的重要度Θ(φ
i,j
)，其中KL(
·
)表示KL散度计算，ΔL(φ
i,j
)表示步骤三中重新训练好的深度卷积神经网络模型的预测值与真实值的差值，ΔL
Ω
(0)表示步骤二中完成训练的深度卷积神经网络模型的预测值与真实值Y的差值，Ω表示除了φ
i,j
以外的网络模型参数；...

【专利技术属性】
技术研发人员：耿杰，来加威，张宇航，邓鑫洋，蒋雯，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：