一种汽车环境感知动态阈值自适应剪枝方法技术

本发明专利技术涉及一种汽车环境感知动态阈值自适应剪枝方法，通过采用平滑自适应策略优化，对网络模型中的参数进行计算，得到阈值并形成权值矩阵，将上述得到的参数在所有网络结构层迭代完成后，根据阈值判断当前权值是否重要，通过对比权值与该层阈值的大小来更新权值，最终经过反复训练获得新的剪枝模型。本发明专利技术提出了动态阈值剪枝办法，使剪枝具有随迭代变化的动态适应性，在压缩网络轻量的同时，使检测方法有更高的准确度。法有更高的准确度。法有更高的准确度。

【技术实现步骤摘要】
一种汽车环境感知动态阈值自适应剪枝方法


[0001]本专利技术属于汽车环境感知
，尤其是一种汽车环境感知动态阈值自适应剪枝方法。

技术介绍

[0002]汽车环境感知中，常用的一种网络剪枝方法是固定阈值剪枝方法，即对于给定的一个具有l层的网络参考模型，根据每层的权值绝对值的期望值、标准差计算获得一个阈值t(l)，其中，t
(l)
的计算公式如下
[0003]t
(l)
＝μ
(l)
+τ
(l)
σ
(l)
ꢀꢀꢀ
(式1)
[0004]式中，τ
(l)
为一个分层的超参数；μ和σ分别为第l层权值的期望值与标准差。
[0005]算法剪枝时，根据阈值判断当前权值是否重要，通过对比权值与该层阈值的大小来更新权值矩阵，大于权值的阈值被保留，小于权值的阈值则被剪枝，进而实现剪枝控制。
[0006]但在以上固定阈值剪枝算法，因在阈值计算公式(1)中，τ
(l)
是人工选择的超参数，会导致在训练开始阶段的过剪枝问题。例如，使用Xavier初始化是一种深度网络常用的初始化策略，令权值属于[
‑
a，a]。在这种情况下，可以算出权值绝对值的均值与标准差分别为：
[0007]μ=a/2，此时τ
(l)
的选择很重要，因为τ
(l)
≥2会导致阈值t
(l)
＝μ
(l)
+τ
(l)r/>σ
(l)
＞a，此时这一层所有的权值都将被剪枝。然而，在权值初始化环节里，权重值是随机选取的，基于这一原因，导致权值的重要度评价缺乏参考性。因此，如果在剪枝的过程中，采用固定阈值策略剪枝，很有可能会误剪掉一些重要权值，导致算法检测结果准确度降低。

技术实现思路

[0008]本专利技术的目的在于克服现有技术的不足，提出一种汽车环境感知动态阈值自适应剪枝方法，能够使剪枝具有随迭代变化的自适应性，以在压缩算法模型的同时，具有较高的检测结果准确度。
[0009]本专利技术解决其技术问题是采取以下技术方案实现的：
[0010]一种汽车环境感知动态阈值自适应剪枝方法，包括以下步骤：
[0011]步骤1、初始化参数μ
(l)
和σ
(l)
，为后续迭代提供初始参数；
[0012]步骤2、根据迭代计算得到平滑参数Δμ
(l)
(i)和Δσ
(l)
(i)，为步骤3提供平滑参数。
[0013]步骤3、根据步骤1和步骤2，基于平滑自适应函数，计算μ
(l)
(i)和σ
(l)
(i)；
[0014]步骤4、根据动态参数函数的计算方法，计算得到动态参数τ
(l)
(i)；
[0015]步骤5、根据μ
(l)
(i)、σ
(l)
(i)和τ
(l)
(i)计算得到阈值t
(l)
，并形成权值矩阵W
(l)
；
[0016]步骤6、将上述得到的参数在所有网络结构层迭代完成后，根据阈值判断当前权值是否重要，通过对比权值与该层阈值的大小来更新权值mask矩阵M
(l)
，其值为0和1，当大于权值的阈值被保留，标记为1，小于权值的阈值则被剪枝，标记为0；
[0017]步骤7、根据步骤5得到的W
(l)
和步骤6得到的M
(l)
，每迭代一次M
(l)
的值被更新一次，
将更新后权值矩阵定义为：V
(l)
＝W
(l)
⊙
M
(l)
，最终经过反复训练获得新的剪枝模型。
[0018]而且，所述步骤2的平滑参数具体实现方法为：
[0019][0020][0021]其中，Δμ
(l)
(i)当前层权值期望值的平滑参数，E为期望值；Δσ
(l)
(i)为当前层权值标准差的平滑参数，Var为方差值；W
(l)
(i)为第i次迭代的网络层l的权值，W
(l)
(i
‑
1)为第i
‑
1次迭代的网络层l的权值；为以当前迭代次数/最大迭代次数为指数求其以e为底的指数函数值。
[0022]而且，所述步骤3的平滑自适应函数具体计算方法为：
[0023]μ
(l)
(i)
←
μ
(l)
(i)+γ
·
Δμ
(l)
(i)
[0024]σ
(l)
(i)
←
σ
(l)
(i)+γ
·
Δσ
(l)
(i)
[0025]其中，μ
(l)
(i)当前层的权值期望值，σ
(l)
(i)为当前层权值标准差，γ自定义的超参数。
[0026]而且，所述步骤4的动态参数函数计算方法为：
[0027][0028]其中，τ
(l)
(i)为动态参数，τ
max
为最大阈值参数；λ为超参数；i为迭代次数，
[0029]而且，所述步骤5的具体实现方法为：
[0030]t
(l)
(i)＝μ
(l)
(i)+τ
(l)
(i)σ
(l)
(i)
[0031]t
(l)
(i)为第i次迭代计算后获得的动态剪枝阈值。
[0032]本专利技术的优点和积极效果是：
[0033]本专利技术通过采用平滑自适应策略优化，对网络参考模型中的参数进行计算，得到阈值并形成权值矩阵，将上述得到的参数在所有网络结构层迭代完成后，根据阈值判断当前权值是否重要，通过对比权值与该层阈值的大小来更新权值，最终经过反复训练获得新的剪枝模型。本专利技术提出了动态阈值剪枝办法，使剪枝具有随迭代变化的动态适应性，在压缩网络轻量的同时，使检测方法有更高的准确度。
附图说明
[0034]图1为本专利技术的流程图；
[0035]图2为本专利技术具体实施方式部分场景样本图；
[0036]图3为本专利技术实验场景下检测精度对比图。
具体实施方式
[0037]以下结合附图对本专利技术做进一步详述。
[0038]一种汽车环境感知动态阈值自适应剪枝方法，对于给定的一个具有L层的网络参考模型{W
(l)
，1≤l≤L}，根据每层的权值绝对值的期望值μ和标准差σ，计算获得一个阈值t
(l)
，进而根据阈值判断当前权值是否重要，进而实现剪枝控制。如图1所示，包括以下步骤：
[0039]步骤1、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种汽车环境感知动态阈值自适应剪枝方法，其特征在于：包括以下步骤：步骤1、初始化参数μ
(l)
和σ
(l)
，为后续迭代提供初始参数；步骤2、根据迭代计算得到平滑参数Δμ
(l)
(i)和Δσ
(l)
(i)，为步骤3提供平滑参数。步骤3、根据步骤1和步骤2，基于平滑自适应函数，计算μ
(l)
(i)和σ
(l)
(i)；步骤4、根据动态参数函数的计算方法，计算得到动态参数τ
(l)
(i)；步骤5、根据μ
(l)
(i)、σ
(l)
(i)和τ
(l)
(i)计算得到阈值t
(l)
，并形成权值矩阵W
(l)
；步骤6、将上述得到的参数在所有网络结构层迭代完成后，根据阈值判断当前权值是否重要，通过对比权值与该层阈值的大小来更新权值mask矩阵M
(l)
，其值为0和1，当大于权值的阈值被保留，标记为1，小于权值的阈值则被剪枝，标记为0；步骤7、根据步骤5得到的W
(l)
和步骤6得到的M
(l)
，每迭代一次M
(l)
的值被更新一次，将更新后权值矩阵定义为：V
(l)
＝W
(l)
⊙
M
(l)
，最终经过反复训练获得新的剪枝模型。2.根据权利要求1所述的一种汽车环境感知动态阈值自适应剪枝方法，其特征在于：所述步骤2的平滑参数具体实现方法为：述步骤2的平滑参数具体实现方法为：其中，Δμ
(l)
(i)当前层权值期望值的平滑参...

【专利技术属性】
技术研发人员：高鲜萍，周烁，武文佳，邢艳云，张蕾，
申请(专利权)人：天津职业技术师范大学中国职业培训指导教师进修中心，
类型：发明
国别省市：