一种视觉跟踪模型构建方法及装置制造方法及图纸

本发明专利技术公开了一种视觉跟踪模型构建方法及装置，该方法在对网络进行剪枝时，对视觉跟踪网络中的选定卷积层集中的各个选定卷积层计算其每个卷积通道的L2范数，将L2范数最低的预定比例卷积通道作为第一剪枝通道集；对视觉跟踪网络中具有相同下采样的残差模块中的不属于选定卷积层集的各个未选定卷积层计算其每个卷积通道的L2范数，并将L2范数最低的预定比例卷积通道作为各具有相同下采样的残差模块的第二剪枝通道集；计算残差模块之间的第二剪枝通道集的交集，得到第三剪枝通道集；根据第一剪枝通道集及第三剪枝通道集对视觉跟踪网络进行剪枝。本发明专利技术可以减轻过度稀疏导致的视觉跟踪网络性能下降，实现视觉跟踪网络性能与效率的平衡。与效率的平衡。与效率的平衡。

【技术实现步骤摘要】
一种视觉跟踪模型构建方法及装置


[0001]本专利技术属于计算机视觉目标跟踪与人工智能
，具体涉及一种视觉跟踪模型构建方法及装置。

技术介绍

[0002]卷积神经网络(Convolutional NeuralNetworks)特别是深度神经网络(Deep Neural Networks)在计算机视觉任务上发挥着愈发重要的作用。随着深度学习技术的逐步推进，神经网络也变得更宽更深更复杂，在带来更好的表示能力和性能表现的同时，也使得视觉模型执行效率不断降低，特别是在移动端、边缘计算端等低算力应用场景，大量的图像数据使得现有视觉模型很难被应用于对实时性要求较高的低算力平台(例如小型无人机)上。
[0003]通过对视觉模型进行剪枝是达到模型性能和效率均衡的重要手段。然而，现有的视觉模型剪枝方案在进行稀疏训练时往往作用于全部卷积核，这样就使得不在剪枝目标范围内的卷积核也参与了稀疏化训练，从而影响视觉网络性能。此外，由于很多视觉模型常常采用或类似于resnet的网络结构，这种网络结构采用short_cut(直连)进行连接，在进行剪枝时会产生联动效应，即剪除本层网络层时，因为short_cut的存在，需要与之相加的层也要减去相应的层才能相加，从而导致一些本不需要剪枝的层被减去，也会影响视觉网络的整体性能。

技术实现思路

[0004]本专利技术公开了一种视觉跟踪模型构建方法及装置，以减轻过度稀疏导致的视觉跟踪网络性能下降问题，实现视觉跟踪网络性能与效率的平衡。
[0005]根据本专利技术的第1方面，公开了一种视觉跟踪模型构建方法，包括：
[0006]构建视觉跟踪网络，并利用图像序列数据集对所述视觉跟踪网络进行训练；其中，所述视觉跟踪网络由多个残差模块组成；
[0007]对经过训练的所述视觉跟踪网络进行稀疏训练；
[0008]对经过稀疏训练的所述视觉跟踪网络进行剪枝，以得到视觉跟踪模型；包括：
[0009]对所述视觉跟踪网络中的选定卷积层集中的各个选定卷积层计算其每个卷积通道的L2范数，将L2范数最低的预定比例卷积通道作为第一剪枝通道集；
[0010]对所述视觉跟踪网络中具有相同下采样的残差模块中的不属于所述选定卷积层集的各个未选定卷积层计算其每个卷积通道的L2范数，并将L2范数最低的预定比例卷积通道作为各所述具有相同下采样的残差模块的第二剪枝通道集；
[0011]计算所有具有相同下采样的残差模块之间的第二剪枝通道集的交集，得到第三剪枝通道集；
[0012]根据所述第一剪枝通道集及所述第三剪枝通道集对所述视觉跟踪网络进行剪枝，以得到视觉跟踪模型。
[0013]在其他的一些示例中，所述对经过训练的所述视觉跟踪网络进行稀疏训练，包括：当每个训练轮次结束时，对所述视觉跟踪网络中的所述选定卷积层集中的各个选定卷积层计算其每个卷积通道的L2范数，并将L2范数最低的预定比例的卷积通道置0，以完成当前轮次的稀疏训练。
[0014]在其他的一些示例中，在下一个训练轮次开始时，允许被置0的卷积通道恢复为非0状态。
[0015]根据本专利技术的第2方面，公开了一种视觉跟踪模型构建装置，包括：
[0016]网络训练模块，被配置利用图像序列数据集对视觉跟踪网络进行训练；其中，所述视觉跟踪网络由多个残差模块组成；
[0017]稀疏训练模块，被配置为对经过训练的所述视觉跟踪网络进行稀疏训练；
[0018]模型生成模块，被配置为对经过稀疏训练的所述视觉跟踪网络进行剪枝，以得到视觉跟踪模型，包括：
[0019]第一计算模块，用于对所述视觉跟踪网络中的所述选定卷积层集中的各个选定卷积层计算其每个卷积通道的L2范数，将L2范数最低的预定比例卷积通道作为第一剪枝通道集；
[0020]第二计算模块，用于对所述视觉跟踪网络中具有相同下采样的残差模块中的不属于所述选定卷积层集的各个未选定卷积层计算其每个卷积通道的L2范数，并将L2范数最低的预定比例卷积通道作为各所述具有相同下采样的残差模块的第二剪枝通道集；
[0021]交集计算模块，用于计算所有具有相同下采样的残差模块之间的第二剪枝通道集的交集，得到第三剪枝通道集；
[0022]剪枝模块，用于根据所述第一剪枝通道集及所述第三剪枝通道集对所述视觉跟踪网络进行剪枝，以得到视觉跟踪模型。
[0023]根据本专利技术的第3方面，公开了另外一种视觉跟踪模型构建方法，包括：
[0024]构建视觉跟踪网络，并利用图像序列数据集对所述视觉跟踪网络进行训练；
[0025]对经过训练的所述视觉跟踪网络进行稀疏训练；
[0026]对经过稀疏训练的所述视觉跟踪网络进行剪枝，对所述视觉跟踪中的选定卷积层集中的各个选定卷积层计算其每个卷积通道的L2范数，并将L2范数最低的预定比例卷积通道剪枝，以得到视觉跟踪模型。
[0027]在其他的一些示例中，所述对经过训练的所述视觉跟踪网络进行稀疏训练，包括：当每个训练轮次结束时，对所述视觉跟踪网络中的所述选定卷积层集中的各个选定卷积层计算其每个卷积通道的L2范数，并将L2范数最低的预定比例的卷积通道置0，以完成当前轮次的稀疏训练。
[0028]在其他的一些示例中，在下一个训练轮次开始时，允许被置0的卷积通道恢复为非0状态。
[0029]根据本专利技术的第4方面，公开了另外一种视觉跟踪模型构建装置，包括：
[0030]网络训练模块，被配置利用图像序列数据集对视觉跟踪网络进行训练；
[0031]稀疏训练模块，被配置为对经过训练的所述视觉跟踪网络进行稀疏训练；其中，当每个训练轮次结束时，该稀疏训练模块对所述视觉跟踪网络中的选定卷积层集中的各个选定卷积层计算其每个卷积通道的L2范数，并将L2范数最低的预定比例的卷积通道置0，以完
成当前轮次的稀疏训练；
[0032]模型生成模块，被配置为对经过稀疏训练的所述视觉跟踪网络进行剪枝，对所述视觉跟踪中的所述选定卷积层集中的各个选定卷积层计算其每个卷积通道的L2范数，并将L2范数最低的预定比例卷积通道剪枝，以得到视觉跟踪模型。
[0033]其中，所述视觉跟踪网络为resnet网络。
[0034]与现有技术相比，本专利技术仅对选定卷积核进行稀疏训练，可以减轻过度稀疏导致的视觉跟踪网络性能下降。此外，通过求交集剪枝可以对未稀疏卷积核进行剪枝的同时，保证足够数量的剪枝，能够实现视觉跟踪网络的性能和效率平衡。
附图说明
[0035]通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本专利技术的其他特征、目的和优点将会变得更明显：
[0036]图1为根据本专利技术实施例1的视觉跟踪模型构建方法流程示意图；
[0037]图2为一个残差模块结构示例；
[0038]图3为用于实现实施例1所述方法的视觉跟踪模型构建装置组成示意图；
[0039]图4为根据本专利技术实施例2的视觉跟踪模型构建方法流程示意图；
[0040]图5为用于实现实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视觉跟踪模型构建方法，其特征在于，包括：构建视觉跟踪网络，并利用图像序列数据集对所述视觉跟踪网络进行训练；其中，所述视觉跟踪网络由多个残差模块组成；对经过训练的所述视觉跟踪网络进行稀疏训练；对经过稀疏训练的所述视觉跟踪网络进行剪枝，以得到视觉跟踪模型；包括：对所述视觉跟踪网络中的选定卷积层集中的各个选定卷积层计算其每个卷积通道的L2范数，将L2范数最低的预定比例卷积通道作为第一剪枝通道集；对所述视觉跟踪网络中具有相同下采样的残差模块中的不属于所述选定卷积层集的各个未选定卷积层计算其每个卷积通道的L2范数，并将L2范数最低的预定比例卷积通道作为各所述具有相同下采样的残差模块的第二剪枝通道集；计算所有具有相同下采样的残差模块之间的第二剪枝通道集的交集，得到第三剪枝通道集；根据所述第一剪枝通道集及所述第三剪枝通道集对所述视觉跟踪网络进行剪枝，以得到视觉跟踪模型。2.根据权利要求1所述的视觉跟踪模型构建方法，其特征在于，所述对经过训练的所述视觉跟踪网络进行稀疏训练，包括：当每个训练轮次结束时，对所述视觉跟踪网络中的所述选定卷积层集中的各个选定卷积层计算其每个卷积通道的L2范数，并将L2范数最低的预定比例的卷积通道置0，以完成当前轮次的稀疏训练。3.根据权利要求2所述的视觉跟踪模型构建方法，其特征在于，在下一个训练轮次开始时，允许被置0的卷积通道恢复为非0状态。4.根据权利要求1
‑
3中任一项所述的视觉跟踪模型构建方法，其特征在于，所述视觉跟踪网络为resnet网络。5.一种视觉跟踪模型构建装置，其特征在于，包括：网络训练模块，被配置利用图像序列数据集对视觉跟踪网络进行训练；其中，所述视觉跟踪网络由多个残差模块组成；稀疏训练模块，被配置为对经过训练的所述视觉跟踪网络进行稀疏训练；模型生成模块，被配置为对经过稀疏训练的所述视觉跟踪网络进行剪枝，以得到视觉跟踪模型，包括：第一计算模块，用于对所述视觉跟踪网络中的所述选定卷积层集中的各个选定卷积层计算其每个卷积通道的L2范数，将L2范数最低的预定比例卷积通道作为第一剪枝通道集；第二计算模块，用于对所述视觉跟踪网络中具有相同下采样的残差模块...

【专利技术属性】
技术研发人员：豆扬名，刘庆杰，
申请(专利权)人：中国电子科技南湖研究院，
类型：发明
国别省市：