一种基于决策网络的端到端图像编码在线裁剪方法技术

本发明专利技术提供一种基于决策网络的端到端图像编码在线裁剪方法及系统，涉及端到端图像编码领域。该基于决策网络的端到端图像编码在线裁剪方法，包括：接收特征图x<subgt;l</subgt;，将特征图x<subgt;l</subgt;输入到预设的可决策卷积结构中进行处理；特征图x<subgt;l</subgt;经过卷积层卷积得到特征图x<subgt;l+1</subgt;过程中，经过决策网络决策特征图x<subgt;l+1</subgt;中的通道是否需要被卷积层进行卷积输出，若经过决策网络决策特征图x<subgt;l+1</subgt;中的通道需要被卷积层进行卷积输出，则特征图x<subgt;l</subgt;和卷积层参数会进行卷积计算得到特征图x<subgt;l+1</subgt;中对应的通道，否则，特征图x<subgt;l+1</subgt;中对应的通道不被卷积层进行卷积计算。该方法可以自主决定最优通道数、可根据图像内容自适应裁剪网络，并且可以实现码率‑失真‑复杂度三者之间的权衡。

【技术实现步骤摘要】

本专利技术涉及端到端图像编码，具体为一种基于决策网络的端到端图像编码在线裁剪方法。

技术介绍

1、现有的基于卷积通道数均匀裁剪，采用均匀裁剪事先定义裁剪比例，然后按比例减少每层卷积层的通道数，得到的新结构需要从头开始训练。这种方法的优点是实现简单，但是由于均匀裁剪忽视了网络结构对性能的影响，因而性能一般。

2、现有的基于经验与蒸馏技术的端到端图像网络裁剪方式，不依赖算法进行网络裁剪，也就是说网络结构不是在算法运行中产生的，而是在算法运行之前就定义好的。通常会根据需求定义高、中、低等不同复杂度的模型以适应不同的需求。不同复杂度的模型拥有相似的结构但是不同的结构大小，而结构和大小是根据研究者的经验和研究来确定的的。

3、此类方法通常会先训练高复杂度模型，然后使用蒸馏技术将高复杂度模型的参数逐步蒸馏到更低复杂度的模型里，相比于从头开始训练低复杂度模型，从高复杂度模型蒸馏得到的模型一般拥有更好的性能。然而，根据经验定义的结构通常不是最优的，而且从高复杂度模型蒸馏得到的模型是否真的比从头开始训练低复杂度模型性能更好还缺乏决定性的证据。

本文档来自技高网...

【技术保护点】

1.一种基于决策网络的端到端图像编码在线裁剪方法，其特征在于，包括：

2.根据权利要求1所述的一种基于决策网络的端到端图像编码在线裁剪方法，其特征在于，决策网络包括多层全连接和激活函数；其中，多层全连接，用于接收特征图，对接收的特征图进行全连接处理，获得长度与卷积输出层通道数相同的全连接图像特征；

3.根据权利要求2所述的一种基于决策网络的端到端图像编码在线裁剪方法，其特征在于，激活函数为用sigmoid函数，sigmoid函数输出概率向量p，根据概率向量p用于根据输入的图像特征计算输出特征图的目标通道。

4.根据权利要求1所述的一种基于决策网络的端到...

【技术特征摘要】

1.一种基于决策网络的端到端图像编码在线裁剪方法，其特征在于，包括：

2.根据权利要求1所述的一种基于决策网络的端到端图像编码在线裁剪方法，其特征在于，决策网络包括多层全连接和激活函数；其中，多层全连接，用于接收特征图，对接收的特征图进行全连接处理，获得长度与卷积输出层通道数相同的全连接图像特征；

3.根据权利要求2所述的一种基于决策网络的端到端图像编码在线裁剪方法，其特征在于，激活函数为用sigmoid函数，sigmoid函数输出概率向量p，根据概率向量p用于根据输入的图像特征计算输出特征图的目标通道。

4.根据权利要求1所述的一种基于决策网络的端到端图像编码在线裁剪方法，其特征在于，特征图xl+1中对应的通道不被卷积层进行卷积计算的方式包括：特征图xl+1中对应的通道进行裁剪。

5.根据权利要求3所述的一种基于决策网络的端到端图像编码在线裁剪方法，其特征在于，训练时，概率向量p利用gumbel softmax函数来将概率向量p转化为0-1表示；推理时，则直接使用round...

【专利技术属性】
技术研发人员：李礼，梅飞鸿，刘东，徐杨，孙瑞，
申请(专利权)人：深空探测实验室天都实验室，
类型：发明
国别省市：