图像处理装置及电子设备制造方法及图纸

技术编号:36529491 阅读:12 留言:0更新日期:2023-02-01 16:11
本申请实施例提供了一种图像处理装置及电子设备,其中,该装置包括:图像压缩网络,图像压缩网络包括多层卷积层,每层卷积层包括:复杂度确定模块,用于获取图像特征向量并确定图像特征向量的复杂度系数,根据复杂度系数确定目标网络压缩模块,在复杂度系数大于预设阈值的情况下,目标网络压缩模块为复杂网络的压缩模块,否则,目标网络压缩模块为简单网络的压缩模块;复杂网络的压缩模块或简单网络的压缩模块,用于计算接收图像特征向量,得到压缩后的图像特征向量。通过本申请,解决了图像在不损失信息的情况下压缩问题,进而达到了自适应选择使用复杂网络的压缩模块还是简单网络压缩模块对图像进行压缩的效果。压缩模块对图像进行压缩的效果。压缩模块对图像进行压缩的效果。

【技术实现步骤摘要】
图像处理装置及电子设备


[0001]本申请实施例涉及计算机领域,具体而言,涉及一种图像处理装置及电子设备。

技术介绍

[0002]在许多计算机视觉任务中,模型设计起着关键作用。高质量网络对移动/嵌入式设备的日益增长的需求推动了高效网络设计的研究。例如,与简单叠加卷积层相比,GoogleNet以较低的复杂度增加了网络的深度;SqueezeNet采用瓶颈方法设计了一个非常小的网络;例外MobileNet(使用深度方向的可分离卷积来减少计算和模型尺寸。MobileNetV3的设计基于互补搜索技术的组合
[0003]获得小型网络的另一个趋势是模型压缩。基于因子分解的方法试图通过张量分解来逼近原始卷积运算,从而加速卷积运算。基于知识提炼的方法学习一个小的网络来模仿一个更大的教师网络。基于修剪的方法尝试通过修剪冗余连接或卷积通道来减少计算量。
[0004]在计算机视觉和自然语言处理(NLP)任务中,动态卷积核的生成都是必不可少的。在计算机视觉领域,Klein在2015年基于前几层的特征图,通过线性层直接生成卷积核。
[0005]尽管这些努力取得了进展,但我们发现卷积核之间仍然存在冗余,并导致冗余计算。动态卷积可以减少冗余计算,从而补充那些高效的网络。但在卷积网络中,相关核被用来提取与噪声无关的特征。因此,传统的卷积网络很难在不损失信息的情况下进行压缩。

技术实现思路

[0006]本申请实施例提供了一种图像处理装置及电子设备,以至少解决相关技术中卷积网络很难在不损失信息的情况下进行压缩的问题
[0007]根据本申请的一个实施例,提供了一种图像处理装置,该装置包括:图像压缩网络,所述图像压缩网络包括多层卷积层,每层卷积层包括:复杂度确定模块、复杂网络的压缩模块、简单网络的压缩模块,其中,所述复杂度确定模块,用于获取图像特征向量并确定所述图像特征向量的复杂度系数,并根据所述复杂度系数确定目标网络压缩模块,在所述复杂度系数大于预设阈值的情况下,所述目标网络压缩模块为复杂网络的压缩模块,否则,所述目标网络压缩模块为简单网络的压缩模块;所述复杂网络的压缩模块或所述简单网络的压缩模块,用于接收所述复杂度确定模块输入的所述图像特征向量,并计算所述图像特征向量,得到压缩后的图像特征向量。
[0008]在一个示例性实施例中,所述复杂度确定模块包括:全连接子模块,用于获取的所述图像特征向量,并利用[x1,x2]=W
×
input,将所述图像特征向量映射到两个元素上,得到一维向量,将所述一维向量作为复杂度初始系数,其中,x1,x2表示两个元素,W表示全连接子模块的参数矩阵,input表示所述图像特征向量。
[0009]在一个示例性实施例中,所述复杂度确定模块包括复杂度系数确定子模块,所述复杂度系数确定子模块用于:选择所述复杂度初始系数中两个元素的其中一个元素与所述预设阈值进行比较;若所述复杂度初始系数中的第一个所述元素大于所述预设阈值,将所
述复杂度初始系数第一个所述元素作为所述复杂度系数;若所述复杂度初始系数中的第一个所述元素小于或者等于所述预设阈值,将所述复杂度初始系数第二个所述元素作为所述复杂度系数。
[0010]在一个示例性实施例中,所述复杂度确定模块还包括网络压缩选择子模块,所述网络压缩选择子模块用于:将所述复杂度系数与所述预设阈值进行比较;若所述复杂度系数大于所述预设阈值,则选择所述复杂网络的压缩模块作为所述目标网络压缩模块,否则选择所述简单网络的压缩模块作为所述目标网络压缩模块。
[0011]在一个示例性实施例中,所述复杂度确定模块还包括图像梯度更新子模块,所述图像梯度更新子模块用于获取所述图像特征向量的梯度,并将所述梯度传输至对应的所述目标网络压缩模块中。
[0012]在一个示例性实施例中,所述目标网络压缩模块用于根据梯度和所述复杂度系数,计算更新梯度,其中,所述更新梯度,用于确定压缩后的所述图像特征向量。
[0013]在一个示例性实施例中,所述图像处理装置还包括:分类预测网络,用于接收压缩后的所述图像特征向量,并根据压缩后的所述图像特征向量进行分类预测。
[0014]在一个示例性实施例中,所述复杂度确定模块还包括:感知层输出子模块,用于接收压缩后的所述图像特征向量,并输出至下一层所述卷积层或所述分类预测网络,其中,所述感知层输出子模块在位于多层所述卷积层除最后一层的任一层情况下,接收到压缩后的所述图像特征向量后,传输至下一层所述卷积层,所述感知层输出子模块在位于多层卷积层的最后一层的情况下,接收到压缩后的所述图像特征向量后,传输至所述分类预测网络中。
[0015]在一个示例性实施例中,所述的装置,还包括:图像输入模块,用于接收输入的所述图像特征向量,并将所述图像特征向量输入至所述图像压缩网络中。
[0016]根据本申请的又一个实施例,还提供了一种电子设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述任一种方法实施例中的步骤。
[0017]通过本申请,由于图像压缩网络包括多层卷积层,每层卷积层包括用于接收所述复杂度确定模块输入的所述图像特征向量,并计算所述图像特征向量,得到压缩后的图像特征向量的所述复杂网络的压缩模块或所述简单网络的压缩模块,还包括用于获取图像特征向量并确定所述图像特征向量的复杂度系数,并根据所述复杂度系数确定采用所述复杂网络的压缩模块或采用所述简单网络压缩模块,对所述图像特征向量进行压缩的复杂度确定模块因此,可以解决图像在不损失信息的情况下压缩问题,达到自适应选择使用所述复杂网络的压缩模块还是所述简单网络压缩模块对图像进行压缩的效果。
附图说明
[0018]图1是根据本申请实施例的图像压缩网络的结构框图;
[0019]图2是根据本申请实施例的另一种图像压缩网络的结构框图;
[0020]图3是根据本申请实施例的复杂度确定模块的结构示意图;
[0021]图4是根据本申请实施例1的一种图像处理装置的执行方案的流程图;
[0022]图5是根据本申请实施例2的一种图像处理装置的执行方案的流程图;
[0023]图6是根据本申请实施例3的一种图像处理装置的结构框图;
[0024]图7是根据本申请实施例3的一种图像处理装置的执行方案的流程图;
[0025]图8是根据本申请实施例4的一种图像处理装置的执行方案的流程图;
[0026]图9是根据本申请实施例的一种图像处理方法的移动终端的硬件结构框图。
具体实施方式
[0027]下文中将参考附图并结合实施例来详细说明本申请的实施例。
[0028]需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
[0029]在本实施例中还提供了一种图像处理装置,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种图像处理装置,其特征在于,包括图像压缩网络,所述图像压缩网络包括多层卷积层,每层卷积层包括:复杂度确定模块、复杂网络的压缩模块、简单网络的压缩模块,其中,所述复杂度确定模块,用于获取图像特征向量并确定所述图像特征向量的复杂度系数,并根据所述复杂度系数确定目标网络压缩模块,在所述复杂度系数大于预设阈值的情况下,所述目标网络压缩模块为复杂网络的压缩模块,否则,所述目标网络压缩模块为简单网络的压缩模块;所述复杂网络的压缩模块或所述简单网络的压缩模块,用于接收所述复杂度确定模块输入的所述图像特征向量,并计算所述图像特征向量,得到压缩后的图像特征向量。2.根据权利要求1所述的装置,其特征在于,所述复杂度确定模块包括:全连接子模块,用于获取的所述图像特征向量,并利用[x1,x2]=W
×
input,将所述图像特征向量映射到两个元素上,得到一维向量,将所述一维向量作为复杂度初始系数,其中,x1,x2表示两个元素,W表示全连接子模块的参数矩阵,input表示所述图像特征向量。3.根据权利要求2所述的装置,其特征在于,所述复杂度确定模块包括复杂度系数确定子模块,所述复杂度系数确定子模块用于:选择所述复杂度初始系数中两个元素的其中一个元素与所述预设阈值进行比较;若所述复杂度初始系数中的第一个所述元素大于所述预设阈值,将所述复杂度初始系数第一个所述元素作为所述复杂度系数;若所述复杂度初始系数中的第一个所述元素小于或者等于所述预设阈值,将所述复杂度初始系数第二个所述元素作为所述复杂度系数。4.根据权利要求1所述的装置,其特征在于,所述复杂度确定模块还包括网络压缩...

【专利技术属性】
技术研发人员:辛永欣
申请(专利权)人:苏州浪潮智能科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1