模型压缩方法、图像处理方法、装置和云设备制造方法及图纸

本申请提供一种模型压缩方法、图像处理方法、装置和云设备，该模型压缩方法包括：接收用户终端发送的第一图像，第一图像为预设应用场景的图像；根据预设应用场景，确定已训练完成的第一视觉网络模型的压缩方式，压缩方式包括通道压缩和/或特征向量的压缩；确定第一图像的频域信息；基于频域信息，采用压缩方式对第一视觉网络模型进行压缩，得到第二视觉网络模型。本申请得到压缩后的视觉网络模型占有较小的内存以及具有较快的计算效率。的内存以及具有较快的计算效率。的内存以及具有较快的计算效率。

【技术实现步骤摘要】
模型压缩方法、图像处理方法、装置和云设备


[0001]本申请涉及计算机
，尤其涉及一种模型压缩方法、图像处理方法、装置和云设备。

技术介绍

[0002]随着transformer（一种深度学习网络）的引入，由于包含有transformer的视觉网络模型（Vision Transformer，ViT）在许多任务上的准确度都优于卷积神经网络（Convolutional Neural Network，CNN），如图像分类、目标检测和语义分割等，这导致目前使用的CNN在计算机视觉领域的地位发生了动摇。
[0003]但是与CNN相比，ViT在运行过程中存在内存使用量更大和计算效率较慢的问题。

技术实现思路

[0004]本申请的多个方面提供一种模型压缩方法、图像处理方法、装置和云设备，以解决ViT在运行过程中存在内存使用量更大和计算效率较慢的问题。
[0005]本申请实施例第一方面提供一种模型压缩方法，应用于服务器，模型压缩方法包括：接收用户终端发送的第一图像，第一图像为预设应用场景的图像；根据预设应用场景，确定已训练本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型压缩方法，其特征在于，应用于服务器，所述模型压缩方法包括：接收用户终端发送的第一图像，所述第一图像为预设应用场景的图像；根据所述预设应用场景，确定已训练完成的第一视觉网络模型的压缩方式，所述压缩方式包括通道压缩和/或特征向量的压缩；确定所述第一图像的频域信息；基于所述频域信息，采用所述压缩方式对所述第一视觉网络模型进行压缩，得到第二视觉网络模型。2.根据权利要求1所述的模型压缩方法，其特征在于，所述频域信息包括低频信息，所述确定所述第一图像的频域信息，包括：将所述第一图像转换为频域图像；对所述频域图像的高频信息进行削弱处理，得到滤波频谱图像；对所述滤波频谱图像进行逆变换，得到第二图像，所述第二图像包括所述低频信息。3.根据权利要求2所述的模型压缩方法，其特征在于，所述压缩方式为所述通道压缩，所述基于所述频域信息，采用所述压缩方式对所述视觉网络模型进行压缩，得到压缩后的视觉网络模型，包括：将所述第一图像输入所述第一视觉网络模型进行识别处理，得到第一输出结果；针对第一视觉网络模型的每个通道，删除所述通道，得到当前视觉网络模型；将所述第二图像输入所述当前视觉网络模型进行识别处理，得到第二输出结果；基于所述第一输出结果和所述第二输出结果对所述第一视觉网络模型进行通道压缩，得到所述第二视觉网络模型。4.根据权利要求3所述的模型压缩方法，其特征在于，所述基于所述第一输出结果和所述第二输出结果对所述第一视觉网络模型进行通道压缩，得到所述第二视觉网络模型，包括：确定所述第二输出结果相对所述第一输出结果的第一损失值，所述第一损失值的大小表示所述通道对所述第一视觉网络模型的影响度；根据所述第一损失值，删除所述第一视觉网络模型的至少一个通道，得到所述第二视觉网络模型，其中，删除的通道对所述第一视觉网络模型的影响度小于影响度阈值。5.根据权利要求2所述的模型压缩方法，其特征在于，所述压缩方式为所述特征向量的压缩，所述基于所述频域信息，采用所述压缩方式对所述第一视觉网络模型进行压缩，得到第二视觉网络模型，包括：将所述第二图像输入所述第一视觉网络模型进行识别处理，得到所述第二图像对应的多个中间特征向量；根据所述中间特征向量，确定所述第一视觉网络模型的注意力评分与低频修正量；融合所述注意力评分与所述低频修正，得到所述中间特征向量的重要性评分；基于所述重要性评分，在所述第一视觉网络模型中配置评分阈值，得到所述第二视觉网络模型，所述评分阈值用于指示所述第二视觉网络模型对重要性评分低于评分阈值的特征向量进行删除。6.根据权利要求5所述的模型压缩方法，其特征在于，所述基于所述重要性评分，在所述第一视觉网络模型中配置评分阈值，得到所述第二视觉网络模型，包括：
根据所述重要性评分，删除所述第一视觉网络模型的至少一个中间特征向量，其中...

【专利技术属性】
技术研发人员：汪振宇，罗浩，王帆，李昊，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：