【技术实现步骤摘要】
本专利技术涉及深度学习中的模型压缩领域，具体涉及一种基于码表聚类的深度学习模型压缩方法。
技术介绍
1、深度学习在过去几年取得了显著进展，已经成为计算机视觉、自然语言处理、语音识别等领域的核心技术。然而，深度学习模型通常具有大量的参数和复杂的结构，这导致了巨大的计算资源消耗和高内存占用。随着深度学习应用逐渐延伸至资源受限的移动设备和边缘计算设备，模型压缩技术因而变得尤为重要。随着物联网设备、智能移动终端的普及以及边缘计算的兴起，对于在低功耗、有限计算能力的硬件上运行复杂的深度学习模型的需求急剧增加。在这些场景中，模型需要在保持高性能的同时，极大地压缩其计算和存储需求。此外，在数据中心和云服务中，模型压缩可以显著降低存储和传输成本，减少能量消耗，并提高系统的扩展性和成本效益。
2、当前深度学习模型压缩的技术路径主要包括以下两种：权重剪枝：通过识别和移除神经网络中的神经元或连接，从而减少模型的存储需求。权重剪枝可以是无结构的(按参数方向删除权重)，也可以是有结构的(按层或通道方向删除权重)。模型量化：通过降低网络权重和激活的精度...
【技术保护点】
1.一种基于码表聚类的深度学习模型压缩方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于码表聚类的深度学习模型压缩方法，其特征在于，步骤S1的线性层的权重尺寸为[输出通道数，输入通道数]，按照输入通道切分，得到输出通道数*输入通道数/V个权重向量；卷积层的权重尺寸为[输出通道数，输入通道数，卷积核高度，卷积核宽度]，先对卷积层的权重进行重构得到尺寸为[输出通道数，输入通道数*卷积核高度*卷积核宽度]的卷积层的权重，然后按照输入通道切分，得到输出通道数*输入通道数*卷积核高度*卷积核宽度/V个权重向量。
3.根据权利要求1所述的基于码...
【技术特征摘要】
1.一种基于码表聚类的深度学习模型压缩方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于码表聚类的深度学习模型压缩方法，其特征在于，步骤s1的线性层的权重尺寸为[输出通道数，输入通道数]，按照输入通道切分，得到输出通道数*输入通道数/v个权重向量；卷积层的权重尺寸为[输出通道数，输入通道数，卷积核高度，卷积核宽度]，先对卷积层的权重进行重构得到尺寸为[输出通道数，输入通道数*卷积核高度*卷积核宽度]的卷积层的权重，然后按照输入通道切分，得到输出通道数*输入通道数*卷积核高度*卷积核宽度/v个权重向量。
3.根据权利要求1所述的基于码表聚类的深度学习模型压缩方法，其特征在于，步骤s2中所述使用码表聚类算法进行权重向量聚类，具体过程为：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。