对深度神经网络进行编码的系统和方法技术方案

本公开涉及一种方法，该方法包括在信号中对数据集进行编码，该编码包括通过使用通过对数据集进行聚类而获得的码本来量化数据集，该进行聚类考虑数据在数据集中出现的概率；该概率被限制到一个边界值。本公开还涉及一种方法，该方法包括在信号中对深度神经网络的层的第一权重进行编码，该编码考虑第二权重的修改对深度神经网络的精度的影响。本公开还涉及对应的信号、解码方法、设备和计算机可读存储介质。质。质。

【技术实现步骤摘要】
【国外来华专利技术】对深度神经网络进行编码的系统和方法
[0001]相关申请的交叉引用
[0002]本申请要求2019年7月2日提交的美国专利申请第62/869,680号的权益。


[0003]本公开的一个或多个实施例的领域
涉及数据处理，如数据压缩和/或解压缩。例如，至少一些实施例涉及牵涉大量数据的数据压缩/解压缩，如视频流的至少一部分的压缩和/或解压缩，或与深度学习技术的使用相关联的数据压缩和/或解压缩，如深度神经网络(DNN)的使用或图像和/或视频处理，如包括图像和/或视频压缩的处理。例如，至少一些实施例还涉及对深度神经网络进行编码/解码。

技术介绍

[0004]深度神经网络(DNN)在计算机视觉、语音识别、自然语言处理等领域表现出了先进的性能。然而，这种性能可能是以巨大的计算成本为代价的，因为DNN往往具有大量的参数，通常达到数百万，有时甚至数十亿。
[0005]需要一种有助于传输和/或存储DNN参数的解决方案。

技术实现思路

[0006]本公开的至少一些实施例能够通过提出一种方法来解决至少一个缺点，该方法包括在本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种包括至少一个处理器的设备，所述处理器被配置用于在信号中对数据集进行编码，所述编码包括通过使用通过对所述数据集进行聚类而获得的码本来量化所述数据集，所述进行聚类考虑数据在所述数据集中出现的概率；所述概率被限制到至少一个边界值。2.一种方法，包括在信号中对数据集进行编码，所述编码包括通过使用通过对所述数据集进行聚类而获得的码本来量化所述数据集，所述进行聚类考虑数据在所述数据集中出现的概率；所述概率被限制到至少一个边界值。3.根据权利要求1所述的设备或者权利要求2所述的方法，其中，所述至少一个边界值取决于所述数据在所述数据集中的分布。4.根据权利要求3所述的设备或方法，其中，所述至少一个边界值取决于所述分布的至少一个峰值。5.根据权利要求1或3或4所述的设备、或者权利要求2至4中任一项所述的方法，其中，使用所述至少一个边界值中的第一边界值对出现的概率小于所述第一边界值的所述数据集的数据进行聚类。6.根据权利要求5所述的设备或方法，其中，所述第一边界值小于或等于所述数据在所述数据集中的分布的至少一个峰值的10％。7.根据权利要求1或3至6中任一项所述的设备、或者权利要求2或6中任一项所述的方法，其中，所述数据集包括至少一个深度神经网络的至少一个层的至少一个第一权重，并且所述量化输出对于所述至少一个层的所述至少一个第一权重的所述码本和索引值。8.根据权利要求7所述的设备或方法，其中，所述进行聚类还考虑所述权重的至少一个第二权重的修改对所述深度神经网络的精度的影响。9.一种包括至少一个处理器的设备，所述处理器被配置用于在信号中对至少一个深度神经网络的至少一个层的至少一个第一权重进行编码，所述编码考虑所述权重的至少一个第二权重的修改对所述深度神经网络的精度的影响。10.一种方法，包括在信号中对至少一个深度神经网络的至少一个层的至少一个第一权重进行编码，所述编码考虑所述权重的至少一个第二权重的修改对所述深度神经网络的精度的影响。11.根据权利要求9所述的设备或者根据权利要求10所述的方法，其中，所述编码包括基于聚类的量化，并且其中所述进行聚类是通过考虑所述至少一个第二权重的所述影响来执行的。12.根据权利要求8至9或11中任一项所述的设备、或者权利要求8或10或11中任一项所述的方法，其中，所述进行聚类考虑权重填入至少一个聚类以使所述聚类居中的影响。13.根据权利要求8至9或11至12中任一项所述的设备、或者权利要求8或10至12中任一项所述的方法，其中，所述深度神经网络是使用训练数据集训练的预训练深度神经网络，并且其中使用所述训练集的至少一部...

【专利技术属性】
技术研发人员：S哈米迪拉德，S贾因，F拉卡佩，
申请(专利权)人：交互数字CE专利控股公司，
类型：发明
国别省市：