【技术实现步骤摘要】
【国外来华专利技术】
一些实施例涉及用于神经网络的参数及其增量更新的熵编解码的方法、解码器和/或编码器，特别地涉及减少值集编解码和历史依赖显著性编解码。
技术介绍
1、通常，神经网络被配备有数百万个参数，因此可能需要数百mb才能表示。用于多媒体内容描述和分析的神经网络压缩的mpeg-7第17部分标准[2]提供了神经网络参数的量化和整数表示的不同方法，例如独立标量量化和基于码本的整数表示。此外，它指定了一种熵量化方案，也称为deepcabac[4]。
2、期望提供用于神经网络的改进压缩的概念，例如，期望减少比特流，从而降低神经网络的信号化成本。此外，或者可替代地，期望使神经网络编解码更高效，例如，在编解码所需的比特率降低方面。
3、这是通过本申请的独立权利要求的主题实现的。
4、根据本专利技术的进一步的实施例由本申请的从属权利要求的主题定义。
技术实现思路
1、根据本专利技术的第一方面，本申请的专利技术人意识到，当尝试对神经网络参数(nn参数)进行编码/解码时，例如使用deep...
【技术保护点】
1.一种用于从数据流中解码定义神经网络的神经网络(NN)参数的装置(10)，被配置为
2.根据权利要求1所述的装置，其中，所述映射方案(44)将有限的量化索引集合中的每一个与重构级别集合中的一个相关联。
3.根据前述权利要求1至2中任一项所述的装置，其中所述量化索引是整数。
4.根据前述权利要求1至3中任一项所述的装置，其中，所述映射方案(44)中包含的所述量化索引形成整数的单调序列，并且其中所述装置被配置为从所述数据流中获取关于以下中的一个或多个的信息：
5.根据权利要求4所述的装置，其中所述装置进一步被配置为从所述数...
【技术特征摘要】
【国外来华专利技术】
1.一种用于从数据流中解码定义神经网络的神经网络(nn)参数的装置(10)，被配置为
2.根据权利要求1所述的装置，其中，所述映射方案(44)将有限的量化索引集合中的每一个与重构级别集合中的一个相关联。
3.根据前述权利要求1至2中任一项所述的装置，其中所述量化索引是整数。
4.根据前述权利要求1至3中任一项所述的装置，其中，所述映射方案(44)中包含的所述量化索引形成整数的单调序列，并且其中所述装置被配置为从所述数据流中获取关于以下中的一个或多个的信息：
5.根据权利要求4所述的装置，其中所述装置进一步被配置为从所述数据流中获取关于以下中的一个或多个的信息：
6.根据前述权利要求1至5中任一项所述的装置，其中，所述装置被配置为如果所述映射方案(44)包括恰好一个具有值零的量化索引(32)，则推断所述量化索引(32)为零。
7.根据前述权利要求1至6中任一项所述的装置，其中，如果所述映射方案(44)包括恰好一个具有值零的量化索引，则满足所述预定标准，其中，所述预定语法元素(22)是指示所述量化索引(32)是否具有值零的显著性标志，以及
8.根据权利要求6或7所述的装置，被配置为如果所述映射方案(44)包括恰好一个具有值零的量化索引，则独立于所述数据流的专用于发信号通知所述量化索引(32)的语法元素来得出所述量化索引(32)。
9.根据前述权利要求1至5中任一项所述的装置，其中，所述映射方案(44)中包含的所述量化索引形成整数的单调序列，并且其中
10.根据前述权利要求1至9中任一项所述的装置，其中，所述预定语法元素(22)是指示所述量化索引(32)是否具有非负值或者所述量化索引(32)是否具有非正值的符号标志。
11.根据权利要求10所述的装置，其中，如果所述映射方案(44)中包含的所述量化索引不包含正量化索引和负量化索引，则满足所述预定标准。
12.根据权利要求11所述的装置，被配置为如果所述映射方案(44)满足所述预定标准，则通过以下方式重构所述nn参数，以及
13.根据权利要求11至12中任一项所述的装置，被配置为通过以下得出用于重构所述nn参数的所述量化索引(32)：
14.根据权利要求10至13中任一项所述的装置，其中，所述映射方案(44)中包含的所述量化索引形成整数的单调序列，并且其中所述装置被配置为根据所述整数序列内具有值零的量化索引所处的位置的指示来检查所述预定标准。
15.根据权利要求1至4中任一项所述的装置，其中，所述预定语法元素(22)是预定阈值标志，所述预定阈值标志指示所述量化索引(32)的绝对值是否大于与所述预定阈值标志相关联的阈值。
16.根据权利要求15所述的装置，被配置为通过得出符号标志来重构所述nn参数，所述符号标志指示所述量化索引(32)是否具有非负值或所述量化索引(32)是否具有非正值，
17.根据权利要求16所述的装置，被配置为，如果所述映射方案(44)满足所述预定标准，则推断所述预定阈值标志指示所述量化索引(32)的所述绝对值不大于所述阈值。
18.根据权利要求10至14中任一项所述的装置，其中所述装置被配置为
19.根据权利要求15至18中任一项所述的装置，被配置为
20.根据权利要求19所述的装置，其中，所述映射方案(44)中包含的所述量化索引形成整数的单调序列，并且其中所述装置被配置为根据所述映射方案(44)中包含的所述量化索引的数量的指示来确定所述量化索引的所述绝对值的所述最大值。
21.根据前述权利要求1至20中任一项所述的装置，被配置为通过以下得出用于重构所述nn参数的所述量化索引(32)：
22.根据前述权利要求1至21中任一项所述的装置，被配置为对所述重构级别进行去量化，以获取所述nn参数的重构值。
23.一种用于将定义神经网络的神经网络(nn)参数编码到数据流(14)中的装置(11)，被配置为
24.根据权利要求23所述的装置，被配置为检查所述映射方案(44)是否满足预定标准。
25.根据权利要求23或24所述的装置，其中，所述映射方案(44)将有限的量化索引集合中的每一个与重构级别集合中的一个相关联。
26.根据前述权利要求23至25中任一项所述的装置，其中所述量化索引是整数。
27.根据前述权利要求23至26中任一项所述的装置，其中，所述映射方案(44)中包含的所述量化索引形成整数的单调序列，并且其中所述装置被配置为从所述数据流中获取关于以下中的一个或多个的信息：
28.根据权利要求27所述的装置，其中所述装置进一步被配置为从所述数据流中获取关于以下中的一个或多个的信息：
29.根据前述权利要求23至28中任一项所述的装置，其中，如果所述映射方案(44)包括恰好一个具有值零的量化索引，则满足所述预定标准，并且其中所述预定语法元素(22)是指示所述量化索引(32)是否具有值零的显著性标志。
30.根据前述权利要求23至29中任一项所述的装置，被配置为如果所述映射方案(44)包括恰好一个具有值零的量化索引，则避免将专用于发信号通知所述量化索引(32)的语法元素编码到所述数据流中。
31.根据前述权利要求23至28中任一项所述的装置，其中，所述映射方案(44)中包括的量化索引形成整数的单调序列，并且其中
32.根据前述权利要求23至31中任一项所述的装置，其中，所述预定语法元素(22)是指示所述量化索引(32)是否具有非负值或所述量化索引(32)是否具有非正值的符号标志。
33.根据权利要求32所述的装置，其中，如果所述映射方案(44)中包含的所述量化索引不包含正量化索引和负量化索引，则满足所述预定标准。
34.根据权利要求33所述的装置，被配置为对所述量化索引(32)进行编码，以通过以下对所述nn参数进行编码：
35.根据权利要求32至34中任一项所述的装置，其中，所述映射方案(44)中包含的所述量化索引形成整数单调序列，并且其中所述装置被配置为
36.根据权利要求23至27中任一项所述的装置，其中，所述预定语法元素(22)是预定阈值标志，所述预定阈值标志指示所述量化索引(32)的绝对值是否大于与所述预定阈值标志相关联的阈值。
37.根据权利要求23至36中任一项所述的装置，其中
38.根据权利要求37所述的装置，被配置为，如果所述映射方案(44)满足所述预定标准，则跳过将所述预定阈值标志编码到所述数据流中。
39.根据权利要求32至35中任一项所述的装置，其中所述装置被配置为
40.根据权利要求36至39中任一项所述的装置，被配置为从一个或多个阈值标志中选择所述预定阈值标志，使得与所述预定阈值标志相关联的阈值等于所述映射方案(44)中包含的所述量化索引的绝对值中的最大值。
41.根据权利要求40所述的装置，其中，所述映射方案(44)中包含的所述量化索引形成整数单调序列，并且其中所述装置被配置为将所述映射方案(44)中包含的所述量化索引的数量的指示编码到所述数据流中。
42.根据权利要求36至41中任一项所述的装置，被配置为对所述量化索引(32)进行编码，以通过以下对所述nn参数进行编码：
43.根据权利要求23至42中任一项所述的装置，被配置为对所述nn参数进行量化以获取所述nn参数的重构级别。
44.一种用于从数据流(14)中解码定义神经网络的神经网络(nn)参数的装置(10)，被配置为接收所述nn参数中的一个的更新参数(132)，并且使用所述更新参数(132)更新所述nn参数，其中，所述装置(10)被配置为
45.根据权利要求44所述的装置，其中所述更新参数(132)和一个或多个先前更新参数(132'，132”)是所述nn参数的更新参数序列的一部分，并且其中所述装置被配置为基于所述更新参数序列顺序地更新所述nn参数。
46.根据前述权利要求44至45中任一项所述的装置，其中，所述概率模型(142)是上下文模型、或者自适应模型或自适应上下文模型。
47.根据前述权利要求44至46中任一项所述的装置，其中所述装置被配置为
48.根据前述权利要求44至47中任一项所述的装置，被配置为通过以下中的一项或多项来更新所述历史数据和/或选择所述概率模型(142)：
49.根据权利要求47或48所述的装置，被配置为在所述历史数据中存储关于所述先前更新参数(132'，132”)的信息。
50.根据权利要求49所述的装置，被配置为在所述历史数据中存储关于有限数量的先前更新参数(132'，132”)的信息。
51.根据权利要求47至50中任一项所述的装置，被配置为通过对多个先前更新参数(132'，132”)应用无限脉冲响应(iir)滤波器来确定所述历史数据的参数。
52.根据权利要求47至51中任一项所述的装置，其中，所述历史数据包括指示先前更新参数(132'，132”)的序列是否满足预定标准的参数。
53.根据权利要求47至52中任一项所述的装置，其中，所述历史数据包括指示满足预定标准的先前更新参数(132'，132”)的计数的参数。
54.根据权利要求47至53中任一项所述的装置，被配置为如果满足重置条件，则将所述历史数据重置为预定状态，其中所述重置条件取决于包括以下中的一项或多项的条件集合：
55.根据前述权利要求44至53中任一项所述的装置，其中，所述装置被配置为如果所述先前更新参数(132'，132”)的序列不满足预定标准，则选择用于所述更新参数的所述熵解码的第一概率模型。
56.根据权利要求52至55中任一项所述的装置，其中，如果所述序列的所有所述先前更新参数(132'，132”)都具有预定值，则满足所述预定标准。
57.根据前述权利要求44至46中任一项所述的装置，其中所述装置被配置为
58.根据权利要求57所述的装置，被配置为如果所述历史参数具有所述第一值，则选择用于所...
【专利技术属性】
技术研发人员：格哈德·泰克，保罗·哈斯，丹尼尔·贝金，海纳·基尔霍夫，乔纳森·普法夫，卡斯滕·穆勒，沃伊切赫·萨梅克，海科·施瓦尔茨，德特勒夫·马尔佩，托马斯·威甘德，
申请(专利权)人：弗劳恩霍夫应用研究促进协会，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。