用于神经网络的压缩和训练的方法及装置制造方法及图纸

根据本发明专利技术的一种基于神经网络的信号处理方法及装置可以：接收包括关于神经网络模型的信息的比特流，其中，比特流包括至少一个神经网络访问单元；获得关于来自比特流的至少一个神经网络访问单元的信息；以及基于关于至少一个神经网络访问单元的信息重建神经网络模型。型。型。

【技术实现步骤摘要】
【国外来华专利技术】用于神经网络的压缩和训练的方法及装置


[0001]本公开内容涉及用于压缩神经网络的方法及装置。此外，本公开内容涉及神经网络训练和推理方法及装置。

技术介绍

[0002]通过去除时间与空间冗余以及视点之间的冗余来对视频图像进行压缩和译码(coding)，其可以通过通信线路传输或者以适合于存储介质的形式存储。

技术实现思路

[0003]技术问题
[0004]本公开内容的目的在于提高视频信号的译码效率。此外，本公开内容旨在提高神经网络的译码效率。此外，本公开内容旨在提高神经网络的训练和推理性能。
[0005]技术方案
[0006]根据本公开内容的基于神经网络的信号处理方法及装置可以接收包括关于神经网络模型的信息的比特流，在本文中，比特流包括至少一个神经网络访问单元；可以获得关于来自比特流的至少一个神经网络访问单元的信息；以及可以基于关于至少一个神经网络访问单元的信息重建神经网络模型。
[0007]在根据本公开内容的基于神经网络的信号处理方法及装置中，至少一个神经网络访问单元可以包括多个神经网络层。
[0008]在根据本公开内容的基于神经网络的信号处理方法及装置中，关于至少一个神经网络访问单元的信息可以包括以下中的至少一者：指定神经网络模型的模型信息、至少一个神经网络访问单元的层信息、指示神经网络模型的参数信息的模型参数集、表示神经网络层的参数信息的层参数集、或者压缩神经网络层信息。
[0009]在根据本公开内容的基于神经网络的信号处理方法及装置中，层信息可以包括以下中的至少一者：数目、类型、位置、标识符、排列顺序、优先级、是否跳过压缩、神经网络层的节点信息或者神经网络层之间是否存在相关性。
[0010]在根据本公开内容的基于神经网络的信号处理方法及装置中，模型参数集可以包括以下中的至少一者：神经网络层的数目、指定比特流中与神经网络层对应的起始位置的入口点信息、用于神经网络模型的压缩的量化信息、或者神经网络层的类型信息。
[0011]在根据本公开内容的基于神经网络的信号处理方法及装置中，入口点信息可以根据神经网络层的数目单独地包括在模型参数集中。
[0012]在根据本公开内容的基于神经网络的信号处理方法及装置中，层参数集可以包括以下中的至少一者：当前神经网络层的参数类型、当前神经网络层的子层数目、指定比特流中与子层对应的起始位置的入口点信息、用于当前神经网络层的压缩的量化信息、或者指示与用于当前神经网络层的压缩的量化信息的差值的差量化信息。
[0013]在根据本公开内容的基于神经网络的信号处理方法及装置中，压缩神经网络层信
息可以包括权重信息、偏置信息或归一化参数信息中的至少一者。
[0014]有益效果
[0015]根据本公开内容的实施方式，可以提高视频信号的译码效率。此外，根据本公开内容的实施方式，可以提高神经网络的译码效率。此外，根据本公开内容的实施方式，可以提高神经网络的训练和推理性能。
附图说明
[0016]图1是示出根据本公开内容的实施方式的神经网络模型的压缩与重建的示意性流程的概念图。
[0017]图2是用于详细说明作为根据本公开内容的实施方式的神经网络模型的压缩概念的图。
[0018]图3是用于详细说明作为根据本公开内容的实施方式的神经网络模型的重建概念的图。
[0019]图4示出了作为根据本公开内容的实施方式的通过神经网络模型的压缩而生成的神经网络的比特流结构。
[0020]图5是示出作为根据本公开内容的实施方式的神经网络访问单元的有效载荷结构的图。
[0021]图6是示出作为根据本公开内容的实施方式的神经网络访问单元的有效载荷结构的另一实施方式的图。
[0022]图7是概念性地示出作为根据本公开内容的实施方式的压缩神经网络层中包括的信息的图。
[0023]图8是示出作为根据本公开内容的实施方式的模型参数集(MPS)的结构的图。
[0024]图9是示出作为根据本公开内容的实施方式的层参数集(LPS)的结构的图。
[0025]图10是概念性地示出作为根据本公开内容的实施方式的压缩的神经网络模型的比特流结构的图。
[0026]图11a是示出作为根据本公开内容的实施方式的深度学习网络的流的图，并且图11b是示出作为根据本公开内容的实施方式的深度学习网络中的层的输入/输出的图。
[0027]图12a是示出作为根据本公开内容的实施方式的深度学习网络的流的图，并且图12b是示出作为根据本公开内容的实施方式的深度学习网络中的层的输入/输出的图。
[0028]图13a和图13b是示出作为根据本公开内容的实施方式的深度学习网络的流的图。
[0029]图14是用于说明作为根据本公开内容的实施方式的生成用于深度学习网络的权重训练的残差权重的方法的图。
[0030]图15是示出作为根据本公开内容的实施方式的使用误差张量编码器和误差张量解码器来优化权重的过程的图。
[0031]图16是示出作为根据本公开内容的实施方式的使用误差图编码器和误差图解码器来优化权重的过程的图。
[0032]图17a和图17b是示出作为根据本公开内容的实施方式的深度学习网络的训练和推理过程的图。
[0033]图18a和图18b是示出作为根据本公开内容的实施方式的使用经编码/经解码的图
像的深度学习网络的训练和推理过程的图。
[0034]图19a和图19b是示出作为根据本公开内容的实施方式的使用图像和特征张量的编码/解码的深度学习网络的训练和推理过程的图。
[0035]图20a和图20b是示出作为根据本公开内容的实施方式的使用其上执行了深度学习网络的特征张量的深度学习网络的训练和推理过程的图。
[0036]图21是示出作为根据本公开内容的实施方式的使用特征张量和误差张量的编码/解码的深度学习网络的训练过程的图。
[0037]本公开内容的最佳模式
[0038]根据本公开内容的基于神经网络的信号处理方法及装置可以接收包括关于神经网络模型的信息的比特流，在本文中，比特流包括至少一个神经网络访问单元；可以获得关于来自比特流的至少一个神经网络访问单元的信息；以及可以基于关于至少一个神经网络访问单元的信息重建神经网络模型。
[0039]在根据本公开内容的基于神经网络的信号处理方法及装置中，至少一个神经网络访问单元可以包括多个神经网络层。
[0040]在根据本公开内容的基于神经网络的信号处理方法及装置中，关于至少一个神经网络访问单元的信息可以包括以下中的至少一者：指定神经网络模型的模型信息、至少一个神经网络访问单元的层信息、指示神经网络模型的参数信息的模型参数集、表示神经网络层的参数信息的层参数集、或压缩神经网络层信息。
[0041]在根据本公开内容的基于神经网络的信号处理方法及装置中，层信息可以包括数目、类型、位置、标识符、排列顺序、优先级、是否跳过压缩、神经网络层的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种基于神经网络的信号处理方法，所述方法包括：接收包括关于神经网络模型的信息的比特流，所述比特流包括至少一个神经网络访问单元；获得关于来自所述比特流的所述至少一个神经网络访问单元的信息；以及基于关于所述至少一个神经网络访问单元的信息重建所述神经网络模型。2.根据权利要求1所述的方法，其中，所述至少一个神经网络访问单元包括多个神经网络层。3.根据权利要求2所述的方法，其中，关于所述至少一个神经网络访问单元的信息包括以下中的至少一者：指定所述神经网络模型的模型信息、所述至少一个神经网络访问单元的层信息、指示所述神经网络模型的参数信息的模型参数集、表示神经网络层的参数信息的层参数集、或者压缩神经网络层信息。4.根据权利要求3所述的方法，其中，所述层信息包括以下中的至少一者：数目、类型、位置、标识符、排列顺序、优先级、是否跳过压缩、所述神经网络层的节点信息、或者所述神经网络层之间是否存在相关性。5.根据权利要求3所述的方法，其中，所述模型参数集包括以下中的至少一者：所述神经网络层的数目、指定所述比特流中与所述神经网络层对应的起始位置的入口点信息、用于所...

【专利技术属性】
技术研发人员：安镕照，李锺石，
申请(专利权)人：英迪股份有限公司，
类型：发明
国别省市：