熵编解码方法和装置制造方法及图纸

本申请提供一种熵编解码方法和装置。本申请熵编码方法，包括：获取待编码数据，所述待编码数据是当前数据流包含的多个数据中非首位编码的数据；获取参照信息，所述参照信息至少包括第一上下文信息和第一边信息中的至少一项，所述第一上下文信息是将至少一个已编码数据输入自注意力解码网络得到的，所述第一边信息是将所述多个数据输入自注意力编码网络得到的；根据所述参照信息估计得到第一估计概率分布；根据所述第一估计概率分布对所述待编码数据进行熵编码，以得到第一码流。本申请可以提高当前数据流包含的多个数据的传输效率。提高当前数据流包含的多个数据的传输效率。提高当前数据流包含的多个数据的传输效率。

【技术实现步骤摘要】
熵编解码方法和装置


[0001]本申请实施例涉及基于人工智能(artificial intelligence，AI)的数据压缩
，尤其涉及一种熵编解码方法和装置。

技术介绍

[0002]视频编码(视频编码和解码)广泛用于数字视频应用，例如广播数字电视、互联网和移动网络上的视频传输、视频聊天和视频会议等实时会话应用、数字多功能影音光盘 (Digital Versatile Disc，DVD)和蓝光光盘、视频内容采集和编辑系统以及可携式摄像机的安全应用。
[0003]即使在影片较短的情况下也需要对大量的视频数据进行描述，当数据要在带宽容量受限的网络中发送或以其它方式传输时，这样可能会造成困难。因此，视频数据通常要先压缩然后在现代电信网络中传输。由于内存资源可能有限，当在存储设备上存储视频时，视频的大小也可能成为问题。视频压缩设备通常在信源侧使用软件和/或硬件，以在传输或存储之前对视频数据进行编码，从而减少用来表示数字视频图像所需的数据量。然后，压缩的数据在目的地侧由视频解压缩设备接收。在有限的网络资源以及对更高视频质量的需求不断增长的情况下，需要改进压缩和解压缩技术，这些改进的技术能够提高压缩率而几乎不影响图像质量。
[0004]近年来，将深度学习应用于图像或视频编解码领域逐渐成为一种趋势。相关技术采用预先设置的固定概率分布或者由训练得到的可学习模型确定概率分布，进而基于概率分布对待编/解码数据进行编/解码。但是上述方法获取的概率分布的准确性较低，导致熵编码开销较大，进而导致数据传输效率较低。/>
技术实现思路

[0005]本申请提供一种熵编解码方法和装置，以提高待编码数据的估计概率分布的准确性，减小熵编解码过程中的码率，从而减小熵编解码开销。
[0006]第一方面，本申请提供一种熵编码方法，所述方法包括：获取待编码数据，所述待编码数据是当前数据流包含的多个数据中非首位编码的数据；获取参照信息，所述参照信息至少包括第一上下文信息和第一边信息中的至少一项，所述第一上下文信息是将至少一个已编码数据输入自注意力解码网络得到的，所述第一边信息是将所述多个数据输入自注意力编码网络得到的；根据所述参照信息估计得到第一估计概率分布；根据所述第一估计概率分布对所述待编码数据进行熵编码，以得到第一码流。
[0007]其中，已编码数据指的是多个数据中编码器已经进行熵编码的数据，由于当对当前数据流的首位数据进行熵编码时，还未存在已编码数据，因此待编码数据需要为当前数据流的非首位数据，这样才能提取得到第一上下文信息。
[0008]根据参照信息估计得到的第一估计概率分布可以包括至少一个估计概率参数。示例地，该至少一个估计概率参数可以包括均值和方差，均值和方差组成高斯分布。编码器可
以根据第一估计概率分布计算待编码数据的概率值，之后根据该概率值对待编码数据进行熵编码。进行熵编码后得到的第一码流可以是二进制格式。
[0009]多个数据也可以称为多个数据单元，多个数据可以包括视频数据、图像数据、音频数据、整数型数据以及其他具有压缩/解压缩需求的数据等，本申请实施例对数据类型不做限定。其中，每个数据对应一个位置信息，待编码数据在多个数据中位于非首位。
[0010]该熵编码方法中，自注意力解码网络为具备自注意力机制(即包括自注意力结构)的神经网络，自注意力机制是注意力机制的变体，具备全局感受野，能够较好地获取数据或特征的内部相关性。自注意力解码网络可以得到输入的所有已编码数据与待编码数据的权重，之后对输入的所有或部分已编码数据利用相应的权重进行加权得到第一上下文信息。这样提高了获取第一上下文信息的过程中对已编码数据的利用率，在利用第一上下文信息估计得到第一估计概率分布时，能够提高第一估计概率分布的准确性，进一步减小熵编码过程中的码率，从而进一步减小熵编码开销。
[0011]自注意力编码网络具备全局感受野，可以得到输入的所有数据与待编码数据的相关性，该相关性可以为输入的所有数据相对于待编码数据的权重。自注意力编码网络在得到输入的所有数据相对于待编码数据的权重后，根据权重对相应的数据进行加权得到第一边信息。
[0012]可选地，自注意力编码网络可以对输入的所有或部分数据利用相应的权重进行加权得到第一边信息。这样，提高了获取第一边信息的过程中对数据的利用率。在后续利用第一边信息估计得到第一估计概率分布时，能够进一步提高得到的第一估计概率分布的准确性，进一步减小熵编码过程中的码率，从而进一步减小熵编码开销。
[0013]参照信息至少包括第一上下文信息和第一边信息中的至少一项之外，还可以包括第二上下文信息和第二边信息中的至少一种信息，因此可以包括以下几种情况：
[0014](1)参照信息包括第一上下文信息
[0015]相应的，根据参照信息估计得到第一估计概率分布可以包括：将第一上下文信息输入概率分布估计网络，以得到概率分布估计网络输出的第一估计概率分布。该概率分布估计网络可以为单独的一个神经网络，也可以是自注意力解码网络中的一个结构，本申请实施例对此不做限定。
[0016](2)参照信息包括第一上下文信息和第一边信息
[0017]相应的，根据参照信息估计得到第一估计概率分布可以包括：将第一上下文信息和第一边信息输入概率分布估计网络，以得到概率分布估计网络输出的第一估计概率分布。
[0018](3)参照信息包括第一上下文信息和第二上下文信息
[0019]相应的，根据参照信息估计得到第一估计概率分布可以包括：将第一上下文信息和第二上下文信息输入概率分布估计网络，以得到概率分布估计网络输出的第一估计概率分布。
[0020](4)参照信息包括第一上下文信息、第一边信息和第二上下文信息
[0021]相应的，根据参照信息估计得到第一估计概率分布可以包括：将第一上下文信息、第一边信息和第二上下文信息输入概率分布估计网络，以得到概率分布估计网络输出的第一估计概率分布。
[0022](5)参照信息包括第一上下文信息和第二边信息
[0023]相应的，根据参照信息估计得到第一估计概率分布可以包括：将第一上下文信息和第二边信息输入概率分布估计网络，以得到概率分布估计网络输出的第一估计概率分布。
[0024](6)参照信息包括第一上下文信息、第一边信息和第二边信息
[0025]相应的，根据参照信息估计得到第一估计概率分布可以包括：将第一上下文信息、第一边信息和第二边信息输入概率分布估计网络，以得到概率分布估计网络输出的第一估计概率分布。
[0026](7)参照信息包括第一上下文信息、第二上下文信息和第二边信息
[0027]相应的，根据参照信息估计得到第一估计概率分布可以包括：将第一上下文信息、第二上下文信息和第二边信息输入概率分布估计网络，以得到概率分布估计网络输出的第一估计概率分布。
[0028](8)参照信息包括第一上下文信息、第一边信息、第二上下文信息和第二边信息
[0029]相应的，根本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种熵编码方法，其特征在于，所述方法包括：获取待编码数据，所述待编码数据是当前数据流包含的多个数据中非首位编码的数据；获取参照信息，所述参照信息至少包括第一上下文信息和第一边信息中的至少一项，所述第一上下文信息是将至少一个已编码数据输入自注意力解码网络得到的，所述第一边信息是将所述多个数据输入自注意力编码网络得到的；根据所述参照信息估计得到第一估计概率分布；根据所述第一估计概率分布对所述待编码数据进行熵编码，以得到第一码流。2.根据权利要求1所述的方法，其特征在于，所述参照信息具体包括所述第一上下文信息和所述第一边信息；所述根据所述参照信息估计得到第一估计概率分布，包括：将所述第一上下文信息和所述第一边信息输入概率分布估计网络，以得到所述概率分布估计网络输出的所述第一估计概率分布。3.根据权利要求1所述的方法，其特征在于，所述参照信息具体包括所述第一上下文信息和第二上下文信息，所述第二上下文信息是将所述至少一个已编码数据中符合预设条件的至少一个数据输入遮掩卷积网络得到的；所述根据所述参照信息估计得到第一估计概率分布，包括：将所述第一上下文信息和所述第二上下文信息输入概率分布估计网络，以得到所述概率分布估计网络输出的所述第一估计概率分布。4.根据权利要求1所述的方法，其特征在于，所述参照信息具体包括所述第一上下文信息、所述第一边信息和第二上下文信息，所述第二上下文信息是将所述至少一个已编码数据中符合预设条件的至少一个数据输入遮掩卷积网络得到的；所述根据所述参照信息估计得到第一估计概率分布，包括：将所述第一上下文信息、所述第一边信息和所述第二上下文信息输入概率分布估计网络，以得到所述概率分布估计网络输出的所述第一估计概率分布。5.根据权利要求1所述的方法，其特征在于，所述参照信息具体包括所述第一上下文信息和第二边信息，所述第二边信息是将所述多个数据中符合预设条件的至少一个数据输入超编码网络得到的；所述根据所述参照信息估计得到第一估计概率分布，包括：将所述第一上下文信息和所述第二边信息输入概率分布估计网络，以得到所述概率分布估计网络输出的所述第一估计概率分布。6.根据权利要求1所述的方法，其特征在于，所述参照信息具体包括所述第一上下文信息、所述第一边信息和第二边信息，所述第二边信息是将所述多个数据中符合预设条件的至少一个数据输入超编码网络得到的；所述根据所述参照信息估计得到第一估计概率分布，包括：将所述第一上下文信息、所述第一边信息和所述第二边信息输入概率分布估计网络，以得到所述概率分布估计网络输出的所述第一估计概率分布。7.根据权利要求1所述的方法，其特征在于，所述参照信息具体包括所述第一上下文信息、第二上下文信息和第二边信息，所述第二边信息是将所述多个数据中符合预设条件的
至少一个数据输入超编码网络得到的，所述第二上下文信息是将所述至少一个已编码数据中符合预设条件的至少一个数据输入遮掩卷积网络得到的；所述根据所述参照信息估计得到第一估计概率分布，包括：将所述第一上下文信息、所述第二上下文信息和所述第二边信息输入概率分布估计网络，以得到所述概率分布估计网络输出的所述第一估计概率分布。8.根据权利要求1所述的方法，其特征在于，所述参照信息具体包括所述第一上下文信息、所述第一边信息、第二上下文信息和第二边信息，所述第二边信息是将所述多个数据中符合预设条件的至少一个数据输入超编码网络得到的，所述第二上下文信息是将所述至少一个已编码数据中符合预设条件的至少一个数据输入遮掩卷积网络得到的；所述根据所述参照信息估计得到第一估计概率分布，包括：将所述第一上下文信息、所述第一边信息、所述第二上下文信息和所述第二边信息输入概率分布估计网络，以得到所述概率分布估计网络输出的所述第一估计概率分布。9.根据权利要求1所述的方法，其特征在于，所述参照信息具体包括所述第一边信息和第二上下文信息，所述第二上下文信息是将所述至少一个已编码数据中符合预设条件的至少一个数据输入遮掩卷积网络得到的；所述根据所述参照信息估计得到第一估计概率分布，包括：将所述第一边信息和所述第二上下文信息输入概率分布估计网络，以得到所述概率分布估计网络输出的所述第一估计概率分布。10.根据权利要求1所述的方法，其特征在于，所述参照信息具体包括所述第一边信息和第二边信息，所述第二边信息是将所述多个数据中符合预设条件的至少一个数据输入超编码网络得到的；所述根据所述参照信息估计得到第一估计概率分布，包括：将所述第一边信息和所述第二边信息输入概率分布估计网络，以得到所述概率分布估计网络输出的所述第一估计概率分布。11.根据权利要求1所述的方法，其特征在于，所述参照信息具体包括所述第一边信息、第二上下文信息和第二边信息，所述第二边信息是将所述多个数据中符合预设条件的至少一个数据输入超编码网络得到的，所述第二上下文信息是将所述至少一个已编码数据中符合预设条件的至少一个数据输入遮掩卷积网络得到的；所述根据所述参照信息估计得到第一估计概率分布，包括：将所述第一边信息、所述第二上下文信息和所述第二边信息输入概率分布估计网络，以得到所述概率分布估计网络输出的所述第一估计概率分布。12.根据权利要求1
‑
2、4、6、8
‑
11中任一项所述的方法，其特征在于，所述方法还包括：估计得到第二估计概率分布；根据所述第二估计概率分布对所述第一边信息进行熵编码以得到第二码流。13.根据权利要求5
‑
8、10
‑
11中任一项所述的方法，其特征在于，所述方法还包括：估计得到所述第三估计概率分布；根据所述第三估计概率分布对所述第二边信息进行熵编码以得到第三码流。14.根据权利要求1
‑
13中任一项所述的方法，其特征在于，所述方法还包括：获取所述多个数据中首位编码的数据；
根据预先设置信息估计得到第四估计概率分布；根据所述第四估计概率分布对所述首位编码的数据进行熵编码以得到第四码流。15.一种熵解码方法，其特征在于，所述方法包括：获取第一码流；获取参照信息，所述参照信息至少包括第一上下文信息和经解码第一边信息中的至少一项，所述第一上下文信息是将至少一个已解码数据输入自注意力解码网络得到的，所述经解码第一边信息是对第二码流进行熵解码得到的；根据所述参照信息估计得到第一估计概率分布；根据所述第一估计概率分布对所述第一码流进行熵解码以得到经解码数据，所述经解码数据为当前数据流包含的多个数据中非首位解码的数据。16.根据权利要求15所述的方法，其特征在于，所述参照信息具体包括所述第一上下文信息和所述经解码第...

【专利技术属性】
技术研发人员：郭天生，王晶，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：