用于基于CABAC的神经网络实现方式的视频编码与解码的方法及设备技术

提供了用于视频编码和解码的方法及设备。视频编码的方法包括：访问与视频的图片中的块相关联的语法元素的bin；确定与语法元素相关联的、语法元素的bin的上下文；以及基于所确定的上下文对语法元素的bin进行熵编码；其中，语法元素的bin是基于语法元素的由神经网络做出的预测的相关度，或者与由神经网络确定与上下文相关联的概率。还公开了被格式化为包括编码数据的比特流、计算机可读存储介质和计算机可读程序产品。

【技术实现步骤摘要】
【国外来华专利技术】用于基于CABAC的神经网络实现方式的视频编码与解码的方法及设备
本实施例总体上涉及视频编码和解码，尤其涉及基于CABAC的神经网络的至少一种实现方式的熵编码和解码。
技术介绍
本文描述的任何背景信息旨在向读者介绍本领域的各个方面，这些方面可能与下面描述的本实施例相关。该讨论被认为有助于向读者提供背景信息，以便更好地理解本公开的各个方面。因此，应该理解的是，这些陈述要从这个角度来解读。为了实现高压缩效率，图像和视频编码方案通常采用预测和变换来利用视频内容中的空间和时间冗余。通常，帧内或帧间预测用于利用帧内或帧间相关性，然后对原始图像和预测图像之间的差异(通常表示为预测误差或预测残差)进行变换、量化和熵编码。为了重构视频，通过与预测、变换、量化和熵编码对应的逆过程对压缩数据进行解码。在高效视频编码(HighEfficiencyVideoCoding，HEVC)标准(“ITU-TH.265，ITU电信标准化部(10/2014)，系列H：视听和多媒体系统，视听服务的基础设施-运动视频的编码，高效视频编码，推荐书ITU-TH.2本文档来自技高网...

【技术保护点】
1.一种视频编码的方法，包括：/n访问(610)与视频的图片中的当前块相关联的语法元素的bin；/n确定(630，650)所述语法元素的bin的上下文，所述上下文与所述语法元素相关联；以及/n基于所确定的上下文对所述语法元素的bin进行熵编码(640)；/n其中，所述访问(610)语法元素的bin包括/n针对所述语法元素，通过对在所述语法元素之前编码的数据应用神经网络来确定(612)所述语法元素的预测，在所述语法元素之前编码的所述数据包括关于先前编码的块或关于所述当前块的空间和时间信息；以及/n基于所述语法元素的所述预测的相关度来确定(614，616)所述语法元素的bin。/n

【技术特征摘要】
【国外来华专利技术】20180427 EP 18305537.51.一种视频编码的方法，包括：
访问(610)与视频的图片中的当前块相关联的语法元素的bin；
确定(630，650)所述语法元素的bin的上下文，所述上下文与所述语法元素相关联；以及
基于所确定的上下文对所述语法元素的bin进行熵编码(640)；
其中，所述访问(610)语法元素的bin包括
针对所述语法元素，通过对在所述语法元素之前编码的数据应用神经网络来确定(612)所述语法元素的预测，在所述语法元素之前编码的所述数据包括关于先前编码的块或关于所述当前块的空间和时间信息；以及
基于所述语法元素的所述预测的相关度来确定(614，616)所述语法元素的bin。


2.一种视频编码的方法，包括：
访问(1010)与视频的图片中的当前块相关联的语法元素的bin；
确定(1030，1050)所述语法元素的bin的上下文，所述上下文与所述语法元素相关联；以及
基于所确定的上下文对所述语法元素的bin进行熵编码(1040)；
其中，所述确定(1030，1050)所述语法元素的bin的上下文包括通过对在所述语法元素之前编码的数据应用神经网络来确定与所述上下文相关联的概率，在所述语法元素之前编码的所述数据包括关于先前编码的块或关于所述当前块的空间和时间信息。


3.一种用于视频编码的设备，包括：
用于访问与视频的图片中的当前块相关联的语法元素的bin的部件；
用于确定与所述语法元素相关联的、所述语法元素的bin的上下文的部件；以及
用于基于所确定的上下文对所述语法元素的bin进行熵编码的部件；其中，所述用于访问语法元素的bin的部件包括
神经网络，其用于针对所述语法元素，响应于在所述语法元素之前编码的数据来确定所述语法元素的预测，在所述语法元素之前编码的所述数据包括关于先前编码的块或关于所述当前块的空间和时间信息；
用于基于所述语法元素的所述预测的相关度来确定所述语法元素的bin的部件。


4.一种用于视频编码的设备，包括：
用于访问与视频的图片中的当前块相关联的语法元素的bin的部件；
用于确定与所述语法元素相关联的、所述语法元素的bin的上下文的部件；以及
用于基于所确定的上下文对所述语法元素的bin进行熵编码的部件；
其中，所述用于确定所述语法元素的bin的上下文的部件包括神经网络，其用于响应于在所述语法元素之前编码的数据来确定与所述上下文相关联的概率，在所述语法元素之前编码的所述数据包括关于先前编码的块或关于所述当前块的空间和时间信息。


5.一种视频解码的方法，包括：
访问(1410)与编码视频的图片中的当前块相关联的语法元素的已编码bin；
确定(1430，1450)与所述语法元素相关联的、所述语法元素的bin的上下文；以及
基于所确定的上下文对所述语法元素的已编码bin进行熵解码(1440)；
其中，所述熵解码包括
针对所述语法元素，通过对在所述语法元素之前解码的数据应用神经网络来确定所述语法元素的预测，在所述语法元素之前解码的所述数据包括关于先前解码的块或关于所述当前块的空间和时间信息；
基于所述语法元素的所确定的预测和所述语法元素的已解码bin来确定所述语法元素。


6.一种视频解码的方法，包括：
访问(1410)与编码视频的图片中的当前块相关联的语法元素的已编码bin；
确定(1430，1450)与所述语法元素相关联的、所述语法元素的bin的上下文；以及
基于所确定的上下文对所述语法元素的已编码bin进行熵解码(1440)；
其中，所述确定(1430，1450)所述语法元素的bin的上下文包括通过对在所述语法元素之前解码的数据应用神经网络来确定与所述上下文相关联的概率，在所述语法元素之前解码的所述数据包括关于先前解码的块或关于所述当前块的空间和时间信息。


7.一种用于视频解码的设备，包括：
用于访问与编码视频的图片中的当前块相关联的语法元素的...

【专利技术属性】
技术研发人员：F加尔平，F拉卡普，K纳瑟，P博德斯，
申请(专利权)人：交互数字VC控股公司，
类型：发明
国别省市：美国;US