一种视频信号编码方法、解码方法和解码装置制造方法及图纸

本发明专利技术涉及用于视频编码的混合预测模式。针对视频流的当前帧的当前块，使用具有与当前块的像素位置的子集符合的像素位置的模板来确定预测块。具有与模板相同的像素位置的图案的所述预测块的第一部分被填充有帧间预测像素值，并且所述预测块的剩余部分被填充有帧内预测像素值。可以使用第一部分的帧间像素值、与当前块邻近的像素的像素值或者这两者来确定帧内预测像素值。

Hybrid prediction model for video coding

The present invention relates to a hybrid prediction model for video coding. For the current block of the current frame of the video stream, a prediction block is determined by using a template that has a pixel position corresponding to a subset of the pixel position of the current block. The first part of the predicted block with the same pixel position as the template is filled with inter frame predictive pixel values, and the remaining part of the prediction block is filled with intra prediction pixel values. The intra frame predictive pixel values can be determined by using the inter frame pixel values of the first part, the pixel values of the pixels adjacent to the current block, or both.

【技术实现步骤摘要】
用于视频编码的混合预测模式
本公开大体上涉及使用帧内与帧间组合预测来编码和解码可视数据，诸如视频流数据。
技术介绍
数字视频流通常表示使用帧或者静止图像的序列的视频。每个帧能够包括数个块，而这些块可以包含描述色值、亮度或者其他像素的属性的信息。典型视频流中的数据量很大，并且视频的传输和存储可能使用到相当的计算或通信资源。由于视频数据中所涉及的数据量很大，传输和存储需要高性能的压缩。这通常涉及使用运动矢量的帧间预测、使用当前帧的像素的帧内预测或者两者兼具。
技术实现思路
一种根据本公开的一个方面的用于对视频信号进行编码或解码的方法，其中，所述视频信号包括定义视频序列的帧，每个帧具有块，并且每个块具有像素，所述方法包括：确定用于当前块的预测的模板；确定针对预测块的第一部分的帧间预测像素；确定针对与所述预测块的所述第一部分非重叠的所述预测块的第二部分的帧内预测像素值；以及使用所述预测块对所述当前块进行编码或解码。所述模板具有与所述当前块的像素位置的真子集相符合的尺寸(也称为像素、像素位或像素位置的图案或布置)，并且所述第一部分具有与所述模板相同图案的所述尺寸。本文所述的另一种编码或解码的方法包括：使用对来自第一参考帧的像素值的帧内预测，确定针对当前帧中的当前块的像素值的预测块；以及使用所述预测块，对所述当前块进行编码或解码。基于具有作为所述当前块的尺寸的真子集的像素位置的模板，使用帧内预测来确定来自所述第一参考帧的所述像素值。本文所述的装置的一个方面是一种用于对视频信号进行编码或解码的装置，所述视频信号包括定义视频序列的帧，每个帧具有块，并且每个块具有像素。所述装置包括处理器以及非暂时性存储器，其存储指令，所述指令使得所述处理器执行如下方法，包括：使用帧间预测以及具有与当前块的像素的真子集符合的尺寸的模板，确定针对所述当前块的预测块的像素值的第一部分，以便所述第一部分具有所述尺寸；使用帧内预测，确定所述预测块的像素值的第二部分；以及使用所述预测块，对所述当前块进行编码或解码。在下文的详细描述、所附权利要求以及附图中更加详细地描述了本公开的这些和其他方面，包括变型。附图说明下面参照附图来描述本文的内容，其中在几个视图中，相似的附图标记是指相似的部分。图1是视频编码和解码系统的示意图。图2是能够实现发射站或者接收站的计算设备的示例的框图。图3是待编码并且随后解码的视频流的图示。图4是根据本文教导的方面的视频压缩系统的框图。图5是根据本文教导的另一方面的视频解压缩系统的框图。图6是根据本文教导的一个方面的用于通过帧内与帧间组合预测来编码或解码块的过程的流程图。图7A至7C是示出根据本文教导的模板的实施例的图。图8是用于图示出各种帧内预测模式的4x4块的图。图9A至9H是示出用于图8的块的帧内预测模式的示例的图。图10是用于说明图6的过程的示例的图。具体实施方式可以通过各种技术对视频流进行压缩，以减小传送或者存储视频流所需的带宽。视频流能够被编码成可涉及压缩的比特流，并且再被传送至解码器，其能够解码或解压缩视频流以使其备用于查看或者进一步处理。使用压缩来编码视频流涉及在视频质量与比特流大小之间做出权衡的参数，其中，提高所解码的视频流的感知质量能够增加传送或者存储比特流所需的比特数。一种用于获得优越压缩性能的技术通过空间和/或运动补偿预测而利用视频信号的空间与时间的相关性。例如，帧间预测使用运动矢量来识别类似于待编码的当前块的先前经编码和解码的块。通过编码运动矢量以及两个块之间的差异，解码器能够重新创建当前块。另一方面，帧内预测能够使用来自相同帧的信息来预测当前块并且编码两个块之间的差异以通过解码来重新创建当前块。编码器能够使用多个帧间和帧内预测模式中的两个或多个来编码帧的块并且测量用于每个块的每个模式的率/失真以选择具有最小失真的预测模式，诸如针对产生率通过计算绝对差之和(SAD)来测定，例如，通过经编码的比特流中的比特数来测定。本文中的教导描述了在块内使用帧间与帧内组合预测。能够根据模板来使用帧间预测。能够将模板连同一个或多个运动矢量一起使用于通过一个或多个参考帧(例如，视频流中在时间上接近当前帧的帧)的像素形成预测块的一部分。能够再将预测块的这个部分和/或邻近当前块的像素使用于对预测块的剩余部分进行帧内预测。预测块可以被用于形成残差，将其连同表示模板的比特、运动矢量以及帧内预测模式一起传送以由解码器来解码。使用如本文所述的帧间与帧内组合预测来编码的块相对于单独使用任一技术来编码的块能够具有改进的率/失真测度。下面在描述可以实现本文教导的环境后，更加详细地阐述细节。图1是视频编码和解码系统100的示意图。例如，发射站102能够是具有诸如图2中所述的内部硬件配置的计算机。然而，发射站102的其他合适的实施方式也可行。例如，发射站102的处理能够被分布于多个设备之间。网络104能够使发射站102与接收站106相连接，用于视频流的编码和解码。具体地，能够在发射站102中编码视频流并且能够在接收站106中解码经编码的视频流。例如，网络104能够是因特网。网络104也能够是局域网(LAN)、广域网(WAN)、虚拟专用网(VPN)、蜂窝电话网络或者将视频流从发射站102传递至该示例中的接收站106的任何其他装置。在一个示例中，接收站106能够是具有诸如图2中所述的内部硬件配置的计算机。然而，接收站106的其他合适的实施方式也可行。例如，接收站106的处理能够被分布于多个设备之间。视频编码和解码系统100的其他实施方式也可行。例如，一种实施方式能够省略网络104。在其他实施方式中，视频流能够被编码并且再被存储以便在稍后的时间传送至接收站106或者具有存储器的任何其他设备。在一个实施方式中，接收站106(例如，经由网络104、计算机总线和/或一些通信路径)接收经编码的视频流并且存储视频流，用于稍后解码。在示例的实施方式中，实时传输协议(RTP)被使用于在网络104上传送经编码的视频。在另一个实施方式中，可以使用除RTP以外的传输协议，例如，基于超文本传输协议(HTTP)的视频流送协议。当用于视频会议系统时，例如，发射站102和/或接收站106可以包括编码以及解码视频流的能力，如下所述。例如，接收站106能够是视频会议参与者，其从视频会议服务器(例如，发射站102)接收经编码的视频比特流以解码，并且查看以及进一步编码和其本身的视频比特流并且将其发送至视频会议服务器以供其他参与者解码和查看。图2是能够实现发射站或者接收站的计算设备200的示例的框图。例如，计算设备200能够实现图1的发射站102和接收站106中的一个或两个。计算设备200能够呈包括多个计算设备的计算系统的形式，或者呈单个计算设备的形式，例如，移动电话、平板型计算机、膝上型计算机、笔记本型计算机、桌面型计算机或诸如此类。计算设备200中的CPU202能够是常规的中央处理单元。替选地，CPU202能够是能够操纵或者处理现有的或以后开发的信息的任何其他类型的设备或者多个设备。虽然所公开的实施方式能够用所示的单个处理器来实践，例如CPU202，但使用一个以上处理器能够在速度和效率方面获得优势。在一实施方式中，计算设备200中的存储器204能够是只读存储器(ROM)本文档来自技高网...

【技术保护点】
一种用于使用计算设备对视频信号进行编码的方法，所述视频信号包括限定视频序列的帧，所述帧具有块，并且所述块具有像素，所述方法包括：确定用于当前块的预测的模板，其中所述模板具有与所述当前块的像素位置的真子集对应的像素位置的图案，使用所述模板确定针对预测块的第一部分的帧间预测像素值，其中，所述第一部分对应于所述模板的所述图案；确定针对所述预测块的第二部分的帧内预测像素值；以及使用所述预测块，对所述当前块进行编码。

【技术特征摘要】
2016.04.26 US 15/138,3971.一种用于使用计算设备对视频信号进行编码的方法，所述视频信号包括限定视频序列的帧，所述帧具有块，并且所述块具有像素，所述方法包括：确定用于当前块的预测的模板，其中所述模板具有与所述当前块的像素位置的真子集对应的像素位置的图案，使用所述模板确定针对预测块的第一部分的帧间预测像素值，其中，所述第一部分对应于所述模板的所述图案；确定针对所述预测块的第二部分的帧内预测像素值；以及使用所述预测块，对所述当前块进行编码。2.根据权利要求1所述的方法，其中，确定所述帧内预测像素值包括：使用所述帧间预测像素值中的至少一些，生成所述帧内预测像素值。3.根据权利要求1所述的方法，其中，所述模板是多个模板中的一个，所述多个模板中的每一个具有至少一列和至少一行，所述至少一列具有等于所述当前块的第一尺寸的像素位置的数量，并且所述至少一行具有等于所述当前块的第二尺寸的像素位置的数量。4.根据权利要求1所述的方法，其中，所述预测块的所述第一部分具有至少一列和至少一行，所述至少一列和至少一行在所述预测块的右下角、所述预测块的左上角或者所述预测块的左下角具有共同的起源像素位置。5.根据权利要求4所述的方法，其中，确定所述帧内预测像素值包括：使用包括水平预测模式、垂直预测模式、对角线预测模式和单值预测模式的多个帧内预测模式中的一个来执行帧内预测。6.根据权利要求5所述的方法，其中，执行所述帧内预测包括：将所述多个帧内预测模式中的所述一个应用于所述帧间预测像素值中的至少一个。7.根据权利要求1所述的方法，其中，确定所述模板包括使用率/失真测度而从多个模板中选择所述模板。8.根据权利要求7所述的方法，进一步包括：将用于所述模板的标识符、在确定针对所述预测块的所述第一部分的所述帧间预测像素值中所使用的运动矢量以及用于在确定针对所述预测块的所述第二部分的所述帧内预测像素值中所使用的帧内预测模式的标识符编码到经编码的比特流内，以用于在解码器中使用。9.一种用于使用计算设备对经编码的比特流中的视频信号进行解码的方法，所述视频信号包括限定视频序列的帧，所述帧具有块，并且所述块具有像素，所述方法包括：使用对来自第一参考帧的像素值的帧内预测，确定针对当前帧中的当前块的像素值的预测块，其中，基于一模板，使用帧内预测来确定来自所述第一参考帧的所述像素值，所述模板具有作为所述当前块的像素位置的真子集的像素位置；以及使用所述预测块，对所述当前块进行解码。10.根据权利要求9所述的方法，进一步包括：基于所述模板，使用帧间预测来确定来自第二...

【专利技术属性】
技术研发人员：许耀武，保罗·威尔金斯，
申请(专利权)人：谷歌公司，
类型：发明
国别省市：美国,US