图像编码器、图像解码器、图像编码方法和图像解码方法技术

提供了一种图像编码器，其包括电路和耦合至该电路的存储器。所述电路在操作中沿着从图像块分离的第二分区与具有非矩形形状(例如，三角形)的第一分区之间的边界执行边界平滑操作。该边界平滑操作包括：使用第一分区的信息，对沿边界的第一分区的一组像素的第一值进行第一预测；以及使用第二分区的信息，对沿边界的第一分区的一组像素的第二值进行第二预测；对第一值和第二值进行加权；以及使用经加权的第一值和经加权的第二值来对第一分区进行编码。

Image encoder, image decoder, image coding method and image decoding method

【技术实现步骤摘要】
【国外来华专利技术】图像编码器、图像解码器、图像编码方法和图像解码方法
本公开涉及视频编码，并且特别地涉及视频编码和解码系统、组件、和方法，其用于执行基于参考帧构建当前块的帧间预测功能或者基于当前帧中经编码/解码的参考块来构建当前块的帧内预测功能。
技术介绍
随着视频编码技术从H.261和MPEG-1到H.264/AVC(高级视频编码)、MPEG-LA、H.265/HEVC(高效视频编码)和H.266/VVC(通用视频编解码器)的发展，始终需要对视频编码技术进行改进和优化，以处理各种应用中数量不断增长的数字视频数据。本公开涉及视频编码中的另外的进步、改进、和优化，特别地，结合帧间预测功能或帧内预测功能，其将图像块分割成多个分区，所述多个分区至少包括第二分区以及具有非矩形形状(例如，三角形)的第一分区。
技术实现思路
根据一个方面，提供了一种图像编码器，其包括电路和耦合至该电路的存储器。所述电路在操作中沿着从图像块分割出的第二分区与具有非矩形形状的第一分区之间的边界来执行边界平滑操作。该边界平滑操作包括：使用第一分区的信息，对沿边界的第一分区的一组像素的第一值进行第一预测；以及使用第二分区的信息，对沿边界的第一分区的一组像素的第二值进行第二预测；对第一值和第二值进行加权；以及使用经加权的第一值和经加权的第二值来对第一分区进行编码。本公开的实施例的一些实现可以改进编码效率，可以简单地是编码/解码过程，可以加速编码/解码过程的速度，可以高效地选择在编码和解码中使用的合适的组件/操作，例如合适的滤波器、块大小、运动矢量、参考图片、参考块等。通过说明书和附图，所公开的实施例的其他益处和优点将变得显而易见。益处和/或优点可以通过说明书和附图的各种实施例和特征而单独获得，其不需要全部被提供以获得这样的益处和/或优点中的一个或多个。应当注意的是，一般或特定实施例可以被实现为系统、方法、集成电路、计算机程序、存储介质、或其任意选择性组合。附图说明图1是示出了根据实施例的编码器的功能配置的框图。图2示出了块分割的一个示例。图3是指示各种变换类型的变换基础函数的表。图4A示出了在ALF(自适应环路滤波器)中使用的滤波器形状的一个示例。图4B示出了在ALF中使用的滤波器形状的另一示例。图4C示出了在ALF中使用的滤波器形状的另一示例。图5A示出了在帧内预测的示例中使用的67种帧内预测模式。图5B是示出了在OBMC(重叠块运动补偿)处理中执行的预测图像校正过程的一个示例的流程图。图5C是示出了在OBMC处理中执行的预测图像校正过程的一个示例的概念图。图5D是示出了FRUC(帧速率上转换)处理的一个示例的流程图。图6示出了沿着运动轨迹的两个块之间的模式匹配(双向匹配)的一个示例。图7示出了当前图片中的模板与参考图片中的块之间的模式匹配(模板匹配)的一个示例。图8示出了假设均匀线性运动的模型。图9A示出了基于相邻块的运动矢量来得出每个子块的运动矢量的一个示例。图9B示出了用于以合并模式得出运动矢量的过程的一个示例。图9C是示出了DMVR(动态运动矢量刷新)处理的示例的概念图。图9D示出了使用由LIC(局部照明补偿)处理执行的亮度校正过程的预测图像生成方法的一个示例。图10是示出了根据实施例的解码器的功能配置的框图。图11是示出根据一个实施例的将图像块分割成至少包括第二分区以及具有非矩形形状(例如三角形)的第一分区在内的多个分区并且执行进一步处理的整体处理流程的流程图。图12示出了将图像块分割成第二分区(在所示示例中也具有非矩形形状)和具有非矩形形状(例如，三角形)的第一分区的两种示例性方法。图13示出了边界平滑过程的一个示例，该边界平滑过程包括对基于第一分区预测的边界像素的第一值和基于第二分区预测的边界像素的第二值进行加权。图14示出了边界平滑过程的另外三个示例，其涉及对基于第一分区预测的边界像素的第一值进行加权和对基于第二分区预测的边界像素的第二值进行加权。图15是采样参数(“第一索引值”)和分别由参数编码的信息集的表。图16是示出了参数(索引值)的二进制化的表。图17是示出了将图像块分割成多个分区的过程的流程图，所述多个分区包括第二分区以及具有非矩形形状的第一分区。图18示出了将图像块分割成多个分区的示例，所述多个分区包括第二分区和具有非矩形形状(在所示的示例中为三角形)的第一分区。图19示出了将图像块分割成多个分区的进一步示例，所述多个分区包括第二分区以及具有非矩形形状的第一分区，所述非矩形形状在所示示例中是具有至少五个边和角的多边形。图20是示出了边界平滑过程的流程图，该边界平滑过程包括对基于第一分区预测的边界像素的第一值进行加权和对基于第二分区预测的边界像素的第二值进行加权。图21A示出了边界平滑过程的示例，其中，基于第一分区来预测其第一值要被加权并且基于第二分区来预测其第二值要被加权的边界像素。图21B示出了边界平滑过程的示例，其中，基于第一分区来预测其第一值要被加权并且基于第二分区来预测其第二值要被加权的边界像素。图21C示出了边界平滑过程的示例，其中，基于第一分区来预测其第一值要被加权并且基于第二分区来预测其第二值要被加权的边界像素。图21D示出了边界平滑过程的示例，其中，基于第一分区来预测其第一值要被加权并且基于第二分区来预测其第二值要被加权的边界像素。图22是示出了在编码器侧执行的基于指示分割的分区参数将图像块分割成多个分区并在熵编码中将包括分区参数的一个或多个参数写入比特流中的方法的流程图，所述多个分区包括第二分区以及具有非矩形形状的第一分区。图23是示出了在解码器侧执行的从比特流解析一个或多个参数的方法，所述参数包括指示基于分区参数将图像块分割成多个分区并对第一分区和第二分区进行解码的方法的流程图，所述一个或多个参数包括指示将图像块分割成多个分区的分区参数，所述多个分区包括第二分区以及具有非矩形形状的第一分区。图24是采样分区参数(“第一索引值”)以及可以分别由分区参数联合编码的信息集合的表，所述采样分区参数分别指示将图像块分割成多个分区，所述多个分区包括第二分区以及具有非矩形形状的第一分区。图25是第一参数和第二参数的采样组合的表，其中第一参数和第二参数之一是指示将图像块分割成多个分区的分区参数，所述多个分区包括第二分区以及具有非矩形形状的第一分区。图26示出了用于实现内容分配服务的内容提供系统的整体配置。图27示出了可伸缩编码中的编码结构的一个示例。图28示出了可伸缩编码中的编码结构的一个示例。图29示出了网页的显示屏幕的示例。图30示出了网页的显示屏幕的示例。图31示出了智能手机的一个示例。图32是示出了智能电话的配置示例的框图。具体实施方式根据一本文档来自技高网...

【技术保护点】
1.一种图像编码器，包括：/n电路；以及/n耦合至所述电路的存储器；/n其中，所述电路在操作中沿着从图像块分割出的第二分区与具有非矩形形状的第一分区之间的边界来执行边界平滑操作，所述边界平滑操作包括：/n使用所述第一分区的信息，对沿所述边界的所述第一分区的一组像素的第一值进行第一预测；/n使用所述第二分区的信息，对沿所述边界的所述第一分区的所述一组像素的第二值进行第二预测；/n对所述第一值和所述第二值进行加权；以及/n使用经加权的第一值和经加权的第二值来对所述第一分区进行编码。/n

【技术特征摘要】
【国外来华专利技术】20170822 US 62/548,684;20180716 US 62/698,8101.一种图像编码器，包括：
电路；以及
耦合至所述电路的存储器；
其中，所述电路在操作中沿着从图像块分割出的第二分区与具有非矩形形状的第一分区之间的边界来执行边界平滑操作，所述边界平滑操作包括：
使用所述第一分区的信息，对沿所述边界的所述第一分区的一组像素的第一值进行第一预测；
使用所述第二分区的信息，对沿所述边界的所述第一分区的所述一组像素的第二值进行第二预测；
对所述第一值和所述第二值进行加权；以及
使用经加权的第一值和经加权的第二值来对所述第一分区进行编码。


2.根据权利要求1所述的编码器，其中，所述非矩形形状是三角形。


3.根据权利要求1所述的编码器，其中，所述非矩形形状是从由三角形、梯形、和具有至少五个边和角的多边形组成的群组中选择的。


4.根据权利要求1所述的编码器，其中，所述第二分区具有非矩形形状。


5.根据权利要求1所述的编码器，其中，所述第一预测和所述第二预测中的至少一个是帧间预测过程，所述帧间预测过程基于经编码的参考图片中的参考分区来预测所述第一值和所述第二值。


6.根据权利要求5所述的编码器，其中，所述帧间预测过程预测包括所述一组像素的所述第一分区的像素的所述第一值，并且预测仅所述第一分区的所述一组像素的所述第二值。


7.根据权利要求1所述的编码器，其中，所述第一预测和所述第二预测中的至少一个是帧内预测过程，所述帧内预测过程基于当前图片中的经编码的参考分区来预测所述第一值和所述第二值。


8.根据权利要求1所述的编码器，其中，在所述第一预测中使用的预测方法与在所述第二预测中使用的预测方法不同。


9.根据权利要求1所述的编码器，其中，每行或每列中的针对其预测所述第一值和所述第二值的所述一组像素的数量是整数。


10.根据权利要求9所述的编码器，其中，当每行或每列中的所述一组像素的数量是四时，分别将权重1/8、1/4、3/4、和7/8应用于所述一组中的四个像素的所述第一值，并且分别将权重7/8、3/4、1/4和1/8应用于所述一组中的所述四个像素的所述第二值。


11.根据权利要求9所述的编码器，其中，当每行或每列中的所述一组像素的数量是二时，分别将权重1/3和2/3应用于所述一组中的两个像素的所述第一值，并且分别将权重2/3和1/3分别应用于所述一组中的所述两个像素的所述第二值。


12.根据权利要求1所述的编码器，其中，所述权重中的至少一些权重是整数值。


13.根据权利要求1所述的编码器，其中，所述权重中的至少一些权重是分数值。


14.一种图像编码器，包括：
分割器，其在操作中接收原始图片并且将所述原始图片分割成多个块，
加法器，其在操作中接收来自所述分割器的所述块以及来自预测控制器的预测，并且从其对应的块中减去每个预测以输出残差，
变换器，其在操作中对从所述加法器输出的所述残差执行变换以输出变换系数，
量化器，其在操作中对所述变换系数进行量化以生成经量化的变换系数，
熵编码器，其在操作中对所述经量化的变换系数进行编码以生成比特流，以及
所述预测控制器，其耦合至帧间预测器、帧内预测器、和存储器，其中，所述帧间预测器在操作中基于经编码的参考图片中的参考块来生成对当前块的预测，并且所述帧内预测器在操作中基于当前图片中的经编码的参考块来生成对当前块的预测，
其中，
所述预测控制器在操作中沿着从图像块分割出的第二分区与具有非矩形形状的第一分区之间的边界来执行边界平滑操作，所述边界平滑操作包括：
使用所述第一分区的信息，对沿所述边界的所述第一分区的一组像素的第一值进行第一预测；
使用所述第二分区的信息，对沿所述边界的所述第一分区的所述一组像素的第二值进行第二预测；
对所述第一值和所述第二值进行加权；以及
使用经加权的第一值和经加权的第二值来对所述第一分区进行编码。


15.根据权利要求14所述的编码器，其中，所述非矩形形状是三角形。


16.根据权利要求14所述的编码器，其中，所述第二分区具有非矩形形状。


17.一种图像编码方法，其沿着从图像块分割出的第二分区与具有非矩形形状的第一分区之间的边界来执行边界平滑操作，包括：
使用所述第一分区的信息，对沿所述边界的所述第一分区的一组像素的第一值进行第一预测；
使用所述第二分区的信息，对沿所述边界的所述第一分区的所述一组像素的第二值进行第二预测；
对所述第一值和所述第二值进行加权；以及
使用经加权的第一值和经加权的第二值来对所述第一分区进行编码。


18.根据权利要求17所述的方法，其中，所述非矩形...

【专利技术属性】
技术研发人员：安倍清史，西孝启，远间正真，加纳龙一，林宗顺，廖如伶，孙海威，S·P·沙石德卡，张汉文，李静雅，
申请(专利权)人：松下电器美国知识产权公司，
类型：发明
国别省市：美国;US