用于视频编码的分割和模式决策的生成制造技术

本公开涉及用于视频编码的分割和模式决策的生成。讨论了涉及基于检测特征的编码的特征和修改的检测，以提高数据利用效率的技术。这些技术包括基于以下各项中的一项或多项使用单个块的检测特征或指示符生成针对该块的分割决策并生成针对该个体块的分区的编码模式决策：针对分区生成亮度和色度评估决策或仅亮度评估决策，针对具有初始合并模式决策的分区生成合并或跳过模式决策，仅生成针对分区的变换系数块的一部分，以及仅针对作为8x8初始编码分区的分区中的任意分区评估4x4分区。

Segmentation for video coding and generation of pattern decision

【技术实现步骤摘要】
用于视频编码的分割和模式决策的生成
本申请涉及视频编码的领域，并且更具体地涉及用于视频编码的分割和模式决策的区域自适应数据高效生成。
技术介绍
在压缩/解压缩(编解码器)系统中，压缩效率、数据利用效率、以及视频质量是重要的性能指标。视觉质量是很多视频应用中的用户体验的重要方面，并且受数据利用效率影响的压缩效率会影响存储视频文件所需的存储装置的量和/或发送和/或接收流视频内容所需的带宽的量。例如，视频编码器对视频信息进行压缩，使得更多信息可以在给定带宽上发送或者被存储在给定存储器空间等中。经压缩的信号或数据随后可以由解码器解码，该解码器对用于显示给用户的信号或数据进行解码或解压缩。在大多数实施方式中，期望更高的视觉质量和更大的压缩。另外，编码速度和效率是视频编码的重要方面。在保持甚至提高视频质量的同时提高数据利用效率并通过数据利用效率来提高压缩率是有利的。针对需要改善的这些和其他考虑。当压缩并发送视频数据的需要变得更加普遍时，这些改善可能变得很关键。
技术实现思路
根据本申请的一方面，提供了一种计算机实现的视频编码方法，包括：接收用于编码的输入视频，该输入视频包括多个图片，该多个图片中的第一图片包括包含个体块(individualblock)的区域，其中，个体块包括多个分区；向该多个分区中的一个或多个分区、区域、或个体块中的至少一者应用一个或多个检测器，以生成一个或多个检测指示符；基于以下各项中的至少一项，使用检测指示符生成针对个体块的分割决策并针对个体块的对应于分割决策的分区生成编码模式决策：针对分区中的第一分区生成亮度和色度评估决策或仅亮度评估决策，针对分区中具有初始合并模式决策的第二分区生成合并或跳过模式决策，针对分区中的第三分区仅生成变换系数块的一部分，或者仅针对分区中作为8x8初始编码分区的第四分区评估4x4模式；以及至少基于分割决策对个体块进行编码，以生成输出比特流的一部分。根据本申请的另一方面，提供了一种视频编码系统，包括：存储用于编码的输入视频的存储器，该输入视频包括多个图片，该多个图片中的第一图片包括包含个体块的区域，其中，个体块包括多个分区；以及耦合到存储器的一个或多个处理器，该一个或多个处理器用于：向多个分区中的一个或多个分区、区域、或个体块中的至少一者应用一个或多个检测器，以生成一个或多个检测指示符；基于一个或多个处理器执行的以下处理中的至少一者，使用检测指示符生成针对个体块的分割决策并针对个体块的对应于分割决策的分区生成编码模式决策：针对分区中的第一分区生成亮度和色度评估决策或仅亮度评估决策，针对分区中具有初始合并模式决策的第二分区生成合并或跳过模式决策，针对分区中的第三分区仅生成变换系数块的一部分，或者仅针对分区中作为8x8初始编码分区的第四分区评估4x4模式；以及至少基于分割决策对个体块进行编码，以生成输出比特流的一部分。根据本申请的另一方面，提供了至少一个机器可读介质，包括：多个指令，该多个指令响应于在计算设备上被执行而使得计算设备执行前述视频编码方法。根据本申请的另一方面，提供了一种设备，包括用于执行前述视频编码方法的装置。附图说明在附图中，通过示例而非限制地示出了本文中描述的材料。为了说明简单和清楚，图中示出的元件不一定是按比例描画的。例如，为了清楚，相比其他元件放大了一些元件的尺寸。另外，在适当的情况下，参考标号在附图中重复，以指示对应或类似元件。在幅图中：图1是用于提供视频编码的示例系统的说明性示意图；图2示出了示例群组的图片；图3示出了示例视频图片；图4是用于提供LCU分区和帧内/帧间模式数据的示例分割和模式决策模块的说明性示意图；图5是用于生成比特流的示例编码器的说明性示图；图6示出了示例集成编码系统的框图；图7是示出在分割和编码模式决策中选择性地使用色度信息的示例处理的流程图；图8是示出针对具有初始合并模式决策的分区生成合并或跳过模式决策的示例处理的流程图；图9是示出通过针对某个块的分区仅生成变换系数块的一部分来确定针对该块的分割决策和编码模式决策的示例处理的流程图；图10示出了对应于示例部分变换的示例数据结构；图11示出了对应于另一示例部分变换的示例数据结构；图12是示出基于某个块的分区是否在视觉重要范围中，通过针对该分区仅生成变换系数块的一部分来确定针对该块的分割决策和编码模式决策的示例处理的流程图；图13是示出基于某个块中的边缘检测，通过针对该块的分区仅生成变换系数块的一部分来确定针对该块的分割决策和编码模式决策的示例处理的流程图；图14是示出用于在视频编码中选择性地评估4x4分区的示例处理的流程图；图15是示例平坦有噪声区域检测器的说明性示意图；图16是示出用于视频编码的示例处理的流程图；图17是用于视频编码的示例系统的说明性示意图；图18是示例系统的说明性示意图；以及图19示出了完全根据本公开的至少一些实施方式布置的示例设备。具体实施方式现在参考附图描述一个或多个实施例或实施方式。尽管讨论了具体配置和布置，但是应该理解的是这只是出于说明性的目的。相关领域技术人员将认识到，可以在不偏离本说明书的精神和范围的条件下采用其他配置和布置。对于相关领域技术人员显而易见的是，本文中描述的技术和/或布置也可以用在不同于本文描述的各种其他系统和应用中。尽管下面的描述给出了可以体现在例如片上系统(SoC)架构的架构中的各种实施方式，但是本文中描述的技术和/或布置的实施方式不限于特定架构和/或计算系统并且可以由用于类似目的的任意架构和/或计算系统实现。例如，采用例如多个集成电路(IC)芯片和/或封装的各种架构、和/或各种计算设备和/或消费电子(CE)设备(例如，机顶盒、智能电话等)可以实现本文中描述的技术和/或布置。另外，尽管下面的描述可以给出多个具体细节，例如，系统组件的逻辑实现、类型、和相互关系、逻辑划分/集成选择等，但是请求保护的主题可以在没有这些具体细节的条件下实施。在其他实例中，诸如控制结构和完全的软件指令序列的一些内容可以不详细示出，以避免模糊本文公开的内容。本文中公开的材料可以实现在硬件、固件、软件、或者它们的任意组合中。本文中公开的材料还可以实现为机器可读介质上存储的指令，这些指令可以被一个或多个处理器读取并执行。机器可读介质可以包括用于存储或发送机器(例如，计算设备)可读形式的信息的任意介质和/或机构。例如，机器可读介质可以包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存设备、电、光、声或其他形式的传播信号(例如，载波、红外信号、数字信号等)。说明书中对“一个实施方式”、“实施方式”、“示例实施方式”等的引用指示所描述的实施方式可以包括特定特征、结构、或特性，但是并不一定每个实施例都包括该特定特征、结构、或特性。另外，这些短语并不一定指代同一种实施方式。另外，当结合实施例描述特定特征、结构、或特性时，应该认为本领域技术人员知道可以结合其他实施方式来产生这样的特征、结构、或特性，而不管本文中是否明确描述。本文中描述了涉及视频编码，尤其涉及实现视频特性的检测器以修改视频编码从而提高效率的方法、设备、装置、计算平台、和物品。本文讨论的技术通过基于图片区域的检测特征修改编码操作，来提高数据利用效率。如本文中所使用的本文档来自技高网...

【技术保护点】
1.一种计算机实现的视频编码方法，包括：接收用于编码的输入视频，该输入视频包括多个图片，该多个图片中的第一图片包括包含个体块的区域，其中，所述个体块包括多个分区；向所述多个分区中的一个或多个分区、所述区域、或所述个体块中的至少一者应用一个或多个检测器，以生成一个或多个检测指示符；基于以下各项中的至少一项，使用所述检测指示符生成针对所述个体块的分割决策并针对所述个体块的对应于所述分割决策的分区生成编码模式决策：针对所述分区中的第一分区生成亮度和色度评估决策或仅亮度评估决策，针对所述分区中具有初始合并模式决策的第二分区生成合并或跳过模式决策，针对所述分区中的第三分区仅生成变换系数块的一部分，或者仅针对所述分区中作为8x8初始编码分区的第四分区评估4x4模式；以及至少基于所述分割决策对所述个体块进行编码，以生成输出比特流的一部分。

【技术特征摘要】
2017.12.28 US 15/856,6911.一种计算机实现的视频编码方法，包括：接收用于编码的输入视频，该输入视频包括多个图片，该多个图片中的第一图片包括包含个体块的区域，其中，所述个体块包括多个分区；向所述多个分区中的一个或多个分区、所述区域、或所述个体块中的至少一者应用一个或多个检测器，以生成一个或多个检测指示符；基于以下各项中的至少一项，使用所述检测指示符生成针对所述个体块的分割决策并针对所述个体块的对应于所述分割决策的分区生成编码模式决策：针对所述分区中的第一分区生成亮度和色度评估决策或仅亮度评估决策，针对所述分区中具有初始合并模式决策的第二分区生成合并或跳过模式决策，针对所述分区中的第三分区仅生成变换系数块的一部分，或者仅针对所述分区中作为8x8初始编码分区的第四分区评估4x4模式；以及至少基于所述分割决策对所述个体块进行编码，以生成输出比特流的一部分。2.如权利要求1所述的方法，其中，所述检测指示符包括关于所述第一分区的亮度平均值是否超过第一阈值、所述第一分区的第一色度通道平均值是否超过第二阈值、以及所述第一分区的第二色度通道平均值是否超过第三阈值的指示符，并且生成所述分割决策和编码模式决策包括：在所述亮度平均值没有超过所述第一阈值、所述第一色度通道平均值没有超过所述第二阈值、并且所述第二色度通道平均值没有超过所述第三阈值时，通过对所述第一分区应用仅亮度评估决策来针对所述第一分区生成所述亮度和色度评估决策或仅亮度评估决策。3.如权利要求1所述的方法，其中，所述检测指示符包括关于所述第一分区的亮度平均值是否超过第一阈值、所述第一分区的第一色度通道平均值是否超过第二阈值、所述第一分区的第二色度通道平均值是否超过第三阈值、所述第一分区是否包括边缘、以及所述第一分区是否在未覆盖范围内的指示符，并且生成所述分割决策和编码模式决策包括：响应于所述亮度平均值、所述第一色度通道平均值、或所述第二色度通道平均值中的任意一者超过它们各自的阈值、以及所述第一分区包括边缘或者在未覆盖范围内，通过针对所述第一分区应用亮度和色度评估决策来针对所述第一分区生成所述亮度和色度评估决策或仅亮度评估决策。4.如权利要求1所述的方法，其中，所述图片包括I切片，该I切片包括所述第一分区，并且生成所述分割决策和编码模式决策包括：响应于所述第一分区处于所述I切片中，通过指示针对所述第一分区仅使用亮度来针对所述图片的每个分区生成所述亮度和色度评估决策或仅亮度评估决策。5.如权利要求1所述的方法，其中，所述多个图片包括基层图片和非基层图片，使得基层图片是非基层图片的参考图片，而非基层图片不是基层图片的参考图片，所述图片是包括B切片的基层图片，所述B切片包括所述第一分区，并且生成所述分割决策和编码模式决策包括：响应于所述第一分区在所述基层B切片中，通过指示针对所述第一分区使用亮度和色度来针对所述图片的每个分区生成所述亮度和色度评估决策或仅亮度评估决策。6.如权利要求1所述的方法，其中，所述多个图片包括基层图片和非基层图片，使得基层图片是非基层图片的参考图片，而非基层图片不是基层图片的参考图片，所述图片是包括B切片的非基层图片，所述B切片包括所述第一分区，并且生成所述分割决策和编码模式决策包括：响应于所述第一分区在所述非基层B切片中并且所述分区具有初始合并模式决策，通过指示仅针对所述第一分区使用亮度和色度以在合并模式和跳过模式之间选择，来针对所述图片的每个分区生成所述亮度和色度评估决策或仅亮度评估决策。7.如权利要求1所述的方法，其中，所述检测指示符包括针对所述第二分区的初始跳过模式编码代价和初始合并模式编码代价之间的差值的大小是否超过阈值的判定，并且生成所述分割决策和编码模式决策包括：通过在所述差值的大小超过所述阈值时针对所述第二分区选择跳过模式编码或合并模式编码以生成最终跳过或合并模式决策、或者在所述差值的大小没有超过所述阈值时将跳过模式编码或合并模式编码的选择推迟到完全编码过程合并模式或跳过模式决策，来生成所述合并或跳过模式决策。8.如权利要求1所述的方法，其中，生成所述分割决策和编码模式决策包括通过以下处理针对所述个体块的所述第三分区评估编码模式来生成所述编码模式决策：对所述第三分区和对应于所述编码模式的预测分区进行差分，以生成剩余分区；基于所述剩余分区通过以下处理生成变换系数块：对所述剩余分区执行部分变换，以生成所述变换系数块的一部分的变换系数，其中，所述部分中的变换系数的数目小于所述剩余分区的值的数目；以及将所述变换系数块的其余变换系数设置为零；对所述变换系数块进行量化，以生成经量化的变换系数；对经量化的变换系数进行反向量化；以及基于经反向量化的变换系数生成对应于所述预测分区的失真度量。9.如权利要求1所述的方法，其中，所述检测指示符包括关于所述区域、所述个体块、或所述第三分区是否视觉重要的指示符，并且生成所述分割决策和编码模式决策包括：在所述区域、所述个体块、或所述第三分区视觉重要时通过生成具有第一数目个可用变换系数的第一变换系数块或者在所述区域、所述个体块、或所述第三分区不是视觉重要的时通过生成具有第二数目个可用变换系数的第二变换系数块，来仅生成所述变换系数块的所述一部分，其中所述第二数目小于所述第一数目。10.如权利要求1所述的方法，其中，生成所述分割决策包括确定针对所述个体块的初始分割决策，该初始分割决策评估所述个体块的8x8候选分区的最小候选分区，所述初始分割决策将所述个体块分割为所述第四分区和一个或多个其他分区，并且生成所述分割...

【专利技术属性】
技术研发人员：纳德·马赫迪，切奇博·努拉，哈森·格尔玛兹，法齐·科斯滕尼，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国,US