使用两级帧内搜索对视频进行编码制造技术

本公开涉及使用两级帧内搜索对视频进行编码。一种示例系统包括处理器，该处理器用于对视频帧执行帧内搜索第一级，以生成帧内候选。处理器将对帧内候选执行帧内搜索第二级，以生成最终帧内候选和残差。处理器还执行最终模式决策，以及基于最终帧内候选和残差来生成重构的像素。

【技术实现步骤摘要】
使用两级帧内搜索对视频进行编码
本公开大体涉及图像处理领域，更具体地，涉及使用两级帧内搜索(intrasearch)对视频进行编码。
技术介绍
可以将视频流编码成各种视频压缩格式，或者可以改变该流的特性。视频流的特性包括但不限于视频流的分辨率和比特率。当为在设备或计算设备的组件之间的传输而准备视频流时，也可以使用编码。
技术实现思路
本公开的一些方面提供了一种用于视频编码的装置。该装置包括：编码器，该编码器包括：帧内第一级，用于对视频帧执行帧内搜索第一级以生成帧内候选；和帧内第二级，用于对帧内候选执行帧内搜索第二级，以生成最终的帧内候选和残差；以及检查和细化执行器，用于执行最终模式决策，并基于最终的帧内候选和残差生成重构的像素。附图说明图1是示出用于使用两级帧内搜索对视频进行编码的示例系统的框图；图2是示出用于使用两级帧内搜索对视频进行编码的示例管线的框图；图3是示出用于使用统一的多编解码器速率失真估计对视频进行编码的示例系统的框图；图4是用于使用两级帧内搜索对视频进行编码的示例方法的过程流程图；图5是示出用于执行两级帧内搜索级的示例方法的过程流程图；图6是用于使用统一的速率失真估计来执行矩阵乘法的示例方法的过程流程图；图7是示出实现具有两级帧内搜索的硬件视频编码的示例电子设备的框图；并且图8是示出示例介质的框图，该介质包含用于使用两级帧内搜索的硬件视频编码的逻辑。在整个公开和附图中使用相同的数字来引用相似的组件和特征。100系列中的数字指的是最初在图1中找到的特征；200系列中的数字指的是最初在图2中找到的特征；以此类推。具体实施方式一些用于对视频进行编码的系统可采用运行内核程序的多个可编程引擎，这些内核程序使用硬件协处理器。此外，还可使用基于硬件的高级视频编码(AVC)类编码器或高效视频编码(HEVC)类编码器对视频进行编码。例如，AVC类编码器可根据2003年5月发布的ISO/IEC14496-10–MPEG-4第10部分，高级视频编码规范(AdvancedVideoCodingSpecification)对视频进行编码。HEVC类编码器可根据在2016年12月22日被批准为ITU-T标准的HEVC/H.265第4版规范对视频进行编码。可在膝上型计算机、移动电话和云中使用实时和低功率硬件编码器。然而，随着编码器发展并提高压缩效率和质量，出现了对于保持高性能的挑战。此外，随着新编解码器的数量增加和当前编解码器持续使用，实现质量和性能目标可具有硅面积约束。此外，速率失真估计提供了对编码误差的更准确估计，但是利用了离散余弦变换(DCT)，DCT要高速运行通常是非常昂贵的。此外，每个编解码器可具有更改每个编解码器的设计的不同类型的DCT。本技术包括用于改善硬件视频编码器的性能、质量和可扩展性的技术。在实施例中，本技术改进了编码器，该编码器没有执行编码器算法的主循环(即所谓的固定功能编码)的可编程引擎。固定功能编码可用于例如电话、平板、计算机、相机、汽车、游戏系统等中，以出于多种原因执行用于像素的实时压缩的许多编码任务。本技术包括但不限于下面的算法和技术。首先，提供了具有两级的分割帧内搜索。帧内搜索包括帧内第一级，其是没有反馈的开环。帧内第二级是具有反馈的闭环，其实现用于馈送变量的粗搜索。其次，还提供了包括细粒度增强的技术，这些细粒度增强利用候选的交织来快速计算变换单元(TU)的速率失真估计(RDE)成本。候选是给定块的潜在编码。最后，提供了用于归纳RDE级以支持多个编解码器并实现质量、面积和性能的改进折衷的技术。本文描述的技术因此使得能够使用对屏幕内容进行高效编码的硬件来实现高效视频编码(HEVC)类的视频编码。例如，本文描述的技术可用来根据2015年5月发布的第二版HEVC标准或2016年3月31日发布的0.6版VP9比特流和解码过程规范对视频进行编码。先前的标准将“宏块”看作静态大小的元素，而在更新的树递归编解码器中，编码器可以根据针对最高视觉质量最终产生最低比特成本的许多因素来评估何时应当将像素块分成更精细的“编码单元(CU)”或使其变为更大的CU。此外，先前的标准使用统一的预测类型(诸如帧间或帧内预测类型)和统一的变换大小(诸如8×8或4×4)来处理每个宏块，而高效标准基于编码器决策过程而允许预测类型的混合和变换大小的混合。相比之下，本技术的编码单元是动态确定大小的，并且可包括不同预测类型的任意组合。因此，具有屏幕内容改进的HEVC类编码的速率失真优化可用于实现与包括基于软件或硬件的编码器的AVC类编码器以及HEVC类编码器相比的显著压缩增益。与基于软件的解决方案相比，这样的硬件实现可提供更好的功率和性能。这些技术因此在诸如移动设备之类的具有有限处理能力的设备上实现实时HD和4K编码。另外，这些技术可以使用单个引擎提供与多个基于递归的编解码器和多种格式的兼容性。最后，在保持实时性能的同时提高压缩效率以更高质量的视频编码来改善许多最终用户可见的改进。本技术的潜在使用包括视频会议、视频游戏流送、远程托管的桌面访问、屏幕记录等。此外，这些使用超越了编解码器标准，所有视频标准都希望跨最大数量的使用模型的最高质量的体验。这些技术直接提高了解决方案的质量，同时保持较高的性能，而没有显著的硅面积或功率成本。在下面的描述和权利要求中，可以使用术语“耦合”和“连接”及其派生词。应该理解的是，这些术语不旨在作为彼此的同义词。而是，在特定实施例中，“连接”可用于指示两个或更多个元素彼此直接物理接触或电接触。“耦合”可表示两个或更多个元素直接物理接触或电接触。然而，“耦合”也可表示两个或更多个元素彼此不直接接触，但仍彼此协作或交互。一些实施例可以以硬件、固件和软件中的一者或组合来实现。一些实施例还可被实现为存储在机器可读介质上的指令，这些指令可被计算平台读取和执行以执行本文描述的操作。机器可读介质可包括用于以机器(例如，计算机)可读的形式存储或传输信息的任何机制。例如，机器可读介质可包括：只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质；光存储介质；闪存设备；或者电、光、声或其他形式的传播信号，例如，载波、红外信号、数字信号，或者发送和/或接收信号的接口，等等。实施例是实现方式或示例。说明书中对“实施例”、“一个实施例”、“一些实施例”、“各种实施例”或“其他实施例”的引用表示结合这些实施例描述的特定特征、结构或特性被包括在本专利技术的至少一些实施例但不一定是所有实施例中。“实施例”、“一个实施例”或“一些实施例”的各种出现不一定都指相同的实施例。图1是示出用于使用两级帧内搜索的硬件视频编码的示例系统的框图。可以在下面的图7的电子设备700中实现示例系统100。例如，可以使用电子设备700的编码器728和微控制器752来实现系统100。系统100包括存储器/缓存接口102，存储器/缓存接口102通信地耦合到命令流送器(CS)104、微控制器106、共享的L2本文档来自技高网...

【技术保护点】
1.一种用于视频编码的装置，包括：/n编码器，该编码器包括：/n帧内第一级，用于对视频帧执行帧内搜索第一级以生成帧内候选；和/n帧内第二级，用于对所述帧内候选执行帧内搜索第二级，以生成最终的帧内候选和残差；以及/n检查和细化执行器，用于执行最终模式决策，并基于所述最终的帧内候选和所述残差生成重构的像素。/n

【技术特征摘要】
20190613 US 16/440,1591.一种用于视频编码的装置，包括：
编码器，该编码器包括：
帧内第一级，用于对视频帧执行帧内搜索第一级以生成帧内候选；和
帧内第二级，用于对所述帧内候选执行帧内搜索第二级，以生成最终的帧内候选和残差；以及
检查和细化执行器，用于执行最终模式决策，并基于所述最终的帧内候选和所述残差生成重构的像素。


2.如权利要求1所述的装置，包括硬件比特打包器(PAK)，用于将根据最终模式决策进行编码的比特打包。


3.如权利要求1所述的装置，其中，所述编码器将使用来自前一最终模式决策的部分重构的像素来执行所述帧内第一级。


4.如权利要求1所述的装置，其中，所述编码器使用相邻块的部分重构的像素或该相邻块的完全重构的像素来执行所述帧内第二级。


5.如权利要求1所述的装置，其中，所述编码器限制要搜索的4×4变换单元的数量。


6.如权利要求1到5的任何组合所述的装置，其中，所述编码器基于块索引来约束对4×4预测单元的内角支持。


7.如权利要求1到5的任何组合所述的装置，其中，所述编码器使用与在所述帧内搜索第二级中使用的编解码器不同的编解码器的预测类型来执行所述帧内搜索第一级。


8.如权利要求1到5的任何组合所述的装置，其中，所述编码器在所述帧内搜索第一级中识别出的预测单元候选和编码单元内的预测单元候选之间交织帧内候选排序，以交织较小的变换单元。


9.如权利要求1到5的任何组合所述的装置，其中，所述编码器使用与检测到的编解码器相关联的一组系数基于该编解码器来执行可变变换，并使用来自编解码器查找表的语法结构来估计比特成本。


10.如权利要求1到5的任何组合所述的装置，其中，所述编码器针对水平变换和垂直变换使用同一组乘法器来执行可变变换吞吐量。


11.一种用于硬件视频编码的方法，包括：
执行帧内搜索第一级以生成帧内候选；
使用所述帧内候选来执行帧内搜索第二级，以生成最终的帧内候选；并且
执行最终模式决策以及生成重构的像素。


12.如权利要求11所述的方法，其中，执行所述帧内搜索第一级包括：使用相邻块的源像素。
<...

【专利技术属性】
技术研发人员：詹姆斯·M·霍兰德，斯里尼瓦桑·恩巴·拉古克里希南，雷志军，德米特里·E·雷若夫，徐理东，萨蒂亚·N·耶迪迪，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US