一种AV1视频帧内粗模式决策优化及硬件架构方法技术

本发明专利技术公开了一种AV1视频帧内粗模式决策优化及硬件架构方法，基于AV1对帧内模式决策优化，粗模式决策减少了计算时间，而计算复杂度上，将原来的61种决策情况分为两次进行，第一次选择13种模式进行；第二次选择6种模式进行决策；此外，不对矩形块的预测代价值做哈达玛变换，而是选择用基于4x4方块SATD值的叠加；在预测代价排序的选择上，选用双调排序，以适合发明专利技术所设计的并行架构；系统级优化方面，在每个方块处理流程上，采用流水线设计，缩小了硬件所需的面积资源，也加快了硬件实现的速度。度。度。

【技术实现步骤摘要】
一种AV1视频帧内粗模式决策优化及硬件架构方法


[0001]本专利技术属于图像处理及视频压缩
，具体涉及一种AV1视频帧内粗模式决策优化及硬件架构方法。

技术介绍

[0002]开放媒体联盟(AOMedia)(AV1)于2018年发布，是一款免版税和开源的视频编解码器。AV1由AOMedia开发，该公司由许多领先的科技公司组成。AV1的目标是处理超高清(UHD)8K(7680
×
4320像素)和4K视频(3840
×
2160像素)，并实现高编码效率，这导致与市场上的其他编解码器(如VP9，HEVC和H.264)相比复杂性增加。
[0003]视频编码过程中，编码器会将待编码的图像分割成编码树单元，然后逐个进行编码，AV1中将编码树单元(CTU)定义为Super Block(SB)，例如SB大小为64x64。帧内预测的目的是为每个SB确定最佳的块划分，以及为每个划分块确定最佳的模式，从而达到较好的压缩效果。因此需要对所有可能大小块的所有模式进形决策判断获取最优模式。而现有技术中，主要存在如下问题：
[0004](1)AV1的帧内模式决策情况繁多，所需决策时间较长；
[0005](2)AV1帧内模式决策硬件实现中并行度低，流水不完全，导致实现效率低；
[0006](3)AV1帧内模式决策中，预测代价排序计算复杂度高。

技术实现思路

[0007]为解决现有技术的不足，通过帧内预测决策的优化，节省了大量的计算复杂度，提高了视频编码效率，同时更有利于相关的硬件实现，大大减短了硬件实现时间，节省了硬件所需的资源和面积，本专利技术采用如下的技术方案：
[0008]一种视频帧内粗模式决策优化方法，包括如下步骤：
[0009]步骤S1：获取视频帧内不同大小的像素块；
[0010]步骤S2：对不同大小的像素块，进行帧内粗模式预测，帧内粗模式预测中，先基于一组帧内预测模式进行第一轮决策，并选出第一轮的若干最佳帧内预测模式；第二轮决策首先判断第一轮决策中是否存在方向帧内预测模式，若存在，则基于第一轮的若干最佳帧内预测模式及存在的方向帧内预测模式，选出第二轮的若干最佳帧内预测模式作为最终决策结果，否则，直接将第一轮决策所得的结果作为最终决策结果。
[0011]进一步地，所述步骤S2中，基于不同大小的像素块对应的帧内预测器，获得预测像素值，将预测值与原始像素值计算得出残差值，基于残差值得到SATD值，通过SATD值排序选出最佳的帧内预测模式。本专利技术不对矩形块的预测代价值做哈达玛变换，基于4x4方块SATD值的叠加。
[0012]进一步地，对所述SATD值进行双调排序，选出最佳的若干帧内预测模式作为最终决策结果，双调排序中是将n个SATD值的序列对半分，假设n＝2^k，然后将第1个和第n/2+1个SATD值比较，对于升序排列则将小的放上，对于降序排列则将大的放上，接下来2和n/2+2
比较，以此类推；对于形成的两个n/2长度的序列，因为他们都是双调序列，所以可以重复上面的过程，共重复k轮，即最后一轮已经是长度为2的序列的比较，最终得到排序结果。
[0013]双调排序是data
‑
independent数据无关的排序，即比较顺序与数据无关的排序方法，特别适合做并行计算，例如用GPU、fpga来计算。
[0014]一种视频帧内粗模式决策优化硬件架构方法，基于所述的一种视频帧内粗模式决策优化方法，对最佳帧内预测模式的选取，基于双调排序构建其对应的硬件框架，首先编写函数并构建函数间递归及调用关系，通过双调合并函数调用双调排序函数，进行大步骤排序，然后检测是否递归调用是否地轨道最后一步，若没有，则继续递归调用自身，并将最大次数加一，如此就有了log_2N次递归；在双调排序函数中，对输入的数组根据最大次数不同，分割成若干小数组，然后调用若干次比较函数进行排序；同样的，双调排序函数还存在依次从最大次数递归至1的递归调用关系；比较函数接收不定长的数据，并调用单元级比较函数进行两两排序，最后返回调用他的双调排序函数；最终双调合并函数执行到最后一步，输出最终排序数据；编写的函数执行被编译为门电路，函数调用关系为编译器编译时的执行顺序。
[0015]进一步地，所述双调排序在硬件实现上的流水设计与流水次数pipe_step相关联，pipe_step个双调排序函数相连，组成一级流水，双调排序函数共有个，N＝log
2 length，其中length表示待排序数组的长度，pipe_step为M的因数时，即每一级包含的排序单元数量相同时，每级流水时间均衡。
[0016]进一步地，RMD的系统级优化主要体现在流水级和并行度上，在对像素方块处理流程中，计算SATD值、累加SATD值和排序过程，采用流水线的设计，一方面节约了大量的面积资源，另一方面也缩短了实现时间；此外，同尺寸方块的不同模式间采用并行处理设计，既缩短了实现时间，又满足了各级流水所需的时序要求。
[0017]一种AV1视频帧内粗模式决策优化方法，基于所述的一种视频帧内粗模式决策优化方法，将视频帧的编码树单元定义为超级块，从构成每个超级块的不同像素块划分模式中，预测出最佳的块划分模式，帧内预测模式包括飞方向帧内预测模式和方向帧内预测模式，其中方向帧内预测模式能够细分为多种辅方向模式预测。
[0018]进一步地，所述非方向帧内预测模式包括DC模式、Paeth模式、Smooth模式、Smooth_vertical模式和Smooth_horizontal模式；
[0019]所述Paeth模式，通过从参考样本执行样本级复制来预测块，公式如下：
[0020]B＝(L+M
‑
A)
[0021]p
L
＝|B
‑
L|
[0022]p
A
＝|B
‑
A|
[0023]p
M
＝|B
‑
M|
[0024][0025]其中，L表示基于像素块垂直方向的参考样本像素值，A表示基于像素块水平方向的参考样本像素值，M表示基于像素块单个参考样本的像素值，B为基值，表示三个参考样本
像素值中的最低值，p
L
、p
A
、p
M
分别为中间变量，Lmin(p
L
,p
A
,p
M
)＝p
L
表示p
L
是p
L
、p
A
、p
M
中的最小值，Amin(p
L
,p
A
,p
M
)＝p
A
表示p
A
是p
L
、p
A
、p
M
中的最小值，Mmin(p
L
,p
A
,p...

【技术保护点】

【技术特征摘要】
1.一种视频帧内粗模式决策优化方法，其特征在于包括如下步骤：步骤S1：获取视频帧内不同大小的像素块；步骤S2：对不同大小的像素块，进行帧内粗模式预测，帧内粗模式预测中，先基于一组帧内预测模式进行第一轮决策，并选出第一轮的若干最佳帧内预测模式；第二轮决策首先判断第一轮决策中是否存在方向帧内预测模式，若存在，则基于第一轮的若干最佳帧内预测模式及存在的方向帧内预测模式，选出第二轮的若干最佳帧内预测模式作为最终决策结果，否则，直接将第一轮决策所得的结果作为最终决策结果。2.根据权利要求1所述的一种视频帧内粗模式决策优化方法，其特征在于：所述步骤S2中，基于不同大小的像素块对应的帧内预测器，获得预测像素值，将预测值与原始像素值计算得出残差值，基于残差值得到SATD值，通过SATD值排序选出最佳的帧内预测模式。3.根据权利要求2所述的一种视频帧内粗模式决策优化方法，其特征在于：对所述SATD值进行双调排序，选出最佳的若干帧内预测模式作为最终决策结果，双调排序中是将n个SATD值的序列对半分，假设n＝2^k，然后将第1个和第n/2+1个SATD值比较，对于升序排列则将小的放上，对于降序排列则将大的放上，接下来2和n/2+2比较，以此类推；对于形成的两个n/2长度的序列，重复上面的过程，共重复k轮，即最后一轮已经是长度为2的序列的比较，最终得到排序结果。4.一种视频帧内粗模式决策优化硬件架构方法，其特征在于：基于权利要求1所述的一种视频帧内粗模式决策优化方法，对最佳帧内预测模式的选取，基于双调排序构建其对应的硬件框架，首先编写函数并构建函数间递归及调用关系，通过双调合并函数调用双调排序函数，进行大步骤排序，然后检测是否递归调用是否地轨道最后一步，若没有，则继续递归调用自身，并将最大次数加一；在双调排序函数中，对输入的数组根据最大次数不同，分割成若干小数组，然后调用若干次比较函数进行排序；同样的，双调排序函数还存在依次从最大次数递归至1的递归调用关系；比较函数接收不定长的数据，并调用单元级比较函数进行两两排序，最后返回调用他的双调排序函数；最终双调合并函数执行到最后一步，输出最终排序数据；编写的函数执行被编译为门电路，函数调用关系为编译器编译时的执行顺序。5.根据权利要求4所述的一种视频帧内粗模式决策优化硬件架构方法，其特征在于：所述双调排序在硬件实现上的流水设计与流水次数pipe_step相关联，pipe_step个双调排序函数相连，组成一级流水，双调排序函数共有个，N＝log2length，其中length表示待排序数组的长度，pipe_step为M的因数时，即每一级包含的排序单元数量相同时，每级流水时间均衡。6.根据权利要求4所述的一种视频帧内粗模式决策优化硬件架构方法，其特征在于：在对像素方块处理流程中，计算SATD值、累加SATD值和排序过程，采用流水线的设计；此外，同尺寸方块的不同模式间采用并行处理设计。7.一种AV1视频帧内粗模式决策优化方法，其特征在于：基于权利要求1所述的一种视频帧内粗模式决策优化方法，将视频帧的编码树单元定义为超级块，从构成每个超级块的不同像素块划分模式中，预测出最佳的块划分模式，帧内预测模式包括飞方向帧内预测模式和方向帧内预测模式，其中方向帧内预测模式能够细分为多种辅方向模式预测。8.根据权利要求7所述的一种AV1视频帧内粗模式决策优化方法，其特征在于：所述非
方向帧内预测模式包括DC模式、Paeth模式、Smooth模式、Smooth_vertical模式和Smooth_horizontal模式；所述Paeth模式，通过从参考样本执行样本级复制来预测块，公式如下：B＝(L+M
‑
A)p
L
＝|B
‑
L|p
A
＝|B
‑
A|p
M
＝|B
‑
M|其中，L...

【专利技术属性】
技术研发人员：黄晓峰，陈恒，唐然，周洋，陆宇，殷海兵，崔燕，林崇责，
申请(专利权)人：浙江省经济信息中心浙江省价格研究所，
类型：发明
国别省市：