一种编码胶片颗粒的方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术公开了一种编码胶片颗粒的方法、装置、电子设备和存储介质，所述方法包括：通过重建编码单元，根据重建编码单元后原始编码单元与重建编码单元的像素域失真和主观失真来计算编码代价；然后根据编码代价来选择预测编码模式。本发明专利技术实现了在保留胶片颗粒的情况下进行编码，同时避免了用传统方法重建胶片颗粒会出现的胶片颗粒不够均匀，不同帧的清晰度不一致等问题。致等问题。致等问题。

【技术实现步骤摘要】
一种编码胶片颗粒的方法、装置、电子设备和存储介质


[0001]本专利技术涉及图像处理
，具体涉及一种编码胶片颗粒的方法、装置、电子设备和存储介质。

技术介绍

[0002]传统的胶片颗粒是在电影图像显影过程中形成的。胶片颗粒虽然是一种随机噪声，但是它的存在却可以使视频内容更加真实自然。特别是在电影行业中，对于控制颗粒纹理存在艺术的需求，颗粒感被认为是电影创作过程和意图的一部分，适度的颗粒纹理可以帮助提高主观感受，还可以用以掩蔽由压缩产生的编码伪影。然而，随着数码相机的广泛使用，由于成像原理不同，数字图像视频不存在胶片颗粒。观众在观看没有胶片颗粒的图像视频时，会产生一种感觉，尽管呈现的画面是清晰的，但是它似乎缺少真实感。因此，为了使呈现的内容拥有质感，内容生产者会希望保存图像视频中原有的胶片颗粒，甚至会主动在图像视频内容中添加胶片颗粒来营造独特的影院特性。
[0003]然而，胶片颗粒本质上还是属于高频噪声，且具有不同于其他类型噪声的时域随机性，其分布和大小都不规则。这种随机性使得传统编码技术难以对其进行有效压缩，同时预测也变得非常困难，运动估计的精度也会降低。因此胶片颗粒在目前的视频编码标准中不能被很好的保留。图像视频在编码过程中都会对原始的图像视频进行滤波和有损压缩处理，编码器会将胶片颗粒此类高频信号作为噪声进行抑制并在解码时无法重建。如果通过对图像视频进行无损压缩来保留胶片颗粒，将耗费巨大的码流，在实际应用中缺乏实用性。
[0004]目前解决胶片颗粒编码的方法是先把胶片颗粒去除，然后对去除胶片颗粒的视频进行编码，同时对胶片颗粒进行建模，最后在解码过程中通过建模参数重新合成胶片颗粒。新一代编码标准AV1首次把胶片颗粒的处理工具写入了标准，其工作原理也是先通过去噪处理将胶片颗粒去除，并估计出胶片颗粒参数，这些参数将随压缩视频流一起发送至解码器。解码后，再将胶片颗粒合成并添加到重建的视频帧中。但是这样处理会存在重建的胶片颗粒不够均匀，不同帧的清晰度不一致的问题，特别是在处理已被压缩过的视频时，很难再次重建胶片颗粒。如果可以直接对胶片颗粒进行保留压缩，就可以极大地避免上述问题。又由于胶片颗粒的随机性，胶片颗粒的直接保留压缩对图像视频压缩算法提出了挑战。

技术实现思路

[0005]由于现有方法存在上述问题，本专利技术实施例提出一种编码胶片颗粒的方法、装置、电子设备及存储介质。
[0006]具体地，本专利技术实施例提供了以下技术方案：第一方面，本专利技术实施例提供了一种编码胶片颗粒的方法，包括：对当前原始编码单元遍历编码预测模式，得到当前重建编码单元。
[0007]计算所述当前原始编码单元与所述当前重建编码单元的像素域失真和主观失真。
[0008]根据所述像素域失真和所述主观失真计算当前编码单元的编码代价。
[0009]根据所述编码代价，选择编码代价最小时对应的编码预测模式进行编码。
[0010]第二方面，本专利技术实施例提供了一种编码胶片颗粒的装置，包括：编码模块，用于对当前原始编码单元遍历编码预测模式，得到当前重建编码单元。
[0011]第一计算模块，用于计算所述当前原始编码单元与所述当前重建编码单元的像素域失真和主观失真。
[0012]第二计算模块，用于根据所述像素域失真和所述主观失真计算当前编码单元的编码代价。
[0013]模式选择模块，用于根据所述编码代价，选择编码代价最小时对应的编码预测模式进行编码。
[0014]第三方面，本专利技术实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的编码胶片颗粒的方法。
[0015]第四方面，本专利技术实施例还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的编码胶片颗粒的方法。
[0016]由以上技术方案可知，本申请实现了在保留胶片颗粒的情况下进行编码，同时避免了用传统方法重建胶片颗粒会出现的胶片颗粒不够均匀，不同帧的清晰度不一致等问题。
附图说明
[0017]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。
[0018]图1是HEVC视频编码标准中一种CTU划分CU的示例图。
[0019]图2是HEVC视频编码标准中一种CU划分为PU和TU的示例图。
[0020]图3是本专利技术一实施例提供的胶片颗粒的编码方法的流程示意图。
[0021]图4是H.265/HEVC预测模式示意图。
[0022]图5是本专利技术一实施例提供的胶片颗粒的编码装置的结构示意图。
[0023]图6是本专利技术一实施例提供的电子设备的结构示意图。
具体实施方式
[0024]下面结合附图，对本专利技术的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。
[0025]为了更好地理解以下实施例，先对基本概念进行说明。
[0026]视频是由图像序列组成。视频帧即为视频中的图像序列，视频中的每一张图像可以视为一帧。当前视频帧即当前需要进行编码的视频帧。目前主流的视频编码标准通常都采用混合编码框架，包括H.264/AVC、H.265/HEVC在视频编码过程中，会对当前视频帧进行划块编码，以H.265/HEVC为例，如图1所示，在H.265/HEVC中块划分方式是采用四叉树划分方式，将视频中的视频帧划分为编码树单元(Coding Tree Unit，CTU)，编码树的尺寸普遍
被设置为64
×
64，每一个CTU又可以进一步均匀划分成4个编码单元（Coding Unit，CU），一个CU又可以递归按四叉树结构划分为4个小CU。如图2所示，每个CU可以包含一个或多个不同大小的预测单元（Prediction Unit，PU），进一步每个PU又可以包含若干个变换单元（Transform Unit，TU），对TU进行量化处理时，一般是将TU分为多个系数组（Coefficient Group, CG），针对每个CG，即量化单元执行量化处理。
[0027]对图像进行变换是将空域信号变换到频域信号，有效地去除了信号的相关性，并使大部分能量集中到低频区域。常用的变换方法例如DCT变换、DST变换、Hadmard变换等。变换将矩阵的能量压缩到第一个元素中，被称为直流（DC）系数。其余的系数被称为交流（AC）系数。变换后，变换系数能量主要集中在左上区域。该区域中的系数非常显著，往往集中了人眼敏感的图像信息。对变换系数进行量化后，左上区域的量化系数显著，而右下角区域的量化系数大部分都为零。量化是视频/图像压缩产生失真的根源之一，量化系数为零的部分往往是被压缩了的高本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种编码胶片颗粒的方法，其特征在于，包括：对当前原始编码单元遍历编码预测模式，得到当前重建编码单元；计算所述当前原始编码单元与所述当前重建编码单元的像素域失真和主观失真；根据所述像素域失真和所述主观失真计算当前编码单元的编码代价；根据所述编码代价，选择编码代价最小时对应的编码预测模式进行编码。2.根据权利要求1所述的编码胶片颗粒的方法，其特征在于，所述计算所述当前原始编码单元与所述当前重建编码单元的像素域失真，可以使用的算法包括：绝对误差和、哈达玛变换绝对误差和、差值平方和、平均绝对误差、平均平方误差。3.根据权利要求1所述的编码胶片颗粒的方法，其特征在于，所述计算所述当前原始编码单元与所述当前重建编码单元的主观失真，可以包括：对所述当前原始编码单元进行块划分得到原始变换单元，对所述当前重建编码单元进行块划分得到重建变换单元；对所述原始变换单元进行变换得到原始变换单元的AC系数，对所述重建变换单元进行变换得到重建变换单元的AC系数；根据所述原始变换单元的AC系数和所述重建变换单元的AC系数计算所述当前原始编码单元与所述当前重建编码单元的主观失真，公式如下：公式如下：公式如下：其中，E
src
为所述当前原始编码单元的能量值，AC
src
为所述原始变换单元的AC系数；E
recon
为所述当前重建编码单元的能量值，AC
recon
为所述重建变换单元的AC系数，distortion为主观失真，abs为绝对值函数。4.根据权利要求3所述的编码胶片颗粒的方法，其特征在于，所述根据所述原始变换单元的AC系数和所述重建变换单元的AC系数计算所述当前原始编码单元与所述当前重建编码单元的主观失真，公式还可以是：公式还可以是：公式还可以是：其中，E
src
为所述当前原始编码单元的能量值，AC
src
为所述原始变换单元的AC系数；E
recon
为所述当前重建编码单元的能量值，AC
recon
为所述重建变换单元的AC系数，distortion为主观失真，abs为绝对值函数，N
scr
为所述当前原始编码单元非零变换系数的个数，N
recon
为当前重建编码单元中非零变换系数的个数。5.根据权利要求3所述的编码胶片颗粒的方法，其特征在于，所述变换包括：DCT变换、hadmard变换、DST变换。6.根据权利要求1所述的编码胶片颗粒的方法，其特征在于，所述计算所述当前原始编码单元与所述当前重建编码单元的主观失真，还可以包括：
其中，X为所述当前原始编码单元中的像素值，X'为所述当前原始编码单元中的像素平均值，Y为所述当前重建编码单元中的像素值，Y'为所述当前重编码单元中的像素平均值，N为当前编码单元中的像素个数，distortion为主观失真，abs为绝对值函数。7.根据权利要求1所述的编码胶片颗粒的方法，其特征在于，所述根据所述像素域失真和所述主观失真计算当前编码单元的编码代价，计算公式为：其中，k是修正因子且k不小于1，D为像素域失真，distortion为主观失真，λ为拉格朗日乘子，R为当前的编码码率。8.根据权利要求1所述的编码胶片颗粒的方法，其特征在于，在所述根据所述像素域失真和所述主观失真计算当前编码单元的编码代价时，可以根据胶片颗粒的强弱程度对编码代价的计算进行修正，包括：判断所述当前原始编码单元的胶片颗粒的强弱程度；根据判断结果，对编码代价的计算进行修正：如果判断所述当前原始编码单元为胶片颗粒程度较弱的区域，所述编码代价的计算公式如下：其中，m是修正因子且m小于1，D为像素域失真，distortion为主观失真，λ为拉格朗日乘子，R为当前的编码码率；如果判断所述当前原始编码单元为胶片颗粒程度较强的区域，所述编码代价的计算公式如下：其中，k是修正因子且k大于1，D为像素域失真，distortion为主观失真，λ为拉格朗日乘子，R为当前的编码码率。9.根据权利要求8所述的编码胶片颗粒的方法，其特征在于，所述判断所述当前原始编码单元的胶片颗粒的强弱程度，包括：计算所述当前原始编码单元的像素方差：其中，X为所述当前原始编码单元中的像素值，X'为所述当前原始编码单元中的像素平均值，N为编码单元中的像素个数；预先设定所述当前原始编码单元的像素方差阈值T；如果所述当前原始编码单元的像素方差小于所述方差阈值T，则判断所述当前原始编码单元为胶片颗粒程度较弱的区域，反之，则判断所述当前原始编码单元为胶片颗粒程度
较强的区域。10.一种编码胶片颗粒的装置，其特征在于，包括：编码模块，用于对当前原始编码单元遍历编码预测模式，得到当前重建编码单元；第一计算模块，用于计算所述当前原始编码单元与所述当前重建编码单元的像素域失真和主观失真；第二计算模块，用于根据所...

【专利技术属性】
技术研发人员：刘文尧，徐国伟，朱政，刘宇新，丁丹丹，
申请(专利权)人：杭州师范大学，
类型：发明
国别省市：