用于胶片颗粒编码的元数据信令和转换制造技术

描述了用于胶片颗粒编码和合成的元数据信令和转换的方法

【技术实现步骤摘要】
【国外来华专利技术】用于胶片颗粒编码的元数据信令和转换
[0001]相关申请的交叉引用
[0002]本申请要求
2021
年9月
28
日提交的美国临时申请第
63/249,401
号
、2021
年6月
15
日提交的美国临时申请第
63/210,789
号
、2021
年4月2日提交的印度申请第
202141015755
号
、
以及
2021
年6月
30
日提交的印度申请第
202141029381
号的优先权，这些申请的全部内容通过引用并入本文
。


[0003]本公开总体上涉及图像
。
更具体地，本专利技术的实施例涉及用于图像和视频序列中的胶片颗粒编码和合成的元数据信令和转换
。

技术介绍

[0004]胶片颗粒通常被定义为处理后的摄影胶片中的随机光学纹理，这是由于由已接收到足够光子的卤化银显影的金属银小颗粒或染料云的存在而导致的
。
在娱乐行业，特别是在电影中，胶片颗粒被认为是创作过程和意图的一部分
。
因此，虽然数码相机不会产生胶片颗粒，但将模拟胶片颗粒添加到由数码摄像机捕获的材料中以模拟“胶片风格”的情况并不少见
。
[0005]由于其随机性，胶片颗粒对图像和视频压缩算法提出了挑战，这是因为
a)
类似于随机噪声，它可能会降低用于电影编码和分发的编码算法的压缩效率，以及
b)
由于编码算法的有损压缩特性，原始胶片颗粒可能会被过滤和
/
或改变，从而改变导演的创作意图
。
因此，重要的是，在对运动图像进行编码时，保持导演对电影的胶片风格的意图，同时保持压缩过程中的编码效率
。
[0006]为了更有效地处理胶片颗粒，诸如
AVC、HEVC、VVC、AV1
等编码标准
(
参见参考文献
[1
‑
4])
采用了胶片颗粒技术
(FGT)。
媒体工作流程中的
FGT
由两个主要部分组成：胶片颗粒建模和胶片颗粒合成
。
在编码器处，从内容中移除胶片颗粒，根据胶片颗粒模型对其进行建模，并且胶片颗粒模型参数作为元数据在比特流中发送
。
这部分允许更有效的编码
。
在解码器处，根据模型参数来模拟胶片颗粒，并在显示之前将其重新插入到解码图像中，从而保留创作意图
。
[0007]本文中的术语“元数据”涉及作为编码比特流的一部分发送并且帮助解码器呈现解码图像的任何辅助信息
。
这样的元数据可以包括但不限于色彩空间或色域信息
、
参考显示参数
、
以及胶片颗粒建模参数，如本文所描述的那些
。
[0008]胶片颗粒技术并不局限于含有真实胶片颗粒的内容
。
通过添加人工胶片颗粒，
FGT
还可用于在解码器处隐藏压缩伪影，这对于比特率非常低的应用程序非常有用，对于移动媒体尤其如此
。
如专利技术人在此所理解的，本文描述了用于胶片颗粒编码和合成的元数据信令的改进技术
。
[0009]本节中描述的方法是可以采用的方法，但不一定是先前已设想或采用的方法
。
因此，除非另有说明，否则不应假定本节中描述的任何方法仅仅由于它们包含在本节中而被
认为是现有技术
。
类似地，除非另有说明，否则不应根据本节而假定在任何现有技术中已经认识到关于一种或多种方法所识别的问题
。
附图说明
[0010]本专利技术的实施例在附图中以示例而非限制的方式示出，其中相同的附图标记指代相似的元件，并且其中：
[0011]图
1A
描绘了当胶片颗粒可以是原始输入视频的一部分时的胶片颗粒技术的示例端到端流程；
[0012]图
1B
描绘了当胶片颗粒可能不是原始输入视频的一部分
、
而是被添加到解码器中时的胶片颗粒技术的示例端到端流程；
[0013]图2描绘了确定包含在
MPEG
胶片颗粒
SEI
消息中的语法值是否可以应用在
AV1
胶片颗粒合成过程中的处理流程的示例
。
[0014]图3描绘了确定
MPEG
胶片颗粒
SEI
消息应被忽略还是应被转码以用于
AV1
胶片颗粒合成过程的处理流程的示例；
[0015]图4描绘了对
MPEG SEI
消息进行转码以便在
AV1
胶片颗粒过程中使用的处理流程的示例；
[0016]图
5A
和图
5B
描绘了使用
MPEG SEI
消息传递和
AV1
胶片颗粒合成的胶片颗粒合成的示例过程；
[0017]图
6A
描绘了当
AR
滞后等于1时将
MPEG SEI
消息模型值转码为
AV1 AR
系数的示例；
[0018]图
6B
描绘了当
AR
滞后等于2时将
MPEG SEI
消息模型值转码为
AV1 AR
系数的示例；和
[0019]图
7A
及图
7B
各自描绘了当
AR
滞后等于1时将
AV1 AR
系数转码为
MPEG SEI
消息模型值的示例
。
具体实施方式
[0020]本文描述了涉及用于胶片颗粒编码的元数据信令和转换的示例实施例
。
在下面的描述中，出于解释的目的，阐述了许多具体细节，以便提供对本专利技术的各种实施例的透彻理解
。
然而，显而易见的是可以在没有这些具体细节的情况下实践本专利技术的各种实施例
。
在其他情况下，没有详尽地描述公知的结构和设备，以避免不必要地遮挡
、
模糊或混淆本专利技术的实施例
。
[0021]概述
[0022]本文描述的示例实施例涉及胶片颗粒技术的元数据信令和转换
。
在实施例中，处理器根据第一编码格式接收输入视频比特流和相关联的输入胶片颗粒信息
。
处理器解析输入胶片颗粒信息以第一编码格式生成用于胶片颗粒合成的输入胶片颗粒参数
。
接下来，其基于输入胶片颗粒参数以第二编码格式生成用于噪声合成的输出胶片颗粒参数，其中第二编码格式不同于第一编码格式
。
处理器根据本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.
一种处理胶片颗粒元数据的方法，该方法包括：根据第一编码格式接收输入视频比特流和相关联的输入胶片颗粒信息；解析输入胶片颗粒信息，生成用于第一编码格式的胶片颗粒合成的输入胶片颗粒参数；基于输入胶片颗粒参数以第二编码格式生成用于噪声合成的输出胶片颗粒参数，其中第二编码格式不同于第一编码格式；根据输出胶片颗粒参数生成输出胶片噪声；根据第一编码格式对输入视频比特流进行解码，生成解码视频图片；以及将输出胶片噪声与解码后的视频图片相加，生成输出视频图片
。2.
根据权利要求1所述的方法，其中，所述第一编码格式包括
MPEG
视频格式，并且所述第二编码格式包括
AV1
视频格式
。3.
根据权利要求1所述的方法，其中，所述第一编码格式包括
AV1
编码格式，并且所述第二编码格式包括
MPEG
视频编码格式
。4.
根据权利要求2所述的方法，其中所述输入胶片颗粒信息包括胶片颗粒补充增强信息
(SEI)
，并且仅当所述输入胶片颗粒参数指示使用自回归模型以及加法混合模式生成噪声合成时才生成所述输出胶片颗粒参数
。5.
根据权利要求4所述的方法，其中，所述输入胶片颗粒参数指示输入视频比特流是单色或
4:2:0YUV
格式的渐进式视频
。6.
根据权利要求4所述的方法，其中如果第一胶片颗粒参数指示：
fg_intensity_interval_upper_bound[0][i]
＝
fg_intensity_interval_lower_bound[0][i+1]
‑1，
and fg_intensity_interval_lower_bound[0][i+1]
＝
fg_intensity_interval_upper_bound[0][i]+1
，则
film_grain_params_present
＝1，
apply_grain
＝1，
and update_grain
＝0，其中，
fg_intensity_interval_upper_bound
和
fg_intensity_interval_lower_bound
表示第一胶片颗粒参数，并且
film_grain_params_present
，
apply_grain
，以及
update_grain
表示输出胶片颗粒参数
。7.
根据权利要求4所述的方法，还包括：对于输入视频比特流中的当前图片，如果不存在输入胶片颗粒信息，则：如果先前将
fg_characteristics_persistence_flag
设置为1，则将
film_grain_params_present
设置为1，将
apply_grain
设置为1，并且将
update_grain
设置为等于0，否则将
film_grain_params_present
设置为0，其中
fg_characteristics_persistence_flag
表示输入胶片颗粒参数，并且
film_grain_params_present
，
apply_grain
，以及
update_grain
表示输出胶片颗粒参数
。8.
根据权利要求7所述的方法，还包括：对于输入视频比特流中的当前图片，如果有输入胶片颗粒信息，则：如果
fg_characteristics_cancel_flag
等于0，则将
apply_grain
设置为1，并将
update_grain
设置为1，否则将
film_grain_params_present
设置为0，将
...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：