帧速率转换元数据制造技术

提出了用于对高动态范围信号进行编码和解码的方法。所述信号以高帧速率进行编码，并伴随有定义了一组优选帧速率下转换参数的帧速率转换元数据，所述参数是根据目标显示器的最大光亮度、显示回放优先级模式或抖动控制模式来确定的。解码器至少根据所述目标显示器的最大光亮度和/或所述信号本身的特性，使用所述帧速率转换元数据来对输入高帧速率信号应用帧速率下转换。还讨论了基于帧的帧速率转换和基于像素的帧速率转换、以及用于通过元数据进行抖动控制的抖动模型。

【技术实现步骤摘要】
【国外来华专利技术】帧速率转换元数据相关申请的交叉引用本专利申请要求于2017年9月28日提交的美国临时专利申请序列号62/564,500、于2017年11月6日提交的欧洲专利申请号17200106.7、以及于2018年3月27日提交的美国临时专利申请序列号62/648,795的优先权权益，这些专利申请中的每一个都通过引用以其全文并入本文。
本专利技术总体上涉及图像。更特别地，本专利技术的实施例涉及要用于视频序列中的帧速率转换的元数据。
技术介绍
如本文所使用的，术语“动态范围(DR)”可以涉及人类视觉系统(HVS)感知图像中的强度(例如光亮度(luminance)、亮度(luma))范围的能力，该强度范围例如是从最暗的灰色(黑色)到最亮的白色(高光)。从这个意义上说，DR与“参考场景的(scene-referred)”强度有关。DR还可以涉及显示设备充分或近似渲染特定阔度(breadth)的强度范围的能力。从这个意义上说，DR与“参考显示的(display-referred)”强度有关。除非在本文的描述中的任何一点明确指定上下文具有特定的意思，否则应推断为术语可以在任一上下文中例如可互换地使用。如本文所使用的，术语高动态范围(HDR)涉及跨越人类视觉系统(HVS)的大约14至15个数量级的DR阔度。在实践中，相对于HDR，人类可以同时地感知强度范围中的广泛阔度的DR可能会被稍微截短。如本文所使用的，术语增强动态范围(EDR)或视觉动态范围(VDR)可以单独地或可互换地与DR相关，所述DR可在场景或图像内由包括眼运动的人类视觉系统(HVS)感知，允许跨场景或图像的一些光适性变化。在实践中，图像包括一个或多个颜色分量(例如，亮度Y以及色度Cb和Cr)，其中每个颜色分量由每像素n位的精度表示(例如，n＝8)。使用伽马域或其他感知域光亮度编码，其中n≤8的图像(例如，彩色24位JPEG图像)被视为标准动态范围的图像，而其中n＞8的图像可以被视为增强动态范围的图像。EDR和HDR图像也可以使用高精度(例如，16位)浮点格式来存储和分发，如由工业光魔公司(IndustrialLightandMagic)开发的OpenEXR文件格式。如本文所使用的，术语“元数据”涉及作为经编码比特流的一部分传输并且辅助解码器渲染经解码图像的任何辅助信息。这样的元数据可以包括但不限于如本文所描述的那些颜色空间或色域信息、参考显示器参数和辅助信号参数。大多数消费者桌面显示器目前支持200cd/m2到300cd/m2(或尼特)的光亮度。大多数消费者HDTV的范围从300尼特到500尼特，其中新型号达到1000尼特(cd/m2)。因此，这样的传统显示器代表了关于HDR或EDR的较低动态范围(LDR)，也被称为标准动态范围(SDR)。随着HDR内容的可用性由于捕获设备(例如，相机)和HDR显示器(例如，杜比实验室的PRM-4200专业参考监视器)二者的发展而增加，HDR内容可以被颜色分级并被显示在支持更高动态范围(例如，从1,000尼特到5,000尼特或更高)的HDR显示器上。总体上，非限制性地，本公开文本的方法涉及高于SDR的任何动态范围。高动态范围(HDR)内容创作现在正变得普遍，因为这种技术提供了比早期格式更逼真和栩栩如生的图像。然而，包括数亿个消费者电视显示器在内的许多显示系统不能再现HDR图像。此外，消费者HDR显示器可能与制作室处使用的HDR显示器的特性不匹配。为了改进现有显示方案，如在此由专利技术人所理解的，开发了用于将HDR图像映射到HDR显示器和SDR显示器的改进技术。在本节中描述的方法是可以追求的方法，但不一定是之前已经设想到或追求的方法。因此，除非另有指明，否则不应认为本节中所述的任何方法仅凭其纳入本节就可称为现有技术。类似地，除非另有指明，否则关于一种或多种方法所认定的问题不应基于本节而被认为在任何现有技术中被认定。附图说明在附图中以示例的方式而非限制的方式来图示本专利技术的实施例，并且其中相似的附图标记指代相似的元件，并且在附图中：图1描绘了用于视频传输流水线的示例过程；图2A描绘了根据本专利技术的实施例的示例编码过程；图2B描绘了根据本专利技术的实施例的示例解码过程；图3A和图3B描绘了根据本专利技术的实施例的作为明亮度和帧速率的函数的抖动轮廓曲线；以及图4描绘了用于通过引入非平滑运动来控制抖动的方法的示例。具体实施方式描述了用于通过元数据进行帧速率转换的方法。在以下说明中，出于解释的目的，阐述了许多具体细节以便提供对本专利技术的透彻理解。然而，明显的是，可以在没有这些具体细节的情况下实践本专利技术。在其他情形中，为了避免不必要地遮蔽、模糊或混淆本专利技术，没有详尽地描述众所周知的结构和设备。概述本文描述的示例实施例涉及用于通过元数据来调整HDR视频的回放帧速率的方法。编码器接收高帧速率HDR视频信号。所述编码器至少基于目标显示器的最大明亮度来确定用于高帧速率HDR视频的一组帧速率下转换参数。所述编码器基于帧速率下转换参数来生成帧速率转换元数据，并且基于高帧速率HDR视频和帧速率转换元数据来生成经编码比特流。在另一个实施例中，解码器接收以输入高帧速率编码的输入HDR视频信号。所述解码器还接收与输入视频信号相关联的帧速率转换元数据。所述解码器确定目标显示器的最大明亮度。所述解码器至少基于目标显示器的最大明亮度和帧速率转换元数据来确定一组帧速率下转换参数，并且所述解码器基于输入视频信号和所述一组帧速率下转换参数以输出帧速率生成用于目标显示器的输出视频信号，其中，输出帧速率等于或低于输入高帧速率。在至少一个实施例中，编码器对高动态范围(HDR)视频信号进行编码。编码器访问以第一帧速率编码的HDR视频信号；第一帧速率可以是例如高于典型现有实践的帧速率，如针对胶片(电影)的至少30帧每秒(fps)(例如48fps)和针对视频(例如，流式传输或广播)的至少60fps。编码器确定适合于将HDR视频信号适配为以第二帧速率进行回放的一组帧速率下转换参数，第二帧速率低于第一帧速率；第二帧速率可以是例如符合典型现有实践的帧速率，如针对胶片的24fps、针对PAL隔行视频的50fps和针对NTSC隔行视频的60fps。原则上，第二帧速率在某些情况下可能会低于典型现有实践。所述一组帧速率下转换参数包括：(i)适合于在目标显示器处确定第二帧速率的下转换因子；或(ii)可以从中获得所述下转换因子的元数据。所述对第二帧速率的确定可以至少根据目标显示器的最大明亮度来完成。通常，如果第一目标显示器的最大明亮度明显高于第二目标显示器的最大明亮度，并且所述确定未考虑其他因素，则针对第一目标显示器确定的第二帧速率将高于第二目标显示器的帧速率。例如，对于最大明亮度为100尼特的目标显示器，第二帧速率可以确定为第一帧速率的四分之一；对于最大明亮度为400尼特的目标显示器，第二帧速率可以确定为第一帧速率的三分之一；并且对于最大明亮度为600尼特的目标显示器，第二帧速率可以确定为第本文档来自技高网...

【技术保护点】
1.一种用于对高动态范围(HDR)视频信号进行编码的方法，所述方法包括：/n访问以第一帧速率编码的HDR视频信号；/n确定适合于将所述HDR视频信号适配为以第二帧速率进行回放的一组帧速率下转换参数，所述第二帧速率低于所述第一帧速率，/n其中，所述一组帧速率下转换参数包括：(i)用于在目标显示器处至少基于所述目标显示器的最大明亮度的函数来确定所述第二帧速率的下转换因子，其中，所述第二帧速率随着所述最大明亮度而增加；或(ii)能够从中获得所述下转换因子的元数据；/n基于所述一组帧速率下转换参数来生成帧速率转换元数据；以及/n生成包括所述HDR视频信号和所述帧速率转换元数据的经编码比特流。/n

【技术特征摘要】
【国外来华专利技术】20171106 EP 17200106.7;20170928 US 62/564,500;20181.一种用于对高动态范围(HDR)视频信号进行编码的方法，所述方法包括：
访问以第一帧速率编码的HDR视频信号；
确定适合于将所述HDR视频信号适配为以第二帧速率进行回放的一组帧速率下转换参数，所述第二帧速率低于所述第一帧速率，
其中，所述一组帧速率下转换参数包括：(i)用于在目标显示器处至少基于所述目标显示器的最大明亮度的函数来确定所述第二帧速率的下转换因子，其中，所述第二帧速率随着所述最大明亮度而增加；或(ii)能够从中获得所述下转换因子的元数据；
基于所述一组帧速率下转换参数来生成帧速率转换元数据；以及
生成包括所述HDR视频信号和所述帧速率转换元数据的经编码比特流。


2.如权利要求1所述的方法，其中，所述一组帧速率下转换参数包括下转换滤波器的系数，所述下转换滤波器适合于将所述HDR视频信号适配为以所述第二帧速率在所述目标显示器处进行回放。


3.如权利要求1或权利要求2所述的方法，其中，还基于以下各项中的至少一项来确定所述一组帧速率下转换参数：
所述目标显示器的最小明亮度；
所述目标显示器处的环境光水平；以及
所述目标显示器的显示回放优先级模式。


4.如权利要求3所述的方法，其中，所述显示回放优先级模式包括视频优先级模式、图形优先级模式、过渡优先级模式或基于像素的优先级模式中的一种或多种。


5.如当从属于权利要求2时的权利要求4所述的方法，其中，在所述基于像素的优先级模式下，所述一组帧速率下转换参数包括所述下转换滤波器的第一组系数和第二组系数，所述第一组系数用于图形像素，所述第二组系数用于视频像素。


6.如权利要求5所述的方法，其中，根据阿尔法掩膜，视频像素被确定为图形像素或视频像素。


7.如权利要求6所述的方法，其中，所述阿尔法掩膜被包含在所述帧速率转换元数据中。


8.如任一前述权利要求所述的方法，其中，所述帧速率转换元数据是以所访问的HDR视频的序列级别、场景级别或帧级别被确定的。


9.一种用于对高动态范围(HDR)视频信号进行解码的方法，所述方法包括：
接收以第一帧速率编码的输入HDR视频信号；
接收与所述输入HDR视频信号相关联的帧速率转换元数据；
确定目标显示器的最大明亮度；
至少基于所述帧速率转换元数据来确定一组帧速率下转换参数，所述一组帧速率下转换参数适合于将所述输入HDR视频信号适配为以第二帧速率进行回放，所述第二帧速率低于所述第一帧速率，
其中，所述一组帧速率下转换参数包括：(i)用于在所述目标显示器处根据所述目标显示器的所述最大明亮度来确定所述第二帧速率的下转换因子，由此，所述第二帧速率随着最大明亮度而增加；或(ii)能够从中获得所述下转换因子的元数据；以及
至少基于所述输入视频信号和所述一组帧速率下转换参数来以所述第二帧速率生成用于所述目标显示器的输出视频信号。


10.如权利要求9所述的方法，其中，所述一组帧速率下转换参数包括用于下转换滤波器的系数，所述下转换滤波器适合于将所述输入HDR视频信号适配为以所述第二帧速率在所述目标显示...

【专利技术属性】
技术研发人员：J·A·派拉兹，R·阿特金斯，E·G·皮耶里，A·夏皮罗，S·达利，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：美国;US