用于抖动可视性控制的双端元数据制造技术

公开了用于控制抖动的方法和系统。可以在画面内局部地引入抖动，以恢复通常在电影中预期的抖动感觉。可以基于输入帧生成抖动元数据。抖动元数据包括基本帧速率、抖动控制速率和显示参数，并且可以被用来针对不同的应用而控制抖动。

【技术实现步骤摘要】
【国外来华专利技术】用于抖动可视性控制的双端元数据对相关申请的交叉引用本申请要求于2014年10月2日提交的美国临时专利申请No.62/059,040的优先权，其全部内容通过引用而并入本文中。本申请还可以涉及于2015年2月23日提交的申请号为PCT/US2015/017110的PCT申请以及于2015年2月23日提交的申请号为PCT/US2015/017110的PCT申请，这两个申请的公开内容全部通过引用而并入本文中。
本公开内容涉及视频处理。更具体地，本公开内容涉及通过双端元数据来控制抖动可视性(juddervisibility)的系统和方法。附图说明并入本说明书并且构成本说明书一部分的附图示出了本公开内容的一个或更多个实施方式，连同示例实施方式的描述一起用于解释本公开内容的原理和实现。图1示出了处理24fps到来的素材的一种实施方式的高级框图。图2示出了没有眼睛运动的世界坐标(即，在跟踪眼睛运动(右半部分)的情况下的固定(左半部分)和视网膜运动)的情况下归因于平滑运动(顶部)的时间采样(底部)的失真。图3示出了以48fps采样并且显示在48fps保持型显示器上的线段的运动。图4示出了根据本公开内容的实施方式的用于使用24fps输入和48fps输出进行抖动减小的过程。图5示出了根据本公开内容的实施方式的作为速度的函数的示例性映射函数。图6至图14示出了根据本公开内容的实施方式的抖动控制的不同的可能的方法。图15示出了根据本公开内容的实施方式的抖动控制算法的实施方式。图16示出了用于本公开内容的方法的硬件实现的实施方式。图17示出了与抖动控制有关的一些概念。图18至图19示出了与抖动控制有关的映射的一些示例。图20示出了输出时间与具有120fps输入的输入时间之间的示例性关系。图21示出了与抖动控制有关的一些概念。图22示出了无限帧速率示例的真实时间与显示时间之间的映射。图23示出了具有平滑追踪对象眼睛跟踪的时间空间轨迹线以及没有平滑追踪对象眼睛跟踪的时间空间轨迹线。图24示出了本公开内容的抖动控制的实施方式的映射时间与真实时间。图25示出了根据本公开内容的实施方式的扩展的抖动可视性控制流程图的示例。图26示出了根据本公开内容的实施方式的用于高帧速率图像的扩展的抖动可视性控制流程图的示例。该步骤通常由图像产生阶段的人类操作者控制(即后期产生)。图27描述了根据本公开内容的实施方式的用于发送与抖动控制有关关的元数据的方法的示例性图。图28描述了根据本公开内容的实施方式的用于控制抖动的方法的示例性图。图29示出了作为视网膜照度的函数的最大频率可视性(临界融合频率，CFF)的图。直线行为被称为心理物理学的Ferr-Porter定律。图30至图31示出了根据本公开内容的实施方式的用于使用显示面板参数进行抖动控制的示例性方法。图32示出了根据本公开内容的实施方式的用于使用Ferry-Porter定律进行抖动控制的示例性方法。图33示出了空间时间CSF函数的等高线图。图34示出了根据本公开内容的实施方式的用于使用LA-ST-CSF算法进行抖动控制的示例性方法。图35示出了根据本公开内容的实施方式的用于使用逆色调映射和帧速率转换进行抖动控制的示例性方法。图36示出了根据本公开内容的实施方式的抖动控制和逆色调映射的总体流程图。图37示出了用于抖动控制的示例性设备。
技术实现思路
在本公开内容的第一方面，描述了一种用计算机控制抖动可视性的方法，所述方法包括：由计算机提供至少两个输入视频帧；由例如计算机基于所述至少两个输入视频帧生成抖动元数据；以及由计算机基于所述抖动元数据向所述至少两个输入视频帧施加抖动控制。在本公开内容的第二方面，描述了一种用计算机控制抖动可视性的方法，所述方法包括：由计算机提供至少两个输入视频帧；由例如计算机基于所述至少两个输入视频帧生成抖动元数据；由计算机提供显示信号元数据；获取输出显示参数；以及由计算机基于所述抖动元数据、所述显示信号元数据和所述输出显示参数向所述至少两个输入视频帧施加抖动控制。在本公开内容的第三方面，描述了一种用计算机控制运动平滑度的方法，所述方法包括：由计算机提供至少两个输入视频帧；由计算机基于所述至少两个输入视频帧生成运动平滑度映射曲线；由计算机提供显示信号元数据；由计算机基于所述显示信号元数据计算所述至少两个输入视频帧的平均亮度和平均对比度；由计算机基于所述平均亮度和平均对比度计算上述阈值参数；以及由计算机基于所述运动平滑度映射曲线和所述上阈值参数向所述至少两个输入视频帧施加运动平滑度控制。在本公开内容的第四方面，描述了一种用于抖动控制的方法，所述方法包括：被配置成接收视频帧的显示器；被配置成接收抖动相关数据的抖动控制装置；以及在显示器与抖动控制装置之间的通信装置。具体实施方式运动图像中的抖动可被简单地描述为非平滑运动，但是该术语也用于一般性地描述视频记录中典型的24fps的相对低的帧速率的任何结果。在本公开内容中，抖动可以可替选地被称为运动平滑度。与在真实世界中可视的运动相比，由于24fps(或其他类似的低帧频)的帧速率，一些最后所得到的失真可以被分解成四个主要分量：1)非平滑运动(颤动)，2)沿着移动边缘闪烁，3)移动对象上的空间模糊，以及4)假的多个边缘。这样的失真主要归因于相对于图像更新速率(帧速率)的高度运动以及源自空间时间混叠的结果。如本领域技术人员已知的，运动失真的可视性可以由被称为ST-CSF的空间时间对比敏感度函数(CSF)来描述。运动中的对象相对于其周围区域的对比度可影响可视性，原因是对比度是进入ST-CSF的主要输入变量，其确定阈值和总体可视性。基于视觉系统的亮度适应也影响这些失真的可视性。对于较高的亮度水平，ST-CSF的空间和时间带宽增大，结果所有四个分量的可视性也增大。用于电影院的新投影仪设计实现了更高的最大亮度和更高的对比度。有时，增大的最大亮度被用于提高平均亮度水平，并且其它时候它仅被用于增大对象的对比度。这两个改进都有负面的副作用，原因是它们增大了抖动的所有四个分量的可视性。遗憾的是，先前可接受的抖动水平现在可能变得令人讨厌。换言之，针对100尼特标准动态范围显示或48尼特电影屏幕分级的内容在重新分级为扩展或视觉动态范围显示时显示令人讨厌的抖动，例如800尼特TV显示器或110尼特电影屏幕。原因在于：如心理物理实验所示，较高的亮度和较高的对比度增大抖动感知。心理物理实验已经使用Gabor和定制的对比度-频率测试模式以及真实的图像序列作为刺激研究了不同的因素如何影响运动抖动的感知。结果显示，抖动度可能与包括帧速率、运动速度、亮度、对比度、快门角度等的不同变量具有稳固的关系。存在用于抖动感知的截止帧速率：超过该帧速率，不存在抖动感知，而低于这个速率，当帧速率降低时，抖动感知却增大。因此，在相同的帧速率下，抖动感知随着运动速度、亮度和对比度的增大而增大，并且随着快门角度的增大而减小。在许多成像应用中，改善运动质量的目标是减小上面列举的所有四个抖动分量，而可视性窗口提供了朝向这样的改进的清晰的路径。减小抖动的一种方法是在捕捉或显示阶段增大帧速率或降低空间和时间分辨率。然而，对于电影院，在某些振幅水平处，实际上期望这些分量中的一些分量，原因是它们有助于本文档来自技高网...

【技术保护点】
一种用计算机控制抖动可视性的方法，所述方法包括：由计算机提供至少两个输入视频帧；基于所述至少两个输入视频帧生成抖动元数据；以及由计算机基于所述抖动元数据向所述至少两个输入视频帧施加抖动控制。

【技术特征摘要】
【国外来华专利技术】2014.10.02 US 62/059,0401.一种用计算机控制抖动可视性的方法，所述方法包括：由计算机提供至少两个输入视频帧；基于所述至少两个输入视频帧生成抖动元数据；以及由计算机基于所述抖动元数据向所述至少两个输入视频帧施加抖动控制。2.根据权利要求1所述的方法，其中，所述抖动元数据包括抖动控制速率。3.根据权利要求2所述的方法，其中，所述抖动元数据进一步包括基本帧速率。4.根据权利要求3所述的方法，其中，所述抖动元数据包括用信号通知与所述抖动元数据相关联的对特定帧或镜头的抖动控制的存在或不存在的参数。5.根据权利要求1所述的方法，其中，基于所述至少两个输入视频帧生成抖动元数据的步骤进一步包括：由计算机提供对所施加的抖动控制的反馈；以及基于所述反馈修改所述抖动元数据。6.根据权利要求5所述的方法，进一步包括：将所述抖动元数据与所述至少两个输入视频帧发送至显示器。7.根据权利要求3所述的方法，其中，所述抖动元数据包括用于控制抖动的参考显示器的显示参数。8.根据权利要求7所述的方法，其中，所述显示参数包括最小和最大亮度。9.根据权利要求7所述的方法，进一步包括：基于所述抖动元数据和输出显示器的显示参数来调整所述抖动控制速率和所述基本帧速率。10.根据权利要求3所述的方法，进一步包括：如果输出显示器使用与所述抖动元数据所指示的所述基本帧速率不同的时间段，则修改所述抖动控制速率。11.根据权利要求1所述的方法，进一步包括：针对逐镜头过程、逐帧过程或者基于所述至少两个输入视频帧的内容来调整所述抖动控制元数据。12.根据权利要求1所述的方法，进一步包括：由计算机基于输出显示器的显示参数来调整所述抖动元数据。13.根据权利要求2所述的方法，进一步包括：在镜头边界内平滑所述抖动控制速率，以防止所述镜头边界内抖动可视性的突然改变。14.根据权利要求3所述的方法，其中，所述抖动元数据进一步包括指示抖动控制的存在或不存在的元数据参数。15.一种用计算机控制抖动可视性的方法，所述方法包括：由计算机提供至少两个输入视频帧；基于所述至少两个输入视频帧生成抖动元数据；由计算机提供显示信号元数据；获得输出显示参数；以及由计算机基于所述抖动...

【专利技术属性】
技术研发人员：徐宁，詹姆斯·E·克伦肖，斯科特·达利，萨米尔·N·胡利亚尔卡尔，雷蒙德·扬，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：美国,US