利用外观控件增强图像数据制造技术

可以增强具有多个图像帧的数字图像序列。可以根据数字图像序列确定外观图。外观图包括主层节点。每个主层节点可以表示独特的视觉风格。可以针对每个主层节点计算与由主层节点表示的视觉风格相匹配的主层图像序列。可以通过混合由外观图定义的至少两个主层图像序列来生成增强图像序列。

【技术实现步骤摘要】
【国外来华专利技术】利用外观控件增强图像数据相关申请的交叉引用本公开要求于2018年1月23日提交的题为“EnhancingImageDatawithAppearanceControls”的美国临时申请序列号62/620,711的优先权。
本公开总体上涉及数字地增强图像内容的视觉质量的领域，并且更具体地涉及控制针对各种类型的媒体平台而专门定制的图像内容的视觉外观的能力。
技术介绍
通过使用复杂的运动估计或光流方法对时域中的图像数据进行数字处理，可以提高运动图片或视频内容的视觉质量。在这些方法中，在多个图像帧上跟踪每个像素的运动，并且对像素进行增强以获取更好的质量属性，包括降噪、去模糊、伪影去除和细节增强。但是，由于高度的计算复杂性，时间处理技术的计算过程非常耗时，并且随着图像分辨率的提高和运动跟踪算法越来越复杂，计算时间可能呈指数增长。该过程可能需要数小时或数天才能从计算作业中获取任何结果。如果所得到的视觉质量不令人满意，则用户对某些渲染参数进行调节，并且重新开始繁琐的计算工作。结果，对于可能处于非常紧迫的时间表和非常有限的生产预算下的典型的后期制作设备，很难对图像质量进行微调以使客户满意。并且，图像内容通常跨多种类型的显示器发布，诸如电影院、打包媒体、有线电视、或者流送到平板电脑和移动设备。不同类型的显示平台在亮度、分辨率、清晰度、颜色、对比度、比特率等方面、或者在显示器是直接观看显示还是将图像投影到显示器上方面，都可能存在巨大差异，并且在考虑到这些差异的情况下处理图像数据，以在多个平台上保持一致的艺术风格或视觉外观。例如，可以针对具有有机(organic)“电影外貌(look)”的30英尺宽的磨砂电影院银幕来对运动图片进行定时。当电影被向上转换(upconverted)以用于大型影院发布(诸如的60英尺宽的银幕)时，保存在图像数据中的胶片颗粒会进一步受到抑制，以使得不会被过度放大。当要通过流媒体服务(诸如或)发布电影以进行电视观看时，通常会重新制作图像数据以获取更高的亮度，Rec.709色彩空间代替P3，并且具有更高级别的数据压缩。此外，来自同一流媒体服务提供商的同一电影也可能看起来有很大差异，部分原因是用于根据可用网络带宽来调节视频流质量的自适应流协议，部分原因是用户设备的显示质量不同。最近最新的UHD、HDR、WCG和HFR显示技术在市场上的迅速采用会进一步影响用于发布同一内容的不同显示平台之间的质量差距。附图说明图1是根据本公开的一些方面的用于增强数字图像序列的过程的流程图。图2是根据本公开的一些方面的用于使用混合过程来增强图像序列的系统的示图。图3是根据本公开的一些方面的在用于增强图像序列的混合过程中使用的外观图示(appearancemap)的示图。图4是根据本公开的一些方面的在用于增强图像序列的混合过程中使用的外观图示的另一示例的示图。图5是根据本公开的一些方面的在用于增强图像序列的混合过程中使用的三维外观图示的示图。图6是根据本公开的一些方面的用于增强图像序列的图像处理装置的框图。具体实施方式某些方面和特征涉及通过计算具有独特特征的多个主层(primelayer)图像序列，来增强图像序列的一个或多个特征。独特特征可以是与图像风格有关的特定视觉特征。主层图像序列的组合可以被混合以生成特定视觉外观。图像序列的主层可以是图像序列中的大多数内容的数字表示。图像序列包括多个图像帧。每个图像帧包括多个图像像素。典型的图像像素可以在与同一图像帧中的相邻图像像素有关的时空位置处定义图像内容元素，并且可以与跨很多图像帧的对应像素有关。为了实现高性能，图像增强算法可以通过探索跨多个图像帧的像素关系来在时域中操作。由于图像序列的时变性质，这样的算法可以包括在多个图像帧上估计像素运动并且跟踪像素移动。运动估计和跟踪的方法的示例可以包括基于光流的方法和更复杂的基于轨迹的方法。然而，利用运动估计和跟踪，所得到的算法的计算可能变得非常复杂并且耗时。此外，这种算法的性能可能难以控制，并且可能会尝试使用试错法来获取预期结果：如果来自一个计算回合的结果不令人满意，则可以调节某些渲染参数，并且执行另一计算回合。这样的过程可能是昂贵且费时的。根据一些示例，可以实现图像质量和外观规格。可以使用多种方法来处理图像序列，以产生具有独特外观或艺术风格的图像序列的多个演绎(rendition)。这些演绎的至少一个子集可以被混合(例如，通过混和(mixing))在一起以产生具有新的视觉外观的新的图像序列。所得到的图像序列可以因不同艺术风格的混合而获取新的视觉外观。如果新的视觉外观仍然不令人满意，则可以通过仔细地调节来自每种艺术风格的贡献来微调，直到达到期望的视觉外观。可以提前计算图像序列的演绎，以便它们可用作使用更简单且更快速的处理方法的后续组合和微调操作的基础。在一个示例中，根据图像序列计算多个主层图像序列。每个主层图像序列可以表示独特的艺术风格。某些主层图像序列可以被混合在一起以产生新的视觉外观。混合处理可以包括混合功能，并且各个主层图像序列对新的视觉外观的贡献可以通过在混合功能中使用的适当权重来定量描述。可以通过调节各个主层图像序列的权重来微调视觉外观以产生期望的视觉外观。给出这些说明性示例是为了向读者介绍这里讨论的一般主题，而非旨在要限制所公开的概念的范围。以下各部分将参考附图描述各种其他特征和示例。图1是根据本公开的一个示例的用于增强数字图像序列的过程的流程图。在框102中，诸如通过由计算设备接收来接收数字图像序列。数字图像序列可以具有多个图像帧，这些图像帧一起形成视觉媒体呈现，诸如电影。在一些示例中，数字图像序列可以包括或表示数字数据。数字数据可以是旨在用作流数据或用作从远程源下载和存储的数据的数据。在框104中，根据数字图像序列确定外观图(appearancegraph)。外观图可以包括定义主层图像序列中的每个主层图像序列的主层节点。每个主层节点可以表示独特的视觉风格。外观图可以通过单独地处理数字图像序列来根据数字图像序列来确定。处理数字图像序列可以包括实现图像数据分析和来自电影导演的反馈，以确定反映可以吸引电影导演的视觉特征或风格的主层节点。在框106中，针对每个主层节点计算与由节点表示的视觉风格相匹配的主层图像序列。在框108中，通过混合由外观图定义的至少两个主层图像序列来生成增强图像序列。主层图像序列可以在将图像序列混合在一起之前单独地加权。在一些示例中，可以通过调节在混合主层图像序列时使用的权重来改善(refine)增强图像序列以获取特定视觉外观。图2是根据本公开的一些方面的用于增强图像序列的系统的示意性框图。根据各种示例，可以使用图像处理设备来执行图像处理操作。图像处理设备的示例在图6中被描绘，它可以支持输入和输出图像序列的一组有限的文件格式。在图2中，图像处理设备接收输入图像序列200，该输入图像序列200可以是运动图片或数字视频内容。图像序列200可以包括多个图像帧。格式转换过程202被应本文档来自技高网...

【技术保护点】
1.一种增强数字图像序列的方法，所述方法包括：/n接收具有多个图像帧的所述数字图像序列；/n根据所述数字图像序列，确定包括多个主层节点的外观图，所述多个主层节点中的每个主层节点表示独特的视觉风格；/n针对每个主层节点计算主层图像序列，所述主层图像序列与由所述主层节点表示的所述视觉风格相匹配；以及/n通过混合由所述外观图定义的至少两个主层图像序列来生成增强图像序列。/n

【技术特征摘要】
【国外来华专利技术】20180123 US 62/620,7111.一种增强数字图像序列的方法，所述方法包括：
接收具有多个图像帧的所述数字图像序列；
根据所述数字图像序列，确定包括多个主层节点的外观图，所述多个主层节点中的每个主层节点表示独特的视觉风格；
针对每个主层节点计算主层图像序列，所述主层图像序列与由所述主层节点表示的所述视觉风格相匹配；以及
通过混合由所述外观图定义的至少两个主层图像序列来生成增强图像序列。


2.根据权利要求1所述的方法，其中混合所述至少两个主层图像序列包括：向所述至少两个主层图像序列中的每个主层图像序列应用单独的权重，所述方法还包括：通过调节在混合时使用的单独的所述权重来改善所述增强图像序列以实现特定视觉外观。


3.根据权利要求1所述的方法，还包括：
接收所述数字图像序列作为数字图像数据；
根据所述数字图像数据生成净板图像数据，所述净板图像数据的细节少于所述数字图像数据；
根据所述数字图像数据生成超详细图像数据，所述超详细图像数据的细节多于所述数字图像数据；以及
将所述净板图像数据与所述超详细图像数据混合以产生增强数字图像数据。


4.根据权利要求3所述的方法，其中将所述净板图像数据与所述超详细图像数据混合以产生所述增强数字图像数据包括：将所述净板图像数据和所述超详细图像数据与所述数字图像数据混合以产生所述增强数字图像数据。


5.根据权利要求3所述的方法，其中将所述净板图像数据与所述超详细图像数据混合以产生所述增强数字图像数据与观看者在显示器上观看所述增强数字图像数据同时被执行。


6.根据权利要求3所述的方法，还包括：
分析所述数字图像数据以标识至少两个不同的对象或区域；
针对所述至少两个不同的对象或区域中的每个对象或区域，不同地混合以产生针对每个对象或区域的混合增强数字图像数据；以及
组合针对每个对象或区域的所述增强数字图像数据以产生所述增强数字图像数据。


7.根据权利要求6所述的方法，其中针对所述至少两个不同的对象或区域中的每个对象或区域不同地混合以产生针对每个对象或区域的所述混合增强数字图像数据包括：使用从特征电影院类型呈现的电影导演所接收的混合输入。


8.根据权利要求7所述的方法，还包括：
存储针对所述至少两个不同的对象或区域的一个或多个混合设置；以及
将所述一个或多个混合设置应用于由所述电影导演制作的另一特征电影院呈现中的对应的对象或区域。


9.根据权利要求3所述的方法，其中将所述清洁板图像数据与所述超详细图像数据混合在流带宽阈值内被执行。


10.一种系统，包括：
处理设备；以及
存储器设备，包括指令，所述指令能够由所述处理设备执行以使所述处理设备：
接收具有多个图像帧的数字图像序列；
根据所述数字图像序列，确定包括多个主层节点的外观图，所述多个主层节点中的每个主层节点表示独特的视觉风格；
针对每个主层节点计算主层图像序列，所述主层图像序列与由所述主层节点表示的所述视觉风格相匹配；以及
通过混合由所述外观图定义的至少两个主层图像序列来生成增强图像序列。


11.根据权利要求10所述的系统，其中混合所述至少两个主层图像序列包括：向所述至少两个主层图像序列中的每个主层图像序列应用单独的权重，其中所述存储器设备还包括能够由所述处理设备执行的用于通过调节在混合时使用的所述权重来改善所述增强图像序列以实现特定视觉外观的指令。


12.根据权利要求10所述的系统，其中所述存储器设备还包括能够由所述处理设备执行的指令，以用于：
接收所述数字图像序列作为数字图像数据；
根据所述数字图像数据生成净板图像数据，所述净板图像数据的细节少于所述数字图像数据；
根据所述数字图像数据生成超详细图像数据，所述超详细图像数据的细节多于所述数字图像数据；以及
将所述净板图像数据与所述超详细图像数据混合以产生增强数字图像数据。


13.根据权利要求12所述的系统，其中将所述净板图像数据与所述超详细图像数据混合以产生所述增强数字图像数据包括：将所述净板图像数据和所述超详细图像数据与所述数字图像数据混合以产生所述增强数字图像...

【专利技术属性】
技术研发人员：张宁，S·Z·周，P·朱迪肯斯，
申请(专利权)人：图象公司，
类型：发明
国别省市：加拿大;CA