用于内容自适应的分辨率增强的装置、系统和方法制造方法及图纸

本发明专利技术提供一种用于内容自适应的分辨率增强的装置、系统和方法。从视频流中生成多个子帧流；多个子帧流中的每一个包括较低分辨率版本、相对彼此像素偏移的视频流；以一对一的关系从多个子帧流生成多个输出子帧流：对多个子帧流中的每一个应用多个视频增强滤波器，多个视频增强滤波器中的每一个用于增强视频流的不同特征；并且，根据视频流的一个或多个区域中的数据将一个或多个所得增强子帧流合并到各自的输出子帧流中。控制一个或多个投影仪投影多个输出子帧流，将多个输出子帧流合并成更高分辨率的投影视频流。

Device, system and method for resolution enhancement for content adaptive

The present invention provides a device, system and method for the resolution enhancement of the content adaptive. To generate a plurality of sub frames from the video stream flow; a plurality of sub frames in each include a lower resolution version, relative to each other and the pixel offset video stream; in a one-to-one relationship from a plurality of sub frames flow generates a plurality of output streams: sub frame on the sub frame flow in each application a video enhancement filter, multiple video enhancement of each different feature for enhancing video stream filter; and, according to the video stream to one or more regional data in one or more of the flow into the output sub frame enhancer respective frame stream. Multiple output subframe flows are projected by one or more projectors, and multiple output subframe flows are merged into a higher resolution projection video stream.

【技术实现步骤摘要】
用于内容自适应的分辨率增强的装置、系统和方法
本说明书一般涉及显示设备和投影仪
，且具体来说是一种用于内容自适应的分辨率增强的装置、系统和方法。
技术介绍
高分辨率投影仪和/或显示器已经变得无处不在，但至少部分由于高清晰度投影仪和/或显示器的生产成本，当前数码相机、数码摄像机和电影摄像机的分辨率可以采集比这些投影仪和/或显示器当前可提供的图像高一个数量级的图像。因此，投影视频的质量在数字投影机市场中发挥着巨大的作用。例如，当4K、UHD(超高清)和/或8K视频可用时，投影机通常不能投影这种高分辨率视频；相反，更低分辨率的WQXGA(wide-quad-extended-graphics-array)投影机更容易实现投影。以较低成本提高投影视频质量的计算方法仍处于起步阶段。因此，当投影和/或显示高分辨率视频时，使用下采样程序来降低分辨率，使得高分辨率视频可以由较低分辨率的投影仪和/或显示器呈现，这可能导致例如毛皮、头发或一般的高频图像特征的细节丢失，并且可能进一步导致额外的运动伪像(例如，除了可能已经在在高分辨率视频中运动伪影之外)。
技术实现思路
一般而言，本专利技术公开了用于内容自适应的分辨率增强的装置、系统和方法。具体地，将高分辨率视频流分解成相对彼此像素偏移、但与高分辨率视频流相同和/或相似的纵横比的多个较低分辨率子流。对每个子流应用不同的视频增强滤波器以增强每个子流中不同类型的特性，例如运动目标、静止目标、文本等；不同视频增强滤波器的应用导致多个子流中的每个生成多个增强子帧流。对于每个子流，一个或多个所述增强子帧流合并成相应输出子帧流；例如，在一个具有运动目标的区域和其他没有运动目标的区域的视频流中，具有增强的运动目标的第一增强子帧流的一部分与具有增强的静止目标的第二增强子帧流的一部分合并，以生成相应输出子帧流。每个相应输出子帧流(例如多个低分辨率子流中的每一个)由一个或更多投影仪投影以将相应输出子帧流合并成更高分辨率的投影视频流。例如，每个投影仪用不同的像素配准以投影相应输出子帧流，相应输出子帧流在它们投影到的表面上合并形成与原始高分辨率视频流类似分辨率的更高分辨率视频流。或者，相应输出子帧流可以以其他方式合并，例如使用振动显示装置(vibratingdisplaydevice)和/或具有光机械移位器(opto-mechanicalshifters)的显示器和/或投影仪。在本说明书中，元件可以被描述为“配置以”执行一个或多个功能或“配置用于”这些功能。一般来说，配置以执行或配置用于执行一种功能的元件能够执行该功能，或者适用于执行该功能，或适应于执行该功能，或者可以用来执行该功能，或者以其他方式能够执行该功能。应当理解的是，就本专利技术的目的而言，“X，Y和Z中的至少一个”和“X，Y和Z中的一个或多个”的表述可以被解释为仅X，仅Y，仅Z，或X、Y和Z中的两个或多个的任意组合(例如，XYZ，XY，YZ，XZ等)。类似的逻辑可以应用于任何情况下出现的两个或多个的“至少一个...”和“一个或多个...”的表述。本说明书一方面提供一种装置，包括：控制装置和配置以与一个或多个投影仪通信的通信接口，所述的控制装置配置以：从视频流中生成多个子帧流；所述的多个子帧流中的每一个包括较低分辨率版本、相对彼此像素偏移的视频流；以一对一的关系从所述多个子帧流生成多个输出子帧流：对所述多个子帧流中的每一个应用多个视频增强滤波器(videoenhancementfilters)，所述的多个视频增强滤波器(videoenhancementfilters)中的每一个用于增强所述视频流的不同特征；并且，根据所述视频流的一个或多个区域中的数据将一个或多个所得增强子帧流合并到各自的输出子帧流中；并且，使用所述通信接口控制一个或多个所述投影仪投影所述多个输出子帧流，从而将所述多个输出子帧流合并成更高分辨率的投影视频流。所述的控制装置还可配置以通过再次地对所述视频流进行重采样、上采样和下采样以生成所述多个子帧流。所述控制装置还可配置以通过以下方式将所述多个视频增强滤波器(videoenhancementfilters)中的一个或多个应用于所述多个子帧流中的每一个：将所述多个子帧流中的每一个从空间域转换为频域；将相应视频增强滤波器(videoenhancementfilters)应用于频域中；并将相应的输出子帧流转换回所述空间域。所述控制装置还可配置以通过以下方式将所述的多个视频增强滤波器(videoenhancementfilters)中的一个或多个应用于所述多个子帧流中的每一个：将相应视频增强滤波器(videoenhancementfilters)应用于空间域。所述的多个视频增强滤波器(videoenhancementfilters)可包括：用于增强所述视频流中的运动目标的第一增强视频滤波器和用于增强所述视频流中的静止目标的第二增强视频滤波器。所述的一个或多个所得增强子帧流包括用于增强所述运动目标的第一增强子帧流和用于增强所述静止目标的第二增强子帧流。所述的控制装置还可配置以根据所述视频流的一个或多个区域中的所述数据，通过以下方式将所述第一增强子帧流和所述第二增强子帧流合并成相应输出子帧流：确定所述视频流中所述运动目标和所述静止目标所在的相应区域；以及将所述第一增强子帧流的对应部分包括至运动目标区域中，并将所述第二增强子帧流的对应部分包括至静止目标区域中。所述的控制装置还可配置以通过比较所述视频流的连续帧来确定所述视频流的一个或多个区域中的所述数据。多个所述视频增强滤波器(videoenhancementfilters)可包括如下的一个或多个：运动目标视频增强滤波器(amovingobjectvideoenhancementfilter)、静止目标视频增强滤波器(astaticobjectvideoenhancementfilter)、文本增强滤波器(atextenhancementfilter)、纹理增强滤波器(atextureenhancementfilter)、色彩增强滤波器(acolorenhancementfilter)。所述的控制装置还可配置以将补偿滤波器应用于每个相应增强子帧流，所述的补偿滤波器用于补偿所述一个或更多投影仪的光学像差。本说明书另一方面提供一种方法，包括：在配置为与一个或多个投影仪通信的装置处，利用该装置从视频流中生成多个子帧流；所述的多个子帧流中的每一个包括较低分辨率版本、相对彼此像素偏移的视频流；在所述装置处以一对一的关系从所述多个子帧流生成多个输出子帧流：对所述多个子帧流中的每一个应用多个视频增强滤波器(videoenhancementfilters)，所述的多个视频增强滤波器(videoenhancementfilters)中的每一个用于增强所述视频流的不同特征；并且，根据所述视频流的一个或多个区域中的数据将一个或多个所得增强子帧流合并到各自输出子帧流中；并且，在所述装置处控制一个或多个所述投影仪投影所述多个输出子帧流，从而将所述多个输出子帧流合并成更高分辨率的投影视频流。所述的方法还可包括利用所述装置通过再次地对所述视频流进行重采样、上采样和下采样以生成所述多个子帧流。所述的方法还可包括本文档来自技高网...

【技术保护点】
一种装置，其特征在于，包括：控制装置和配置为与一个或多个投影仪通信的通信接口，所述的控制装置配置为：从视频流中生成多个子帧流；所述的多个子帧流中的每一个包括较低分辨率版本、相对彼此像素偏移的视频流；以一对一的关系通过以下方式从所述多个子帧流生成多个输出子帧流：对所述多个子帧流中的每一个应用多个视频增强滤波器(video enhancement filters)，所述的多个视频增强滤波器(video enhancement filters)中的每一个用于增强所述视频流的不同特征；并且，根据所述视频流的一个或多个区域中的数据将一个或多个所得增强子帧流合并到各自的输出子帧流中；并且，使用所述通信接口控制一个或多个所述投影仪投影所述多个输出子帧流，从而将所述多个输出子帧流合并成更高分辨率的投影视频流。

【技术特征摘要】
2016.08.29 US 15/250，4291.一种装置，其特征在于，包括：控制装置和配置为与一个或多个投影仪通信的通信接口，所述的控制装置配置为：从视频流中生成多个子帧流；所述的多个子帧流中的每一个包括较低分辨率版本、相对彼此像素偏移的视频流；以一对一的关系通过以下方式从所述多个子帧流生成多个输出子帧流：对所述多个子帧流中的每一个应用多个视频增强滤波器(videoenhancementfilters)，所述的多个视频增强滤波器(videoenhancementfilters)中的每一个用于增强所述视频流的不同特征；并且，根据所述视频流的一个或多个区域中的数据将一个或多个所得增强子帧流合并到各自的输出子帧流中；并且，使用所述通信接口控制一个或多个所述投影仪投影所述多个输出子帧流，从而将所述多个输出子帧流合并成更高分辨率的投影视频流。2.根据权利要求1所述的装置，其特征在于，所述控制装置还配置为通过再次地对所述视频流进行重采样、上采样和下采样以生成所述多个子帧流。3.根据权利要求1所述的装置，其特征在于，所述控制装置还配置为通过以下方式将所述多个视频增强滤波器(videoenhancementfilters)中的一个或多个应用于所述多个子帧流中的每一个：将所述多个子帧流中的每一个从空间域转换为频域；将各自独立的视频增强滤波器(videoenhancementfilter)应用于频域中；并将各自的输出子帧流转换回所述空间域。4.根据权利要求1所述的装置，其特征在于，所述控制装置还配置为通过以下方式将所述的多个视频增强滤波器(videoenhancementfilters)中的一个或多个应用于所述多个子帧流中的每一个：将各自独立的视频增强滤波器(videoenhancementfilter)应用于空间域。5.根据权利要求1所述的装置，其特征在于，所述多个视频增强滤波器(videoenhancementfilters)包括：用于增强所述视频流中的运动目标的第一增强视频滤波器(enhancementvideofilter)和用于增强所述视频流中的静止目标的第二增强视频滤波器(enhancementvideofilter)。6.根据权利要求5所述的装置，其特征在于，所述一个或多个所得增强子帧流包括对于所述运动目标增强的第一增强子帧流和对于所述静止目标增强的第二增强子帧流。7.根据权利要求6所述的装置，其特征在于，所述控制装置还配置为根据所述视频流的一个或多个区域中的所述数据，通过以下方式将所述第一增强子帧流和所述第二增强子帧流合并成相应输出子帧流：确定所述视频流中所述运动目标和所述静止目标所在的相应区域；以及将所述第一增强子帧流的对应部分包括至运动目标区域中，并将所述第二增强子帧流的对应部分包括至静止目标区域中。8.根据权利要求1所述的装置，其特征在于，所述控制装置还配置为通过比较所述视频流的连续帧来确定所述视频流的一个或多个区域中的所述数据。9.根据权利要求1所述的装置，其特征在于，所述多个视频增强滤波器(videoenhancementfilters)包括如下的一个或多个：运动目标视频增强滤波器(amovingobjectvideoenhancementfilter)、静止目标视频增强滤波器(astaticobjectvideoenhancementfilter)、文本增强滤波器(atextenhancementfilter)、纹理增强滤波器(atextureenhancementfilter)、色彩增强滤波器(acolorenhancementfilter)。10.根据权利要求1所述的装置，其特征在于，所述控制装置还配置为将补偿滤波器应用于每个相应增强子帧流，所述的补偿滤波器用于补偿所述一个或更多投影仪的光学像差。11.一种方法，其特征在于，包括：在配置为与一个或多个投影仪通信的装置处，在所述装置处，从视频流中生成多个子帧流；所述的多个子帧流中的每一个包括较低分辨率版本、相对彼此像素偏移的视频流；在所述装置处，通过以下方式以一对一的关系从所述多个子帧流生成多个输出子帧流：对所述多个子帧...

【专利技术属性】
技术研发人员：亚历山大·黄，李亚光，马克·拉姆，希沙姆·斯卡蒂，
申请(专利权)人：科视数字系统美国股份有限公司，
类型：发明
国别省市：美国,US