一种对视频图像帧进行后处理的计算机装置和方法，以及计算机可读介质制造方法及图纸

本发明专利技术的实施例包括用于使用Haar小波变换(HWT)以预处理视频帧的计算机实现的方法，然后可以使用编解码器来压缩该视频帧以产生压缩的视频帧。然后可以发送、解压缩、后处理并以其原始尺寸和质量来显示压缩的视频帧，从而产生视频序列的实时高质量再现。装置可以实现本发明专利技术的方法，并且包括大型计算机、台式计算机、个人计算机、膝上型计算机、平板计算机、无线计算机、电视机、机顶盒、蜂窝电话和计算机可读介质。计算机实现的步骤可以在多核并行硬件架构中容易且有效地被实现。

Multi level video compression, decompression and display for 4K and 8K applications

Embodiments of the present invention include a computer implemented method for preprocessing a video frame using the Haar wavelet transform (HWT), and then use the codec to compress the video frame to generate a compressed video frame. It can then send, decompress, post process and display the compressed video frame with its original size and quality, which can produce the high quality reproduction of the video sequence in real time. Device can realize the method of the invention, and includes mainframe computers, desktop computers, personal computers, laptops, tablet computers, wireless computer, TV, set-top boxes, cellular phone and computer readable medium. The steps of computer implementation can be implemented easily and efficiently in multi-core parallel hardware architecture.

【技术实现步骤摘要】
【国外来华专利技术】优先权要求本国际申请要求于2014年7月16日提交的美国临时专利申请No.62/025,365、于2014年12月29日提交的美国临时专利申请No.62/097,255以及于2015年4月21日提交的美国临时专利申请No.62/150,436的优先权，每个题为“MultilevelVideoCompression,DecompressionandDisplayfor4Kand8Kapplications”，专利技术人AngelDeCegama。这些申请中的每个通过引用完全并入本文，如同单独地并入。版权声明该申请包含受美国(18U.S.C.)和其他国家的版权法保护的材料。
本申请涉及视频压缩、传输、解压缩和显示。特别地，本专利技术涉及用于预处理和后处理视频信息的新装置和方法。更特别地，本专利技术涉及使用基于Haar小波的方法结合计算机实现的压缩和解压缩的装置。
技术介绍
视频通信系统正在被越来越多的数据量淹没，并且当前的视频压缩技术几乎不能跟上计算机、电缆系统、移动装置和电视机的日益增长的需求。在整个世界中，在有线和无线通信网络上的视频数据业务迅速增加，这正在耗尽它们的物理能力，同时针对数百万用户的服务质量相应下降，特别是现在随着4K和8KUHD多媒体内容的引入。当前的暂时解决方案仍是提供大量基础设施投资，包括为城市和农村地区服务的广泛的电缆网络。然而，这种系统需要大量的基础设施、投资和时间。因此，出于商业原因，电缆提供商可能不愿意投入大量的资金来安装电缆基础设施。另一种当前的解决方案是安装用于视频内容的分发的光纤系统。尽管与电缆系统相比，光纤系统可以增加信息量，但是光纤系统遭受需要大量安装、修理和维修的类似问题。出于与电缆提供商的那些类似的商业原因，光纤供应商可能不愿意投资为农村或人口稀少地区服务所需的大量资金。另外，尽管电缆和光纤系统可以提高效率，但存储、发送和显示视频信息的成本相当高。因此，其他当前系统涉及编解码器的使用以在传输之前压缩视频和其他信息。当前使用了许多这样的编解码器。
技术实现思路
尽管电缆和光纤系统的速度和容量都有了提高，但是这两个系统都受限于通过它们馈送的数据的压缩级别。随着内容提供商正在创建越来越多类型的视频信息，迫切需要提供对视频内容的常规处理、传输和显示的替代方案。这些问题通过相对廉价的移动装置(包括移动电话、膝上型计算机、和台式计算机等)在世界范围内的扩散而多方面地增加。移动装置针对常规电缆或光纤系统提出了特别困难的问题，并且随着无线通信的世界范围内的扩散，迫切需要替代方案。这里提出了基于先进技术的新解决方案，其允许在任何给定时间存在的通信基础设施在遥远的未来提供高质量的服务。这些解决方案包括方法的数学描述，以提高任何编解码器的视频压缩能力若干倍，而没有降低由编解码器本身单独产生的视频质量。4K/8KUHD内容本文提出的解决方案还解决了针对开始出现的新的4K超高清晰度(UHD)电视机产生超过高清晰度(HD)的1080p分辨率的内容的问题。这样的4K电视机通常使用输入到电视的现有蓝光盘的1080p内容，其具有将这样的输入“升级(upscale)”(使分辨率加倍)到4K的内部电路。取决于4K电视的质量，这种升级使用简单的技术，诸如像素复制和数学插值，具有相对于真实4K分辨率的相应视觉质量损失。本文提出的新方法针对感兴趣的个人和组织解决了这一质量问题。即使目前几乎没有针对8K内容的需求，本文提出的解决方案也可以以逐像素的相同展示的数学精度从4K内容创建8K内容。用于互联网递送的4K内容的压缩Netflix指示出4K内容的流式传输将需要至少15Mpbs。本文提出的解决方案可以提供小于2Mbps(在大多数情况下实际上约为1.5Mbps)的4K内容。使用本文提出的方法和装置，可以以1Mbps递送1080p分辨率，并且可以以0.15Mbps递送高质量的智能手机视频。应用存在许多类型的新技术的应用。它们包括：1.4K电视制造商，其中可以使用内部硬件(诸如某些4K电视机型中的Netflix播放器)来执行软件实现；2.4K手提电脑制造商，包括东芝、联想等，其中，通过使用快速和高效的计算机实现的方法，快速和高效的处理是期望的；3.机顶盒制造商在：a.蓝光播放器和降低了电视成本的4K电视之间，以及b.电缆公司盒和4K电视之间实现了新的方法和装置；4.Dongle制造商可以驱动4K电视无线地显示，并从任何地方接收高度压缩的视频；5.内容提供商(包括Netflix等)可以大幅降低用于4K显示器以及用于任何其他分辨率的视频递送成本。6.电缆盒和产生显着成本降低的60fps的视频流装置的芯片制造商，诸如STMicroelectronics等。7.内容创建者可以立即使用1080p分辨率来控制至观看者的4K内容递送的成本；8.用于安全的个人和组织使用的视频通信；9.政府应用；以及10.8K应用。本专利技术的方面解决了在有线和无线通信网络上快速增加的视频数据业务的问题，其耗尽了他们的物理能力，具有服务质量相应下降。随着4K和8K超高清晰度(“UHD”)多媒体内容的引入，当前可用的临时解决方案一直是对电缆、光纤和其他类似技术进行大量基础设施投资。不幸的是，这种投资是非常昂贵的，并且破坏在施工现场的区域中的居民生活。这样的基础设施发展与那些没有接入固定电缆或光纤提供商的人不相关。最近，我已经公开了使用Haar小波变换的某些计算机实现的方法。那些公开内容可以在美国专利No.8,031,782、No.8,503,543、PCT申请No.PCT/US2009/04879、美国专利申请No.61/190,585和美国专利申请No.13/958,945中被找到。这些专利和专利申请中的每个的内容通过引用完全并入本文。我现在采取了全新的方法来解决这个问题。新的解决方案基于新颖的计算机实现的处理步骤的应用，后者基于新的数学原理。这些解决方案将任何编解码器的视频压缩能力提高了几倍，而没有由编解码器本身单独产生的视频质量的降低。涉及的处理包括在将原始视频文件的视频帧传递到给定编解码器之前该原始视频文件的视频帧的准备。编解码器然后以其通常的方式处理接收到的帧以产生比没有初始处理的小得多的压缩视频文件。然后可以存储和/或发送压缩的视频文件。针对解压缩和回放，编解码器以其通常的方式解压缩该压缩的视频帧，并且然后将其传递到重建视频文件的后处理装置，当被显示时，该视频文件具有非常高的质量，其与在不使用预处理和后处理步骤的情况下仅由编解码器产生的质量相比是无差别的，但是处于高得多的比特率。附图说明本专利技术参考其具体实施例进行描述。参考附图可以理解本专利技术的其他特征，其中：图1A-图1C描绘了根据一个实施例的视频预处理。图1A描绘了在顶部示出的原始帧100具有像素的列和行，其中一些被标记。如图1B中示出的，应用小波变换。图1B描绘了执行水平小波变换110的实施例。如图1C中示出的，应用小波变换。图1C描绘了执行垂直小波变换120的实施例。图2A-图2C描绘了根据其中发生单级预处理和后处理的实施例的视频后处理。图2A描绘了视频解码器的输出200(pFrameIn)。图2B描绘了已使用逆小波变换(“IWT”)按行来解压缩的视频帧210(Img本文档来自技高网...

【技术保护点】
一种用于对视频图像帧进行预处理的计算机装置，包括：输入端；计算机存储模块，其包含用于根据抽取的Haar WT对由所述输入端接收到的视频帧进行帧预处理的指令；处理器，用于通过保留低频部分并丢弃高频部分来处理所述抽取的WT；以及输出端；用于预处理的所述指令包括以下步骤：i.针对所有行i，将第一个像素存储在原始帧W0(i,0)的第一个元素中，并计算HWT的所有低频值并将它们存储在帧W0(i,j)中；并且ii.针对每个帧W0(i,j)的所有列j，将第一个像素存储在帧W(0,j)的第一个元素中，并计算HWT的所有低频值并将它们存储在帧W(i,j)中。

【技术特征摘要】
【国外来华专利技术】2014.07.16 US 62/025,365;2014.12.29 US 62/097,255;1.一种用于对视频图像帧进行预处理的计算机装置，包括：输入端；计算机存储模块，其包含用于根据抽取的HaarWT对由所述输入端接收到的视频帧进行帧预处理的指令；处理器，用于通过保留低频部分并丢弃高频部分来处理所述抽取的WT；以及输出端；用于预处理的所述指令包括以下步骤：i.针对所有行i，将第一个像素存储在原始帧W0(i,0)的第一个元素中，并计算HWT的所有低频值并将它们存储在帧W0(i,j)中；并且ii.针对每个帧W0(i,j)的所有列j，将第一个像素存储在帧W(0,j)的第一个元素中，并计算HWT的所有低频值并将它们存储在帧W(i,j)中。2.一种用于对视频图像帧进行后处理的计算机装置，包括：输入端；计算机存储模块，其包含用于使用HaarWT的低频部分进行帧后处理的指令，使用以下步骤：处理器，其被编程为执行以下步骤；i.针对帧Wx(i,j)的所有行i，将第一行复制到F0(0,j)＝Wx(0,j)；ii.针对所有列j，计算下一行F0(1,j)＝(2*Wx(1,j)+F0(0,j))/3；iii.针对所有列j，计算下一行F0(2,j)＝(2*Wx(2,j)-F0(1,j))/3)；iv.针对所有列j，计算下一行F0(3,j)＝2*Wx(2,j)-F0(2,j)；v.针对所有列j，类似地计算后续行；vi.将F0(i,j)的第一列复制到F(i,0)，F(i,0)＝F0(i,0)；vii.针对F0(i,j)的所有行i，计算下一列F(i,1)＝((2F0(i,1)+F(i,0))/3；F(i,2)＝((2F0(i,2)+F(i,1))/3；F(i,3)＝((2F0(i,2)-F(i,2))；viii.针对所有列j>3，类似地计算后续列；并且is.存储计算出的像素。3.一种用于视频图像压缩和解压缩的系统，包括：权利要求1的用于图像帧预处理的第一计算机模块，视频编解码器；权利要求2的用于图像帧后处理的第二计算机模块；以及输出装置；所述第一计算机模块或所述第二计算机模块是从由大型计算机、台式计算机、个人计算机、膝上型计算机、平板计算机、无线计算机和蜂窝电话组成的组中选出的可编程处理装置。4.一种计算机可读介质，包括：物理介质；以及其上的根据权利要求1的对视频帧进行预处理的指令。5.一种计算机可读介质，包括：物理介质；以及其上的根据权利要求2的对减小的视频帧进行后处理的指令。6.根据权利要求4或权利要...

【专利技术属性】
技术研发人员：安格尔·迪斯伽马，
申请(专利权)人：雅玛兹资讯处理公司，
类型：发明
国别省市：荷兰;NL