视频内容分类制造技术

用于视频内容分类的方法、系统和装置，包括编码在计算机存储介质上的计算机程序。视频内容分类系统对输入视频数据逐帧地进行分类。视频内容分类系统在每一个帧上执行定制的离散余弦变换(DCT)操作。视频内容分类系统随后基于DCT操作的结果确定该帧中多少图像信息可能由于压缩而损失。如果估计该损失低于阈值，则视频内容分类系统应用高数据压缩率算法来压缩该帧。否则，视频内容分类系统应用低数据压缩率算法来压缩该帧。视频内容分类系统可以生成被逐帧不同地压缩的输出视频数据。

【技术实现步骤摘要】
【国外来华专利技术】视频内容分类
本公开一般地涉及数据压缩。
技术介绍
在计算机网络上发送大量视频数据受视频数据的大小和计算机网络连接的吞吐量约束。在发送数据前对视频数据进行压缩能够产生更快的传输。各种传统的压缩算法是可用的。然而，在视频的一部分上工作良好的压缩算法在被使用在视频的另一部分上时，可能产生无法接受的质量。用于在计算机网络上发送视频数据的传统的系统可以选择使用较少压缩以保持质量的低数据压缩率算法。然而，低数据压缩率产生较大尺寸的压缩后的数据。为了补偿，系统可以减少视频帧率来每秒发送较少的帧。
技术实现思路
视频内容分类系统对输入视频数据逐帧地进行分类。视频内容分类系统在每一个帧上执行定制的离散余弦变换(DCT)操作。视频内容分类系统随后基于DCT操作的结果确定该帧中多少图像信息可能由于压缩而损失。如果估计该损失低于阈值，则视频内容分类系统应用高数据压缩率算法来对该帧进行压缩。否则，视频内容分类系统应用低数据压缩率算法来对该帧进行压缩。视频内容分类系统可以生成被逐帧不同地压缩的输出视频数据。在本说明书中所述的特征可以被实现来达成一个或多个优势。例如，在一些情况下，在本说明书中所述的技术可以在不牺牲视频质量的情况下最大化数据压缩率，该数据压缩率是未压缩的数据与压缩后的数据之间的比率。通过对视频采用多种压缩算法，视频内容分类系统能够避免必须在损失帧率、损失质量和大的结果数据大小之间折中。这些折中在传统的视频压缩系统中是常见的。视频内容分类系统使用高效算法来对视频内容进行分类。分类的开销可以最小，并且该算法足够快以便实时应用。在下面的附图和描述中阐述了本主题的一个或多个实现的细节。从下面的描述、附图以及权利要求，本主题的其他特征、方面和优势将变得显而易见。附图说明图1是示出示例视频内容分类系统的操作的示图。图2是示出示例视频内容分类系统的示例部件以及部件的交互的框图。图3示出了选择视频内容以执行分类的示例技术。图4是示出选择像素块以用于进行分类的示例技术的示图。图5是示出视频内容分类的过程的示例的流程图。图6是示出确定视频中帧的信息损失分数的过程的示例的流程图。图7是用于实现图1到图6的特征和操作的系统架构的示例的框图。具体实施方式如图1中所示，视频内容分类系统102从视频数据源106接收视频数据104。视频数据源106可以是显示设备(例如计算机屏幕)的显示缓冲器。显示缓冲器可以以例如50Hz或60Hz帧率被刷新。视频数据104可以包括具有高可压缩性的内容(例如电影)，该内容在使用基于DCT的压缩算法进行压缩之后不会明显劣化，其中基于DCT的压缩算法例如联合图像专家组(JPEG)压缩算法或动态图像专家组(MPEG)压缩算法。视频数据104包括帧序列，例如帧108A、110A和112A。每一个帧可以对应于整个屏幕的显示内容或者该内容的一部分。在给定时刻，整个屏幕的显示内容可以由单个帧表现，或者由多个独立的帧表现。例如，正在播放的电影可以占据整个屏幕或者屏幕的电影窗口部分。屏幕可以显示多个窗口。每一个窗口可以具有各自的不同的帧序列。每一个帧序列可以与指定该帧序列位于屏幕上的何处的位置信息相关联。每一个帧包括图像，该图像对应于在给定时刻显示缓冲器的内容的至少一部分。该图像可以由例如多个数字像素表现。每一个像素分别包括颜色分量的值，例如红色、绿色和蓝色的强度。一些帧(例如帧108A和112A)可能是比其他帧(例如包含文本的帧110A)更加可压缩的电影帧。当被相同的基于DCT的压缩算法压缩时，从帧108A所得的图像将比从帧110A所得的图像损失更少的信息。视频内容分类系统102为帧108A、110A和112A中的每一者确定信息损失分数，该信息损失分数衡量帧108A、110A和112A中的每一者有多么可压缩。较低的信息损失分数指示压缩后较低的信息损失以及较高的可压缩性。例如，当使用基于DCT的压缩算法由给定数据压缩率(例如2比1)压缩时，帧108A可能不会具有显著的信号损失。所得的压缩后的图像可能视觉上没有改变。因此，帧108A具有低信息损失分数并且可以被指定为具有高可压缩性。相比之下，当使用相同的基于DCT的压缩算法以相同的数据压缩率压缩时，帧110A可能具有显著的信号损失并且可能显著地恶化。因此，帧110A具有高信息损失分数并且可以被指定为具有低可压缩性。在下面参考图6描述了关于如何确定帧的信息损失分数的额外细节。视频内容分类系统102根据帧108A、110A和112A各自的信息损失分数对帧108A、110A和112A不同地进行压缩。对具有低信息损失分数的帧(例如帧108A或帧112A)，视频内容分类系统102使用具有高数据压缩率的压缩算法(例如基于DCT的压缩算法)执行压缩或者引发外部的压缩器来执行压缩。对具有高信息损失分数的帧，视频内容分类系统102使用无损的基于非DCT的压缩算法或者具有低数据压缩率的基于DCT的压缩算法来执行压缩或者引发外部的压缩器来执行压缩。该“高”数据压缩率和“低”数据压缩率是相对于帧108A、110A和112A中的内容而言的。可能的是，低数据压缩率算法造成高于使用高数据压缩率算法所达到的最终数据压缩率的最终数据压缩率。视频内容分类系统102生成压缩后的视频数据114。压缩后的视频数据114包括压缩后的帧108B、110B和112B的序列，帧108B、110B和112B分别对应于原始的帧108A、110A和112A。视频内容分类系统102随后可以通过计算机网络118将压缩后的视频数据114发送到远程显示系统116用于显示。图2是示出视频内容分类系统102的示例部件以及部件之间的交互的框图。视频内容分类系统102的每一个部件可以包括硬件(例如处理器)、软件(例如计算机指令)或者硬件和软件两者。视频内容分类系统102包括帧处理机202。帧处理机202是视频内容分类系统102的、被配置来从视频数据源106接收视频数据204的部件。视频数据204包括多个帧。帧处理机202选择并处理视频数据204中的每一个帧的子部分，并将处理后的子部分206提交给DCT运算器208以进一步处理。下面参考图3-图4描述了选择和处理帧的子部分的额外细节。DCT运算器208是视频内容分类系统102的如下部件：被配置来通过在帧的处理后的子部分206上执行定制的DCT操作来计算每一个帧的信息损失分数。为了加速计算，DCT运算器208可以使用预先运算的常数表210。DCT运算器208将信息损失分数标签于每一个各自的帧，从而生成已标签的帧212。DCT运算器208将已标签的帧212提交给帧分类器214以进行分类。下面参考图6描述了DCT运算器208的操作与常数表210的额外细节。帧分类器214是视频内容分类系统102的如下部件：被配置来基于与每一个帧相关联的信息损失分数对该帧进行分类。帧分类器214基于一个或多个压缩阈值216来执行分类。例如，在确定帧218的信息损失分数低于预定的压缩阈值216时，帧分类器214将帧218分类为电影帧。类似地，在确定帧220的信息损失分数高于压缩阈值216时，帧分类器214将帧220分类为图形用户界面帧或文本帧。帧分类器214可以将该电影帧218和该图形用户界面帧220提交给一个或多个压缩器2本文档来自技高网...

【技术保护点】
一种方法，包括：通过一个或多个计算机接收视频数据，所述视频数据包含帧序列，每一个帧包括包含多个像素的图像；从每一个帧中选择多个像素块；计算每一个帧的各自的信息损失分数，所述信息损失分数指示在使用第一压缩算法对各自的帧进行压缩时所述各自的帧中的所述图像中的信息的估计的损失程度；确定在所述帧序列中第一帧的信息损失分数满足压缩阈值而所述帧序列中第二帧的信息损失分数不满足所述压缩阈值；作为响应，使用所述第一压缩算法对所述第一帧进行压缩，并且使用第二压缩算法对所述第二帧进行压缩，所述第二压缩算法不同于所述第一压缩算法；以及提交压缩后的第一帧和压缩后的第二帧，以渲染为输出视频中的连续帧序列以显示在显示设备上。

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：通过一个或多个计算机接收视频数据，所述视频数据包含帧序列，每一个帧包括包含多个像素的图像；从每一个帧中选择多个像素块；计算每一个帧的各自的信息损失分数，所述信息损失分数指示在使用第一压缩算法对各自的帧进行压缩时所述各自的帧中的所述图像中的信息的估计的损失程度；确定在所述帧序列中第一帧的信息损失分数满足压缩阈值而所述帧序列中第二帧的信息损失分数不满足所述压缩阈值；作为响应，使用所述第一压缩算法对所述第一帧进行压缩，并且使用第二压缩算法对所述第二帧进行压缩，所述第二压缩算法不同于所述第一压缩算法；以及提交压缩后的第一帧和压缩后的第二帧，以渲染为输出视频中的连续帧序列以显示在显示设备上。2.根据权利要求1所述的方法，其中选择所述像素块包含：确定每一个各自的帧的子部分，所述子部分代表所述各自的帧中的所述图像；以及选择位于所述各自的帧的所述子部分中的所述像素块。3.根据权利要求1所述的方法，其中计算每一个帧的所述各自的信息损失分数包含：通过将离散余弦变换DCT应用到所述帧的每一个已选择的像素块，为所述像素块确定各自的频域数据；使用每一个像素的各自的像素值来确定每一个像素块的各自的最高频率DCT系数；以及基于所述帧中的所述像素块的所述最高频率DCT系数来确定所述帧的所述信息损失分数。4.根据权利要求3所述的方法，其中每一个像素的所述像素值是所述像素的被确定为最大地影响人类心理视觉系统的颜色分量。5.根据权利要求4所述的方法，其中，在所述像素被分解为红色、绿色和蓝色的情况下，所述像素的所述颜色分量是绿色分量；或者在所述像素被分解为亮度和色度的情况下，所述像素的所述颜色分量是亮度分量。6.根据权利要求3所述的方法，其中确定所述帧的所述信息损失分数包含：将所述帧中具有最大绝对值的、像素块的最高频率DCT系数指定为所述帧的所述信息损失分数。7.根据权利要求1所述的方法，其中所述第一压缩算法是基于离散余弦变换DCT的压缩算法，而所述第二压缩算法是无损压缩算法或者是具有低于所述第一压缩算法的数据压缩率的基于DCT的压缩算法。8.根据权利要求1所述的方法，其中：所述视频数据是从显示缓冲器接收的，并且所述压缩后的第一帧和所述压缩后的第二帧通过计算机网络被提交给所述显示设备。9.一种非临时性存储介质，存储有计算机指令，所述计算机指令可操作来引发一个或多个计算机执行操作，所述操作包括：接收视频数据，所述视频数据包含帧序列，每一个帧包括包含多个像素的图像；从每一个帧中选择多个像素块；计算每一个帧的各自的信息损失分数，所述信息损失分数指示在使用第一压缩算法对各自的帧进行压缩时所述各自的帧中的所述图像中的信息的估计的损失程度；确定在所述帧序列中第一帧的信息损失分数满足压缩阈值而所述帧序列中第二帧的信息损失分数不满足所述压缩阈值；作为响应，使用所述第一压缩算法对所述第一帧进行压缩，并且使用第二压缩算法对所述第二帧进行压缩，所述第二压缩算法不同于所述第一压缩算法；以及提交压缩后的第一帧和压缩后的第二帧，以渲染为输出视频中的连续帧序列以显示在显示设备上。10.根据权利要求9所述的非临时性存储介质，其中选择所述像素块包含：确定每一个各自的帧的子部分，所述子部分代表所述各自的帧中的所述图像；以及选择位于所述各自的帧的所述子部分中的所述像素块。11.根据权利要求9所述的非临时性存储介质，其中计算每一个帧的所述各自的信息损失分数包含：通过将离散余弦变换DCT应用到所述帧的每一个已选择的像素块，为所述像素块确定各自的频域数据；使用每一个像素的各自的像素值来确定每一个像素块的各自的最高频率DCT系数；以及基于所述帧中的所述像素块的所述最高频率DCT系数来确定所述帧的所述信息损失分数。12.根据权利要求11所述的非临时性存储介质，其中每一个像素的所述像素值是所述像素的被确定为最大地影响人类心理视觉系统的颜色分量。13.根据权利要求12所述的非临时性存储介质，其中，在所述像素被分解为红色、绿色和蓝色的情况下，所述像素的所...

【专利技术属性】
技术研发人员：L·G·G·路奈苏，D·A·沃尔特，
申请(专利权)人：云巅控股有限公司，
类型：发明
国别省市：上海,31