用于网络环境中在视频会议期间跳过编码的系统和方法技术方案

技术编号:8688340 阅读:171 留言:0更新日期:2013-05-09 08:22
在一个示例中提供了一种方法,该方法包括:接收输入视频,以及从与该视频输入内的当前视频图像相关联的噪声中识别出像素值。该方法还包括:创建与识别出的像素值相关联的跳过参考视频图像,以及将当前视频图像的一部分与该跳过参考视频图像进行比较。该方法还包括:在发生编码操作之前确定要跳过的与当前视频图像相关联的宏块。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术一般地涉及视频领域,更具体地涉及网络环境中在视频会议期间跳过编码(skip coding)。
技术介绍
跳过编码是用于帧间视频编码的高效协议,其中,一宏块作为被跳过的宏块被指示给视频解码器。对这种宏块的解码涉及将解码后的数据复制到参考图片中的相同位置。跳过编码在视频会议情形中特别有价值,在这种视频会议情形中背景通常保持静止且很少变化。判断一宏块是否可被编码为被跳过通常是编码器的任务。基于帧差异度量的判决将遭受视频帧中的时间噪声。这可归因于图像传感器,其中,在照明条件较差等时,对于消费级相机而言时间噪声会变得相当大。在当今的许多视频环境中,时间噪声减小要不无法获得要不价格昂贵。因此,由于时间噪声的缘故使得必须对大量静止视频块进行编码,从而跳过编码可能会失去其功效。恰当地协调这种环境中的视频数据的能力对设备商、服务提供商和网络运营者等提出了极大的挑战。附图说明为了提供对本专利技术及其特征和优点的更完整理解,结合附图来参考下文的描述,在附图中,相似标号表不相似部分,其中:图1是图示出根据本专利技术一个实施例的一种视频会议系统的简化示意图;图2是图示出根据本专利技术一个实施例在端点内的一个示例数据流的简化开图;图3是示出根据本专利技术一个实施例的多级柱状图的简化图形;图4是图示出用于针对输入视频的一部分进行跳过编码判断的一示例判决树的简化示意图;以及图5是图示出与系统相关联的潜在操作的简化流程图。具体实施例方式概沭在一个示例中提供了一种方法,该方法包括:接收输入视频,以及从与该视频输入内的当前视频图像相关联的噪声中识别出像素值。该方法还包括:创建与识别出的像素值相关联的跳过参考视频图像,以及将当前视频图像的一部分与该跳过参考视频图像进行比较。该方法还包括:在发生编码操作之前确定要跳过的与当前视频图像相关联的宏块。该方法还可以包括基于高于指定噪声阈值的一噪声水平来编码与当前视频图像相关联的不跳过的宏块。识别还可以包括生成多个柱状图,用以表示当前输入视频帧与时间上在前的视频帧之间的变化统计。在某些实现方式中,每一个柱状图包括输入视频内的不同亮度水平。如果选择的一个柱状图达到了某一亮度水平,则关联视频图像的对应像素被标记为要登记到参考缓冲器。在更具体的示例中,方法可以包括对与当前视频图像相关联的不跳过宏块和跳过宏块进行聚合,以及在随后将这些宏块经由网络连接传送到与视频会议相关联的端点。对当前视频图像的一部分与跳过参考视频图像的比较可以在单个参考缓冲器中执行,或者在多个参考缓冲器中执行。示例实施例转向图1,图1是图示出根据本专利技术一个实施例的用于视频会议行为的系统的简化示意图。在此特定实现方式中,系统10是利用高级跳过编码协议(或者其任何合适的变体)来辅助经由网络的视频会议的架构的代表。系统10包括被表示为端点12和13的两个不同通信系统,这两个系统被提供在不同的地理位置。端点12可以包括显示器14、多个扬声器15、相机16和视频处理单元17。在此实施例中,视频处理单元17被集成到显示器14中,但是视频处理单元17也容易地可以是独立单元。端点13可以类似地包括显示器24、多个扬声器25、相机26和视频处理单元27。另外,端点12和13可分别被耦合到服务器20、22,其中,端点经由网络18相互连接。每一个视频处理单元17、27还可以包括各自的处理器30a、30b、各自的存储器元件32a、32b、各自的视频编码器34a、34b以及各自的高级跳过编码模块36a、36b。这些元件的功能和操作在下文中详细论述。在涉及(出现在端点12处的)参与者19和(出现在端点13处的)参与者29的会议的上下文中,分组信息可以在会议期间经由网络18传播。当每一个参与者19和29通信时,相机16、26适当地捕捉视频图像作为数据。每一个视频处理单元17、27对该视频数据进行评估,然后判断将哪些数据发送到另一位置以供在显示器14、24上渲染(rendering)。注意,为了阐述系统10的某些示例技术,重要的是理解许多视频应用中出现的数据问题。下面的基本信息可被视为可据其恰当地说明本专利技术的基础。视频处理单元可被配置为在编码视频序列期间跳过视频信号的一些宏块。这意味着将不传输针对这些宏块的任何编码数据。这可以包括带宽和网络拥塞极大关注的编解码器(例如,MPEG-4、H.263等)。另外,对于移动视频电话和基于计算机的会议,处理资源是非常珍贵的。这包括个人计算机(PC)应用,以及用于视频会议的鲁棒系统(例如,远程呈现(Tel印resence))。编码性能通常受限于运算复杂度。运算复杂度可通过在预期要跳过视频数据的某些宏块时(例如在编码之前)不对这些宏块进行处理来降低。跳过宏块节约了相当多的运算资源,因为可以避免对宏块的后续处理(例如,运动估计、变换和量化、熵编码等)。一些软件视频应用通过在编码行为期间丢弃帧来控制处理器利用率:这通常产生解码后的视频序列中的急跳动作。当宏块被随意(不正确地)跳过时,失真也是普遍的。重要的是在降低运算复杂度并对带宽进行管理的同时递送对参与观众足够的视频信号(即,视频信号不具有可辨知的劣化、失真等)。根据本专利技术的教导,系统10采用了一种高级跳过编码(ASC)方法,该方法有效地解决了前述问题。特别地,协议可以包括三个重要组成部分,它们能够集体地解决时间视频噪声所呈现的问题。第一,系统10能够高效地表示时间在前帧的变化统计。第二,系统10能够识别每一个图片元素的最可能“可跳过”的值。第三,联合被提供以参考图片,系统10能够判断当前经编码的图片元素是否应当被编码为跳过。这些组成部分的每一个将在下文中进一步详细论述。通过一起操作,这些编码组件可被配置为判断哪些新数据应当被编码并发送到其他配对端点,以及(已经被捕捉和编码的)哪些数据可用作参考数据。通过最小化将被编码的新数据量,该架构能够最小化端点12、13之间的网络中的处理能力和带宽消耗。在详述与本专利技术相关联的附加操作之前,提供有关图1的相应基础设施的一些初步信息。显示器14、24是可为一个或多个端用户渲染视频数据的屏幕。注意,本文中所使用的术语“显示器”意指能够向端用户呈递(包括视频信息的)图像数据、文本、声音、音视频数据等的任何元件。这必然将包含任何面板、等离子元件、电视、显示器、计算机界面、屏幕、远程呈现设备(包括远程呈现板、面板、屏幕、墙壁、表面等)或者能够递送、渲染或投射这种信息的任何其他合适元件。扬声器15、25和相机16、26 —般被安装在相应显不器14、24的周围。相机16、26可以是无线相机、高清相机或者被配置为捕捉图像数据的任何其他合适的相机设备。类似地,任何合适的音频接收机构可被提供来捕捉各个位置处的音频数据。就其物理配置而言,在一个具体实现方式中,相机16、26是数字相机,它们被安装在显示器14、24的顶部(且在中间)。可在每一个相应显示器14、24上安装一个相机。其他相机布置和相机定位当然在本专利技术的宽泛范围内。相应参与者19和29可驻留在为其提供了相应端点12、13的各个位置处。端点12和13是可用于辅助数据传播的设备的代表。在一个具体示例中,端点12和13是个人实质上可针对任何通信目的而使用的视频会议端点的代表。然而,应当注意,该宽泛术语“端点”可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.09.08 US 12/877,8331.一种方法,包括: 接收输入视频; 从该视频输入内的与当前视频图像相关联的噪声中识别像素值; 创建与所识别的像素值相关联的跳过参考视频图像; 将所述当前视频图像的一部分与所述跳过参考视频图像相比较;以及 在编码操作发生之前,将与所述当前视频图像相关联的宏块确定为要跳过。2.根据权利要求1所述的方法,还包括: 基于高于指定噪声阈值的噪声水平来编码与所述当前视频图像相关联的不跳过宏块。3.根据权利要求1所述的方法,其中,所述识别还包括生成多个柱状图,用以表示当前输入视频帧与时间上在前的视频帧之间的变化统计。4.根据权利要求3所述的方法,其中,所述柱状图中的每一个包括与所述输入视频相关联的不同亮度水平,并且其中,如果所述柱状图中选中的一个柱状图达到了一定亮度水平,则关联视频图像的相应像素被标记为要登记到参考缓冲器。5.根据权利要求1所述的方法,还包括: 对与所述当前视频图像相关联的不跳过宏块和跳过宏块进行聚合;以及 将所述宏块经由网络连接传 送到与视频会议相关联的端点。6.根据权利要求1所述的方法,其中,将所述当前视频图像的一部分与所述跳过参考视频图像相比较是在单个参考缓冲器中执行的。7.根据权利要求1所述的方法,其中,将所述当前视频图像的一部分与所述跳过参考视频图像相比较是在多个参考缓冲器中执行的。8.码在一个或多个有形介质中的逻辑,所述一个或多个有形介质包括用于执行且在被处理器执行时可操作来执行操作的代码,所述操作包括: 接收输入视频; 从该视频输入内的与当前视频图像相关联的噪声中识别像素值; 创建与所识别的像素值相关联的跳过参考视频图像; 将所述当前视频图像的一部分与所述跳过参考视频图像相比较;以及 在编码操作发生之前,将与所述当前视频图像相关联的宏块确定为要跳过。9.根据权利要求8所述的逻辑,所述操作还包括: 基于高于指定噪声阈值的噪声水平来编码与所述当前视频图像相关联的不跳过宏块。10.根据权利要求8所述的逻辑,其中,所述识别还包括生成多个柱状图,用以表示当前输入视频帧与时间上在前的视频帧之间的变化统计。1...

【专利技术属性】
技术研发人员:田第鸿约瑟夫·T·福瑞尔安德鲁·P·维尔
申请(专利权)人:思科技术公司
类型:
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1