视频处理系统和视频处理方法技术方案

本发明专利技术公开了视频处理系统和视频处理方法。在内容传输系统中应用码流切换技术。以比特率、失真、以及分段常量算子的函数生成合并帧。通过选择分段常量算子的参数以优化该合并帧。基于带宽需求、切换请求、以及网络吞吐量对数据流进行切换。基于合并帧和预测帧以重建图像。基于合并帧为任意预测帧相同地重建出重建图像。

【技术实现步骤摘要】
【专利说明】 相关申请的交叉引用 本申请要求于 2013 年 7 月 16 日提交的题为"RATE-DISTORTIONOPTIMIZEDMERGE FRAMEUSINGPIECEWISECONSTANTFUNCTIONS" 的美国临时专利申请No. 67/957, 541 的优 先权，其全部内容通过引用合并于此。
本专利技术总体涉及内容分发和码流传输，尤其涉及在内容分发系统中的码流切换。
技术介绍
随着通信技术的进步和扩张，内容共享变得越来越常见。举例而言，视频分享和视 频点播服务的需求逐渐增加并且越来越流行。 内容传输网络或内容分发网络（CDN)包括由内容供应商提供的分散在整个互联 网中用于共享内容的服务器。CDN供应商为内容供应商提供基础设施（例如服务器网络）， 以便其在网络上传输内容。代理或代理服务器通常会缓存内容，然后完成对于同一个内容 的连续请求，从而消除了在网络上对于相同内容的重复传输。终端用户包括使用个人电脑 或者通讯设备，例如智能手机等，通过CND访问内容的用户。 在CDN中，内容传输描述了响应终端用户的请求在网络上传输内容的一个操作。 术语"内容"代表以任何形式存在的任何类型的数据，而不考虑其表示形式和其代表什么。 内容通常同时包括编码媒体和元数据。编码的内容可以包括但不限于，静态的、动态的或者 连续的媒体，包括音频流、视频流、网页、计算机程序、文档、文件等。一些内容可以被嵌入在 其他的内容中，例如使用诸如HTML(超文本标记语言）和XML(可扩展标记语言）等标记语 言。 上述的背景仅仅是为了提供一种网络中内容分发的相关概述，并且不旨在穷尽描 述。通过对以下一个或多个不同的非限制性实施例的详细描述，额外的背景也会变得显而 易见。
技术实现思路
为了解决传统的编码技术中可能会采用过多的比特数对码块进行编码，进而过多 地增加了视频的传输和存储成本的问题，本专利技术提出了一种视频处理系统和视频处理方 法。 所述视频处理系统，包括：处理器，其与存储器通信耦合，用于执行或有助于执行 存储在存储器中的可执行组件，所述可执行组件包括：编码器组件，其被配置为基于第一数 据流的第一预测帧和第二数据流的第二预测帧生成合并帧，其中所述第一预测帧和所述第 二预测帧对应于相同的时间点；以及码流组件，其被配置为响应于切换数据流的指令来生 成包括所述合并帧、和所述第一预测帧或所述第二预测帧中至少一个的传输信号，其中所 述第一预测帧和所述合并帧被配置为构建为目标帧并且所述第二预测帧和所述合并帧被 配置为构建为相同的所述目标帧。 所述视频处理方法包括：通过包含处理器的系统，基于对合并帧的编码的至少一 种性能指标之间的关系进行定义的过程来确定合并函数的参数；通过所述系统，基于由第 一数据流的第一传输信号切换至第二数据流的第二传输信号的合并函数来生成合并帧；以 及响应于检测到码流切换事件，通过所述系统传输所述合并帧、以及所述第一数据流和所 述第二数据流中至少一个的预测帧。 本专利技术公开的系统和方法涉及为宏块的码块的编码选择合并模式、跳过模式或者 帧内模式。选择模式以及根据模式对码块进行编码以促进生成合并帧从而在不同内容流之 间切换。例如，可以产生合并帧使得由不同码流所得的预测帧可以结合该合并帧重建出相 同的画面。因此，可以降低达到所需输出质量所需的数据率和/或可以提高被解码的输出 的质量。【附图说明】 下面将对各种非限制性的实施例所需要使用的附图进行简要描述。图1示出了根据各种实施例的传输内容和合并内容流的系统的示例功能性框图。 图2示出了根据一个实施例的映射侧信息的示例视图。 图3示出了根据各种实施例的码流切换和生成合并帧的系统的示例功能性框图。 图4示出了根据各种实施例的包括编码器和解码器的用于内容传输的系统的示 例功能性框图。 图5示出了比较根据各种实施例的各种合并系统的示例视图。 图6示出了比较根据各种实施例的各种合并系统的示例视图。 图7示出了比较根据各种实施例的各种合并系统的示例视图。 图8示出了比较根据各种实施例的各种合并系统的示例视图。 图9示出了根据一个实施例在内容传输系统中用于编码和解码合并帧的方法的 示例流程图。 图10示出了根据一个实施例在内容传输系统中用于生成合并帧的方法的示例流 程图。 图11示出了根据一个实施例在内容传输网络中用于切换数据流的方法的示例流 程图。 图12示出了根据一个实施例在内容传输系统中用于切换数据流的传输的方法的 示例流程图。 图13示出了根据一个实施例的计算系统的示例框图。 图14示出了示例性的可以实施本文中描述的各种非限制性实施例的非限制性网 络环境的示例框图。【具体实施方式】 以下将参考附图中所示的示例性实施例对本专利技术公开的多个方面进行更加详细 的描述。以下描述均以解释为目的，陈述了多个具体细节用以为本专利技术的不同实施例提供 直观的理解。但是，本专利技术也可以实施为各种不同的形式而不应受限于在此陈述的示例性 实施例。本专利技术的不同方面均涉及在网络中分发内容以及对媒体内容进行编码/解码。编 码器是能够对数字媒体数据进行编码的设备。解码器是能够对数字媒体数据进行解码的设 备。编解码器是能够对数字媒体数据进行编码和/或解码的设备。术语"编解码器（codec) " 由"编码器（coder) "和"解码器（decoder) "的组合、或者"压缩器（compressor) "和"解 压缩器（decompressor)"的组合衍生而来。已有多种可商用的编解码器。例如，通常而言， 编解码器的分类包括离散余弦变换编解码器、分形编解码器、小波编解码器。通过对数字媒 体数据进行编码，编码器或编解码器可以减少用来传输信号的比特数，进而减少了相对应 的传输成本。在视频处理中，对视频帧序列的视频帧中的目标的预测有利于对视频帧序列进行 编码。对于视频帧中目标的预测的准确性是高效压缩编码的重要因素之一。运动预测是预 测类型中的一种，可以用于预测目标以有助于实现视频帧的内部宏块的编码。在对视频帧 进行编码时还可以采用其他种类的预测。例如，帧内预测可以用于预测视频中像素之间的 空间相关性。 但是，在对码块进行编码时，传统的编解码器可能不会通过有效的方法生成预测 块和/或可能不会识别出最有效率的预测块。因此，传统的编码技术可能会采用过多的比 特数（例如，可能采用超出需求的比特数）以对码块进行编码，进而过多地增加了视频的传 输和存储成本。此外，还会对视频的质量带来较大的（例如，负面的）影响。 因此，出现了用于对视频内容进行有效编码和解码的技术。本专利技术公开的系统和 方法涉及为宏块的码块的编码选择合并模式、跳过模式或者帧内模式。选择模式以及根据 模式对码块进行编码以促进生成合并帧从而在不同内容流之间切换。例如，可以产生合并 帧使得由不同码流所得的预测帧可以结合该合并帧重建出相同的画面。因此，可以降低达 到所需输出质量所需的数据率和/或可以提高被解码的输出的质量。 现在开始参考附图，首先参考图1，其展示了可以实现传输内容以及合并内容流的 系统100。在此描述的系统、装置、过程的多个方面可以组成在（多个）机器中实施的机器 可执行组件，例如，以与一个或多个机器相关的一个或多个计算机可读介质（或媒体）方式 实本文档来自技高网...

【技术保护点】
一种视频处理系统，包括：处理器，其与存储器通信耦合，用于执行或有助于执行存储在存储器中的可执行组件，所述可执行组件包括：编码器组件，其被配置为基于第一数据流的第一预测帧和第二数据流的第二预测帧生成合并帧，其中所述第一预测帧和所述第二预测帧对应于相同的时间点；以及码流组件，其被配置为响应于切换数据流的指令来生成包括所述合并帧、和所述第一预测帧或所述第二预测帧中至少一个的传输信号，其中所述第一预测帧和所述合并帧被配置为构建为目标帧并且所述第二预测帧和所述合并帧被配置为构建为相同的所述目标帧。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：区子廉，戴伟，吉恩·张，张毅文，安东尼奥·奥尔特加·迭戈，
申请(专利权)人：香港科技大学，大学共同利用机关法人信息与系统研究机构，
类型：发明
国别省市：中国香港;81