在实况视频编码和流传输中进行帧复制和帧扩展的系统和方法技术方案

本发明专利技术的实施例提供了一种实况编码系统，该系统能够复制当前编码帧而不是重新编码所述当前帧，然后对于若干不同的自适应位速率流根据需要将复制的帧调整到不同的位速率、分辨率和/或上下文。此外，本发明专利技术的各种实施例能够扩展正在被重新包装和/或重新编码的当前帧的持续时间。利用这些和其它技术，根据本发明专利技术的实施例的实况编码系统能够更高效地处理接收到的数据中的间隙、数据的较慢馈送和/或服务器硬件上的重负载。

【技术实现步骤摘要】
【国外来华专利技术】在实况视频编码和流传输中进行帧复制和帧扩展的系统和方法
本专利技术一般而言涉及来自实况输入流的自适应位速率流的实况编码领域。具体而言，本专利技术涉及用于优化和改进来自实况输入流的自适应位速率流的实况编码的若干技术。
技术介绍
流传输技术已经进步到支持实况顶层流传输的点。实况活动现在可以从由实况编码服务器生成的自适应位速率流来查看。实况编码服务器常常利用MPEG-DASH格式(即，经HTTP的动态自适应流传输)。MPEG-DASH(ISO/IEC23009-1)是用于经互联网流传输多媒体内容的标准。MPEG-DASH由运动图像专家组(MPEG)开发。MPEG已经负责开发以前的多媒体标准，包括MPEG-2、MPEG-4、MPEG-7、MPEG-21等。MPEG-DASH是一种自适应的位速率流传输技术，其启用经互联网从常规HTTPWeb服务器输送媒体内容的高质量流传输。通常，MPEG-DASH使用各自包含经由超文本传输协议(HTTP)检索的视频片段的小文件序列，每个片段包含呈现的重放时间的短间隔。呈现可以是实况活动和/或具有指定的持续时间。可以以各种不同的位速率(诸如300kb/s、500kb/s和3MB/s)使自适应位速率流可用。将源流实况编码和/或转码成多个自适应位速率流可以要求大量的计算资源，并且实况编码硬件相当昂贵。附图说明图1是图示根据本专利技术的实施例的实况编码系统的网络图。图2是图示根据本专利技术的实施例的、由实况编码系统执行的高级处理的流程图。图3概念性地图示了根据本专利技术的实施例的、扩展帧以补偿丢失的输入帧的实况编码系统的示例。图4概念性地图示了根据本专利技术的实施例的、扩展帧以补偿丢失的输入帧的实况编码系统的备选示例。图5概念性地图示了根据本专利技术的实施例的、扩展帧以补偿延迟的输入帧的实况编码系统的示例。图6概念性地图示了根据本专利技术的实施例的、扩展帧以补偿延迟的输入帧的实况编码系统的备选示例。图7概念性地图示了根据本专利技术的实施例的、复制帧以补偿系统负载的实况编码系统的示例。图8是用于根据本专利技术的实施例的实况编码系统和流传输的数据流图。图9是可以由本专利技术的实施例利用的用于MPEG-DASH的媒体呈现描述(MPD)数据模型的示例。图10概念性地图示了根据本专利技术的实施例的实况编码服务器的体系架构。具体实施方式现在转向附图，图示了根据本专利技术的实施例的实况编码系统。在若干实施例中，实况编码系统接收实况媒体馈送，诸如(但不限于)体育赛事、实况新闻报道、网络直播流和/或单个或多路复用的媒体流。媒体流包含在由提供商输送的同时不断地由客户端接收并呈现给客户端的多媒体。流传输(streaming)是指经由流输送媒体的过程。实况编码系统可以向客户端提供从实况输入流编码的媒体流。而且，实况编码系统可以将接收到的实况媒体馈送编码成具有不同最大位速率的若干不同的自适应位速率流。实况编码系统还可以经由包括(但不限于)HTTP请求的协议将实况媒体呈现中的编码的自适应位速率流发送到流传输客户端，和/或将编码的自适应位速率流提供给服务器用以分发到客户端设备。实况媒体呈现的编码和传输对执行这些操作所使用的硬件来说可能是繁重的。本专利技术的实施例提供了几种减少执行实况编码和传输操作的硬件上的负载的技术。例如，根据本专利技术的许多实施例的实况编码系统可以根据若干测量来评估网络和/或服务器负载水平。负载常常作为实况编码系统正在执行的工作(例如，计算、编码操作、存储器操作等)的量来测量。基于评估，实况编码系统可以调整来自实况媒体馈送的视频帧如何被编码。例如，实况编码系统的一些实施例复制当前编码帧，而不是对所述当前帧进行重新编码，然后根据需要针对若干不同的自适应位速率流将复制的帧调整到不同的位速率、分辨率和/或上下文。此外，实况编码系统的各种实施例可以扩展正被重新包装和/或重新编码的当前帧的持续时间。利用这些和其它技术，根据本专利技术的实施例的实况编码系统可以更高效地处理接收数据中的间隙、数据的较慢馈送和/或服务器硬件上的重负载。网络传输水平可以影响实况编码过程。例如，当实况媒体馈送在从实况输入流到实况编码系统的各网络传输层中遭受中断时，实况编码系统会在传入的数据中遇到间隙。传入的数据中的间隙会在输出数据中产生间隙和/或导致实况编码系统不能在被请求时输送输出帧。根据本专利技术的一些实施例的实况编码系统可以评估传入的媒体馈送，以确定间隙是何时发生的。这些评估可以基于若干测量，包括(但不限于)传入的帧速率、传入的位速率、到达帧之间的时间和/或网络带宽测量。根据本专利技术的许多实施例的实况编码系统可以通过在将传入的媒体流重新包装成若干自适应位速率流期间复制帧和/或扩展帧来补偿数据中检测到的间隙。通过复制帧和/或扩展帧，实况编码系统可以允许网络条件有稳定的机会，而不会危及在被请求时客户端所依赖的帧的可用性。具体而言，实况编码系统可以落后于实况流传输媒体的实况边缘。客户端通常从位于呈现的实况边缘的实况流中请求帧。当在本文中被使用时，术语“实况边缘”是指在没有请求还不可用的片段的风险的情况下客户端可以请求的实况流的最近编码的片段。请求还不可用的片段导致许多流传输错误，诸如(但不限于)延迟、HTTP未找到错误，并且会导致带宽阻塞重复请求。服务器负载水平也会影响实况编码过程。在实况编码系统被实现为实况编码服务器的时候，服务器硬件会被编码过程压倒。在实况编码服务器落后于实况边缘的时候，若干自适应位速率流会由于客户端依赖在实况边缘进行的请求而失败。具体而言，实况流传输客户端可以基于实况编码系统不比实时更慢地生成片段的假设来请求视频的片段。根据本专利技术的许多实施例的实况编码系统可以通过扩展当前帧并调整输出帧的时间戳来补偿服务器负载。扩展的帧可以产生微小的和/或难以察觉的视觉错误，但将保留请求并接收客户端为了实况流传输而依赖的HTTP循环。而且，根据本专利技术的实施例的实况编码系统还可以通过复制当前帧并调整输出流所需的其帧上下文来补偿服务器负载。已经讨论了根据本专利技术的许多实施例的实况编码系统的操作和功能的简要概述，下面给出根据本专利技术的实施例的、用于实况编码系统的系统、服务器和方法的更详细讨论。用于实况编码系统的网络体系架构图1中图示了根据本专利技术的实施例的、用于实况编码系统的网络体系架构。系统100包括实况编码服务器和支持硬件102，其包括支持实况编码所需的应用服务器、数据库服务器和/或数据库。实况编码服务器和支持硬件102可以从内容源114接收实况媒体内容和/或非实况内容。内容源114可以包括用来向实况编码服务器和支持硬件102提供媒体的硬件。从内容源114接收的媒体可以包括(但不限于)web流、实况媒体广播、电视广播、实况活动覆盖、来自实况相机的视频馈送、先前存储的媒体、原始媒体馈送、编码的媒体馈送和/或从本地和/或远程存储装置接收的静态文件。实况编码服务器和支持硬件102可以经网络104与若干组设备进行通信，以便提供内容的流。设备组包括(但不限于)web、文件和/或媒体服务器106、计算设备108和/或移动设备112。来自这些设备组的设备的用户可以利用本地流传输客户端查看所提供的流传输内容。此外，来自web、文件和/或媒体服务器106的web服务器还可以对于所提供的流传输内容的附加下游本文档来自技高网...

【技术保护点】
一种使用实况编码系统将输入流编码为多个自适应位速率流的方法，所述方法包括：使用实况编码系统接收输入流；使用实况编码系统评估编码条件；使用实况编码系统将输入流的给定片段编码为多个自适应位速率片段，其中将输入流的给定片段编码为多个自适应位速率片段包括：当评估的编码条件满足第一阈值时，扩展来自输入流的所述给定片段的至少一个帧，并且在所述多个自适应位速率片段的至少一个中使用来自输入流的所述片段的扩展后的至少一个帧；当评估的编码条件满足第二阈值时，复制来自输入流的所述给定片段的至少一个帧，并且在所述多个自适应位速率片段的至少一个中使用来自输入流的所述片段的复制的至少一个帧；以及当评估的编码条件不满足第一阈值或第二阈值时，使用实况编码系统将输入流的所述给定片段的帧编码为所述多个自适应位速率片段。

【技术特征摘要】
【国外来华专利技术】2015.02.27 US 62/126,3931.一种使用实况编码系统将输入流编码为多个自适应位速率流的方法，所述方法包括：使用实况编码系统接收输入流；使用实况编码系统评估编码条件；使用实况编码系统将输入流的给定片段编码为多个自适应位速率片段，其中将输入流的给定片段编码为多个自适应位速率片段包括：当评估的编码条件满足第一阈值时，扩展来自输入流的所述给定片段的至少一个帧，并且在所述多个自适应位速率片段的至少一个中使用来自输入流的所述片段的扩展后的至少一个帧；当评估的编码条件满足第二阈值时，复制来自输入流的所述给定片段的至少一个帧，并且在所述多个自适应位速率片段的至少一个中使用来自输入流的所述片段的复制的至少一个帧；以及当评估的编码条件不满足第一阈值或第二阈值时，使用实况编码系统将输入流的所述给定片段的帧编码为所述多个自适应位速率片段。2.如权利要求1所述的方法，还包括：经至少一个网络将编码的多个自适应位速率片段流传输到多个流传输客户端。3.如权利要求1所述的方法，其中使用实况编码系统评估编码条件还包括：确定前一片段与所述给定片段之间的到达时间，并且其中第一阈值是不同片段的到达之间的特定时间量。4.如权利要求3所述的方法，其中确定前一片段与所述给定片段之间的到达时间还包括：将所述前一片段与所述给定片段之间的时间戳差值与实况编码系统上的时钟实现进行比较。5.如权利要求1所述的方法，其中使用实况编码系统评估编码条件还包括：使用实况编码系统计算正在从输入流接收的数据量，并且其中第一阈值是在指定时间量上接收的特定数据量。6.如权利要求1所述的方法，其中所述多个自适应位速率片段被编码成不同的最大位速率。7.如权利要求1所述的方法，其中输入流是实况流。8.如权利要求7所述的方法，其中实况流包括选自音频轨道、视频轨道、字幕轨道和多媒体轨道的组的媒体。9.如权利要求1所述的方法，其中使用实况编码系统评估编码条件还包括：使用实况编码系统来计算实况编码系统上的负载量，并且其中第二阈值是实况编码系统正在执行的计算工作的特定量。10.如权利要求1所述的方法，其中输入流具有特定编码，并且其中从输入流的片段复制的至少一个帧具有相同的特定编码。11.一种实况编码系统，所述...

【专利技术属性】
技术研发人员：Y·布拉瓦，P·坡塔坡夫，
申请(专利权)人：索尼克IP股份有限公司，
类型：发明
国别省市：美国,US