从视频流生成输出视频制造技术

提供了用于从表示场景的不同记录的多个视频流生成诸如视频全景之类的输出视频的系统和方法。可以分析所述多个视频流以标识所述多个视频流中的至少一个视频流的要用在输出视频中的至少一部分，由此标识视频流的作出贡献的部分。可以生成标识作出贡献的部分的编排元数据。可以将编排元数据提供给视频流源于的流源，以使得流源能够选择性地流式传输视频流的作出贡献的部分。实际上，可以做出对流的视频数据的选择来避免或减少不必要的带宽使用。

【技术实现步骤摘要】
【国外来华专利技术】从视频流生成输出视频
本专利技术涉及用于从表示场景的不同记录的多个视频流生成诸如复合视频之类的输出视频的方法和系统。本专利技术进一步涉及包括用于使得处理器系统执行该方法的指令的计算机程序，涉及供在生成输出视频时使用的数据结构，并且涉及流源。
技术介绍
已知从表示场景的不同记录或捕捉物的多个视频流生成复合视频。例如，可以从由多个无监督（移动）设备记录的多个视频的组合来生成场景的复合视频。在这样的情况下，通过组合所述多个设备的记录来创建场景的复合视图可以是可能的。可以增强复合视图，因为其可以提供场景的更广的视野、更高的空间分辨率、更高的帧率等。在更广的视野的情况下，这样的复合视频常常被称为全景，并且可能涉及用来使得单独且不同的视频共同地提供复合且全景的视频的这样的方式处理所述单独且不同的视频的拼接（stitch）技术。多个视频的实时拼接被认为是计算密集且消耗存储器的任务。因此，研究先前已经朝着开发可以在拼接服务器上执行并且可以改进拼接视频的视觉质量并增加拼接过程的帧率（例如，每秒生成的帧的数量）并因此增加所产生的全景视频的帧率的高效算法。不利的是，当从场景的不同记录生成输出视频时，在不同记录之间可能存在不充分的协调，这可能降低或限制输出视频的质量。由Refaat等人于2011年7月11日至15日在MultimediaandExpo（ICME）第1-6页发表的命名为“Activefeedbackforenhancingtheconstructionofpanoramiclivemobilevideostreams（用于增强全景直播移动视频流的构造的主动反馈）”的论文涉及多个用户使用他们的移动电话直播流式传输来自不同角度的同一场景，其中目的在于构造场景的全景视频。作者认识到，流式传输用户之间的协调的缺乏可能导致传入流之间的太多重叠、太少重叠或没有重叠而使拼接不能正常地工作。增加挑战的是，流式传输用户一般自由移动，这意味着不同流之间的重叠量在动态地改变。为了解决这些问题，作者提议将反馈从反馈管理器提供到捕捉设备，其中捕捉设备然后向用户显示关于如何调整记录的提示（箭头）。例如，向左的箭头可以指示用户应当向左引导相机。不利的是，上面标识的论文的作者依赖于用户来最佳地捕捉场景，并且特别是来避免传入流之间的太多重叠。然而，如果用户不调整或不能调整正被记录的场景的视图，则在传入流之间可能继续存在太多重叠。传入流之间的太多重叠暗示着冗余视频数据将被传输，这不必要地消耗了带宽。
技术实现思路
获得用于从表示场景的不同记录的多个视频流生成输出视频的方法或系统将会是有利的，其避免或减少不必要的带宽使用。根据本专利技术的第一方面，提供了一种用于从表示场景的不同记录的多个视频流生成输出视频的方法。该方法可以包括：-接收所述多个视频流；-分析所述多个视频流以标识所述多个视频流中的至少一个视频流的要用在输出视频中的至少一部分，由此标识视频流的作出贡献的部分；-生成标识作出贡献的部分的编排（orchestration）元数据；-将编排元数据提供给视频流源于的流源，以使得流源能够选择性地流式传输视频流的作出贡献的部分。根据本专利技术的另一方面，提供了一种用于从表示场景的不同记录的多个视频流生成输出视频的系统。该系统可以包括：-输入接口，用于接收所述多个视频流；-处理器，其被配置用于分析所述多个视频流以标识所述多个视频流中的至少一个视频流的要用在输出视频中的至少一部分，由此标识视频流的作出贡献的部分；-控制器，其被配置用于生成标识作出贡献的部分的编排元数据；以及-输出接口，用于将编排元数据提供给视频流源于的流源，以使得流源能够选择性地流式传输视频流的作出贡献的部分。上面的措施涉及将多个视频流组合成输出视频。出于该目的，例如经由网络接收并且然后分析所述多个视频流。作为分析的结果，标识所述多个视频流中的至少一个视频流的要用在输出视频中的至少一部分。可选地，也可以标识相同视频流或不同视频流的其它部分。所述至少一部分被认为是所述视频流的作出贡献的部分，其然后被经由编排元数据标识给流源。上面的措施具有以下效果：流源被通知视频流的哪个部分要用在输出视频中。照此，例如通过省略传输视频流的一个或多个非作出贡献的部分，使得流源能够自此以后选择性地流式传输视频流的作出贡献的部分。实际上，做出对要流式传输的流的视频数据的选择。特别地，通过选择性地流式传输原始视频流的作出贡献的部分，可以创建比特率减小的视频流，因为至少一些非作出贡献的部分（例如，空间区域和/或时间帧）被从视频流中省略。因为非作出贡献的部分有可能不用在输出视频中，所以该选择性流式传输可以避免或减少不必要的带宽使用。附加的优点可以是，例如通过使未对输出视频作出贡献的视频流的较少部分或者甚至没有部分不得不被处理，可以减少与生成输出视频相关联的计算负荷。将领会，作出贡献的部分可以在视频流中具有多次出现。例如，作出贡献的部分可以是多个视频帧中的空间区域，或者可以表示视频流的帧的时间（子）选择。出现可以以规律的间隔，例如每帧或以某一（时间）距离。因此，通过向流源标识作出贡献的部分的一次出现，可以使得流源能够选择性地流式传输作出贡献的部分的其它出现。将领会，考虑到视频流对输出视频的贡献可以随时间改变，可以连续地或者以规律的间隔执行分析。因此，编排元数据可以被更新（例如，被重新生成）并被提供给流源。为了使得能实现这样的分析，流源除了选择性地流式传输视频的作出贡献的部分之外还可以流式传输其可能对输出视频作出贡献的概率相对较高的部分，诸如作出贡献的部分的周围事物（surrounding）。例如，假如作出贡献的部分是空间区域，则流源可以传输包括围绕该空间区域的边界的空间区域。在实施例中，输出视频可以是所述多个视频流的复合物。复合物的示例包括空间复合物、时间复合物或时空复合物。因此，作出贡献的部分可以是视频流的空间部分、时间部分或时空部分。作出贡献的空间部分的示例是空间区域或多个不连接的空间区域。作出贡献的时间部分的示例是例如表示最初记录的视频的时间二次采样或下转换的所选帧或多个帧。例如，场景最初可以以60Hz记录，并且然后被二次采样或下转换到24Hz以获得24Hz视频流。通过在时间上组合若干这样的经二次采样或下转换的视频流，时间复合物可以具有较高的帧率，例如60Hz或甚至更高。在实施例中，复合物可以是所述多个视频流的空间复合物，并且作出贡献的部分可以是视频流的要被包括在空间复合物中的空间区域。空间复合物的示例是视频全景。照此，可以提供场景的更广的视野。在实施例中，流源可以是记录设备，并且该方法可以进一步包括在编排元数据中包括一个或多个调整指令，所述一个或多个调整指令指示在视频流的记录中的改变空间复合物中的空间区域的大小或位置的调整。调整指令可以表示到流源中的一个或多个的反馈。可以提供这样的反馈，其中目的是更高效地生成输出视频。例如，在输出视频是复合物的情况下，反馈可以确保视频流的作出贡献的部分是互补的并且具有有限的重叠量。在实施例中，所述一个或多个调整指令可以是用户指令，其用于在被提供给用户时使得用户能够调整由记录设备记录的场景的视图。替代地，所述一个或多个调整指令也可以由设备自身自主地或半自主地应用。在另一实施例中，所述一个本文档来自技高网...

【技术保护点】
1.一种用于从表示场景的不同记录的多个视频流生成输出视频的方法，所述方法包括：‑ 接收所述多个视频流；‑ 分析所述多个视频流以标识所述多个视频流中的至少一个视频流的要用在所述输出视频中的至少一个空间部分或者帧的时间选择，由此标识视频流的作出贡献的部分；‑ 生成标识所述作出贡献的部分的编排元数据；‑ 将所述编排元数据提供给所述视频流源于的流源，以使得所述流源能够选择性地流式传输所述视频流的所述作出贡献的部分。

【技术特征摘要】
【国外来华专利技术】2015.12.17 EP 15200626.81.一种用于从表示场景的不同记录的多个视频流生成输出视频的方法，所述方法包括：-接收所述多个视频流；-分析所述多个视频流以标识所述多个视频流中的至少一个视频流的要用在所述输出视频中的至少一个空间部分或者帧的时间选择，由此标识视频流的作出贡献的部分；-生成标识所述作出贡献的部分的编排元数据；-将所述编排元数据提供给所述视频流源于的流源，以使得所述流源能够选择性地流式传输所述视频流的所述作出贡献的部分。2.根据权利要求1所述的方法，其中所述输出视频是所述多个视频流的复合物，诸如空间复合物、时间复合物或时空复合物。3.根据权利要求2所述的方法，其中所述复合物是所述多个视频流的空间复合物，诸如视频全景，并且其中所述作出贡献的部分是所述视频流的要被包括在所述空间复合物中的空间区域。4.根据权利要求3所述的方法，其中所述流源是记录设备，并且其中所述方法进一步包括在所述编排元数据中包括一个或多个调整指令，所述一个或多个调整指令指示所述视频流的记录中的改变所述空间复合物中的所述空间区域的大小或位置的调整。5.根据权利要求4所述的方法，其中所述一个或多个调整指令是用户指令，用于在被提供给所述用户时使得所述用户能够调整由所述记录设备记录的所述场景的视图。6.根据权利要求4或5所述的方法，其中所述一个或多个调整指令被有条件地包括在所述编排元数据中，例如当所提供的视图与由所述多个视频流中的另一视频流提供的视图之间的重叠超过预定阈值时。7.根据权利要求2至6中任一项所述的方法，其中所述编排元数据包括标识所述视频流的所述空间区域的坐标和/或掩码的集合。8.根据权利要求1至7中任一项所述的方法，进一步包括所述流源响应于所述编排元数据而执行以下中的至少一个：-选择性地记录所述视频流的所述作出贡献的部分；-在对所述视频流进行编码之前丢弃非作出贡献的部分；以及-在所述视频流的所述编码中丢弃或减小非作出贡献的部分的比特率。9.根据上面的权利要求中的任一项所述的方法，进一步包括在所述编排元数据中包括一个或多个处理指令，所述一个或多个处理指令指示要由所述流源应用于所述视频流的至...

【专利技术属性】
技术研发人员：HM斯托景，E托马斯，OA尼阿穆特，M普林斯，
申请(专利权)人：皇家KPN公司，荷兰应用自然科学研究组织，
类型：发明
国别省市：荷兰,NL