实现交互特效的系统和方法技术方案

方法和系统在视频流媒体中实现了有效特效。在一个实施例中，装置根据解码过程对视频帧进行解码实现特效。所述解码过程包括：访问多个视频流(其中，每个流源自摄像机阵列的相应摄像机)；解码来自所述多个视频流的帧。来自第一摄像机的第一流包括：基于所述第一流中的预测(P)帧编码的第一主特效预测(SP)帧；以及基于来自第二摄像机的第二流中所包括的主特效预测(SP)帧编码的第一辅特效预测(SP)帧。所述方法还包括使用主辅特效预测(SP)帧来渲染特效。

【技术实现步骤摘要】
【国外来华专利技术】实现交互特效的系统和方法
本专利技术实施例大体涉及视频特效领域。
技术介绍
数字计算机、计算器、音频设备、视频设备和电话系统等许多电子技术有助于在商业、科学、教育和娱乐等大多数领域中分析和传送数据，从而提高生产力并降低成本。系统通常涉及在带宽有限的通信网络上传送大量视频信息。传统的通信方法经常尝试通过各种编码方案来减少或压缩信息。然而，传统的编码方案的尝试可能是存在限制且存在问题的(例如，对特效的尝试等)。虽然对于视频和通信编码的传统尝试可减少通过网络传送的信息量，但是它们通常带来很大的处理开销。处理开销可涉及或占据大量的处理资源，从而影响性能。一些方案尝试编码/解码视频流中的帧，且通常涉及来自前一帧的信息，用于编码/解码后一帧。从一个视频流变为另一个视频流的传统尝试通常涉及在新流的开始点或定义的点处再次执行编码操作。这些方法可能存在问题。近年来，互联网上的视频流媒体很流行。各种互联网流媒体协议(例如，HTTP等)利用现有的互联网基础设施，通常容易穿透NAT和防火墙。然而，传统视频流媒体通常具有严格的带宽和延迟要求，这使得公共互联网上保证流媒体服务质量(qualityofservice，简称QoS)非常具有挑战性，因为网络状况经常不断变化。对于某些视频流媒体应用，例如运动、娱乐表演、远程医疗和远程教育，人们可能对其特效感兴趣，例如冻结(例如，子弹时间等)和扫描。然而，在互联网上实现特效是具有挑战性的。已对自适应流媒体技术提出了各种尝试(例如，包括HTTP直播流(AppleHTTPlivestreaming，简称HLS)和Microsoft平滑流等)，然而现有的自适应流方法或尝试(例如，HTTP直播流、平滑流和DASH等)通常不在其方案中提供指定的特效。
技术实现思路
本专利技术描述了在视频流媒体中实现有效特效的方法和系统。在一个实施例中，一种装置包括：处理器，其通过根据解码过程或方法对视频帧进行解码来实现特效；存储器，其存储与所述特效的渲染相关的视频信息。存储器也存储用于处理器实现特效(例如，冻结时间特效和扫描特效等交互特效)的指令。在至少一种实现方式中，渲染视频的过程或方法包括：访问由摄像机阵列捕捉的多个视频流(其中，每个流源自摄像机阵列的相应摄像机)；解码来自所述多个视频流的第一流的帧，其中，所述第一流来自第一摄像机。示例性第一流包括：独立于其他帧进行解码的初始(I)帧；基于所述第一流中的其他帧解码的预测(P)帧；基于所述第一流中的所述预测(P)帧编码的第一主特效预测(SP)帧；基于所述多个视频流的第二流中所包括的主特效预测(SP)帧编码的第一辅特效预测(SP)帧，其中，所述第二流来自第二摄像机。所述方法还包括：使用所述第一流的所述主特效预测(SP)帧和所述第二流的第一辅特效预测(SP)帧来渲染特效。应当理解，可能存在各种摄像机阵列设置方式。例如，第一和第二摄像机在摄像机阵列内以圆形或直线设置方式彼此相邻。在一种示例性实现方式中，所述渲染特效包括基于所述第一流的所述主特效预测(SP)帧和所述第二流的所述第一辅特效预测(SP)帧生成要显示的帧。在一种实现方式中，渲染多个显示帧是基于第二流的第一辅特效预测(SP)帧和第二流的多个预测(P)帧的。在一个实施例中，所述第一流还包括第二辅特效预测(SP)帧，其基于所述多个视频流中来自第三摄像机的第三视频流中所包括的主特效预测(SP)帧编码，其中，所述第一和第三摄像机在所述摄像机阵列内彼此相邻。所述渲染特效还可以包括基于所述第二流的主特效预测(SP)帧和所述多个视频流的第三流的第一辅特效预测(SP)帧渲染要显示的帧。在另一示例性实现方式中，执行编码方法，其中，所述编码方法包括：接收由多个摄像机捕捉的视频；对由所述多个摄像机捕捉的所述视频执行编码操作，其中，所述编码操作产生与所述多个摄像机对应的多个视频流。所述多个视频流每个分别包括：主特效预测(SP)帧，其基于与所述主特效预测(SP)帧包含于同一视频流中的(P)帧进行编码；辅特效预测(SP)帧，其基于所述多个视频流中与包括所述辅特效预测(SP)帧的视频流不同的一个视频流中所包括的另一主特效预测(SP)帧进行编码，其中，可对所述辅特效预测(SP)帧进行操作以促进在解码单元处的特效渲染。所述辅特效预测(SP)帧是多个辅特效预测(SP)帧之一，所述主特效预测(SP)帧是多个主特效预测(SP)帧之一，其中，所述多个辅特效预测(SP)帧中的每个帧基于所述多个主特效预测(SP)帧中的对应一个进行编码。应当理解，在多个视频流中也可以包括各种其他类型的视频帧。例如，所述多个视频流中的每一个可包括(独立于其他帧进行编码的)初始(I)帧和预测(P)帧(基于同一视频流中的其他帧编码)。新的编码/解码方法与各种标准兼容。例如，新的编码方法与HTTP要求兼容。附图说明以下包含在说明书中并形成本说明书的一部分的附图用于示例性地阐述本专利技术的原理，不是用于将本专利技术限制到其示出的特定实施。除非另有具体说明，附图不是按比例绘制的。图1是根据一个实施例的示例性视频处理的流程图；图2是根据本专利技术的一个实施例的示例性系统的系统框图；图3是根据一个实施例的示例性编码过程的流程图；图4是根据一个实施例的示例性视频流设置的框图；图5是根据一个实施例的用于实现冻结时间视频效果的另一示例性视频流的框图；图6是根据一个实施例的用于实现冻结时间视频效果的另一示例性视频流的框图；图7是根据一个实施例的用于实现扫描的示例性视频流的框图；图8是根据一个实施例的摄像机设置的示例性实现方式的俯视框图；图9是根据一个实施例的摄像机设置的示例性实现方式的侧视框图；图10是根据一个实施例的示例性视频流的框图；图11是根据一个实施例的在特定SP帧集合对应的时间的示例性演示或图像的框图。具体实施方式现将详细地对本专利技术的各种实施例、附图示出的示例做出参考。虽然会结合这些实施例进行描述，但可以理解的是它们并不用于将本专利技术限制于这些实施例。相反，本专利技术公开旨在覆盖可以包括在由所附权利要求书限定的本专利技术公开的精神和范围内的替代物、修改和等同物。另外，在以下本专利技术的详细描述中，阐述了许多特定细节以便提供对本专利技术的透彻理解。然而，可以理解的是，实际应用中，可以不包括本专利技术的这些特定细节。在其它实例中没有详细描述众所周知的方法、流程、部件和电路，以免对本专利技术的各方面造成不必要地模糊。本专利技术描述了促进与视频流中的信息相关联的有效编码操作的方法和系统。在一个实施例中，在多个视频流中插入特效预测(SP)帧。SP帧包括主SP帧和对应的辅SP帧。当演示从一个视频流移动到或变为另一个新的视频流时，SP帧启动有效的编码操作。视频流中的变化可以在对新视频流中的过去帧进行最小解码或不做解码的情况下进行。视频流之间的变化可与视图或透视图(例如，摄像机视图等)的变化相关联，且可以利用视图或透视图中的变化来实现各种特效(例如，冻结时间效果和扫描效果等)。图1是根据一个实施例的示例性视频处理100的框图。视频处理100可以促进各种特效的实现。最初相对图1呈现了示例性视频处理100的操作的总概览图，在具体实施方式的稍后部分中阐述了新编码方法的附加说明。在框110中，在多个视频流中捕捉多个视图或透视图。该多个视频流由摄像机阵列本文档来自技高网...

【技术保护点】
一种渲染视频的方法，其特征在于，所述方法包括：访问由摄像机阵列捕捉的多个视频流，其中，每个流源自所述摄像机阵列的相应摄像机；解码来自所述多个视频流的第一流的帧，其中，所述第一流来自第一摄像机，所述第一流包括：独立于其他帧进行解码的初始(I)帧；基于所述第一流中的其他帧解码的预测(P)帧；基于所述第一流中的所述预测(P)帧编码的第一主特效预测(SP)帧；基于所述多个视频流的第二流中所包括的主特效预测(SP)帧编码的第一辅特效预测(SP)帧，其中，所述第二流来自第二摄像机；使用所述第一流的所述主特效预测(SP)帧和所述第二流的第一辅特效预测(SP)帧来渲染特效，其中，所述第一和第二摄像机在所述摄像机阵列内彼此相邻。

【技术特征摘要】
【国外来华专利技术】2014.12.12 US 14/568,7041.一种渲染视频的方法，其特征在于，所述方法包括：访问由摄像机阵列捕捉的多个视频流，其中，每个流源自所述摄像机阵列的相应摄像机；解码来自所述多个视频流的第一流的帧，其中，所述第一流来自第一摄像机，所述第一流包括：独立于其他帧进行解码的初始(I)帧；基于所述第一流中的其他帧解码的预测(P)帧；基于所述第一流中的所述预测(P)帧编码的第一主特效预测(SP)帧；基于所述多个视频流的第二流中所包括的主特效预测(SP)帧编码的第一辅特效预测(SP)帧，其中，所述第二流来自第二摄像机；使用所述第一流的所述主特效预测(SP)帧和所述第二流的第一辅特效预测(SP)帧来渲染特效，其中，所述第一和第二摄像机在所述摄像机阵列内彼此相邻。2.根据权利要求1所述的方法，其特征在于，所述第一流还包括第二辅特效预测(SP)帧，其基于所述多个视频流中来自第三摄像机的第三视频流中所包括的主特效预测(SP)帧编码，其中，所述第一和第三摄像机在所述摄像机阵列内彼此相邻。3.根据权利要求1所述的方法，其特征在于，所述特效是冻结时间特效。4.根据权利要求1所述的方法，其特征在于，所述特效是扫描特效。5.根据权利要求1所述的方法，其特征在于，所述渲染特效包括基于所述第一流的所述主特效预测(SP)帧和所述第二流的所述第一辅特效预测(SP)帧生成要显示的帧。6.根据权利要求1所述的方法，其特征在于，还包括基于所述第二流的所述第一辅特效预测(SP)帧和所述第二流的多个预测(P)帧渲染多个显示帧。7.根据权利要求5所述的方法，其特征在于，所述渲染特效还包括基于所述第二流的主特效预测(SP)帧和所述多个视频流的第三流的第一辅特效预测(SP)帧渲染要显示的帧。8.一种装置，其特征在于，包括：处理器，其根据解码过程对视频帧进行解码，所述解码过程包括：访问由摄像机阵列捕捉的多个视频流，其中，每个流源自所述摄像机阵列的相应摄像机；解码来自所述多个视频流的第一流的帧，其中，所述第一流来自第一摄像机，所述第一流包括：独立于其他帧进行解码的初始(I)帧；基于所述第一流中的其他帧解码的预测(P)帧；基于所述第一流中的所述预测(P)帧编码的第一主特效预测(SP)帧；基于所述多个视频流的第二流中所包括的主特效预测(SP)帧编码的第一辅特效预测(SP)帧，其中，所述第二流来自第二摄像机；使用所述第一流的所述主特效预测(SP)帧和所述第二流的第一辅特效预测...

【专利技术属性】
技术研发人员：吴明权，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44