视频再混合系统技术方案

本发明专利技术涉及一种用于创建视频再混合的方法和有关装置，所述方法包括：在处理设备中获得多项来源内容；确定将要包括在视频再混合中的来自所述来源内容的多个片段；确定把所述多个片段转换成适合于视频再混合的形式所需的编辑处理；分配所述编辑处理以便在至少一个处理设备中并行地执行；以及把接收自所述编辑处理的多个片段合并到视频再混合中。

【技术实现步骤摘要】
【国外来华专利技术】视频再混合系统
技术介绍
视频再混合是这样一种应用，其中对多个视频记录进行组合以便获得包含从所述多个视频记录当中选择的一些片段的视频混合。因此，视频再混合是一种基本的人工视频编辑应用，为此已经可以获得多种软件产品和服务。此外，存在自动视频再混合或编辑系统，其使用用户生成的或专业记录的多个事例来自动生成组合来自可用来源内容的内容的再混合。一些自动视频再混合系统仅仅依赖于所记录的内容，而其他自动视频再混合系统则能够利用与视频内容一起记录的环境情境数据。所述情境数据例如可以是接收自罗盘、加速度计或陀螺仪的传感器数据或者GPS位置数据。视频再混合是在计算方面需求较高的任务，特别当可能被编码到不同的不兼容文件格式中的多个记录被用作来源内容时尤其是这样。由于视频再混合系统的瓶颈，获得所期望的最终视频再混合可能会被大大延迟。因此需要更加高效的视频再混合系统。
技术实现思路
现在已经专利技术了一种改进的方法以及实施所述方法的技术装备。本专利技术的各个方面包括一种方法、一种装置、一种系统和一种计算机程序，其特征在于独立权利要求中所阐述的内容。在从属权利要求中公开了本专利技术的各个实施例。根据第一方面，提供一种用于创建视频再混合的方法，所述方法包括:在处理设备中获得多项来源内容；确定将要包括在视频再混合中的来自所述来源内容的多个片段；确定把所述多个片段转换成适合于视频再混合的形式所需的编辑处理；分配所述编辑处理以便在至少一个处理设备中并行地执行；以及把接收自所述编辑处理的多个片段合并到视频再混合中。根据一个实施例，所述来源内容包括视频、音频和/或图像的至少其中之一，并且所述编辑处理包括以下各项的至少其中之一:-把至少一项来源内容剪切成多个片段；-对来源内容的一个片段的至少一部分进行解码；-对来源内容的一个片段的至少一部分进行编码。根据一个实施例，所述方法还包括:接收针对创建视频再混合的用户请求，所述用户请求包括针对在一定时间段内创建视频再混合的请求；确定编辑处理的最优分配，从而使得根据所述至少一个处理设备的可用处理能力对编辑处理进行优化并且可以在所述时间段内创建视频再混合；以及根据所述最优分配来分配所述编辑处理，以便在至少一个处理设备中并行地执行。根据一个实施例，所述方法还包括:获得对应于来源视频的至少一些帧的深度图；基于深度图检测来源视频中的视频镜头的类型和/或遮挡视野的对象；以及根据所检测到的视频镜头的类型和/或所检测到的遮挡视野的对象对来源视频进行索引。根据一个实施例，所述方法还包括:通过把帧的深度图划分成至少两个无重叠的感兴趣区段来分析该帧的深度图，其中一个感兴趣区段是中心感兴趣区段；以及把每一个感兴趣区段的深度计算为深度的加权平均值，其中所述加权是基于深度图的可靠性数值。根据一个实施例，所述方法还包括:通过把中心感兴趣区段的深度与其余感兴趣区段的深度进行比较而把包括在来源视频中的视频镜头的类型检测为近景镜头、中景镜头或远景镜头，用于检测视频镜头的类型的标准至少包括具有与中心感兴趣区段的深度基本上类似的深度并且处在离中心感兴趣区段的预定义距离内的感兴趣区段的数目。根据一个实施例，所述方法还包括:检测来源视频中的遮挡视野的对象，这是基于其深度基本上处于遮挡对象的预期位置的深度处的各个感兴趣区段的平均深度与其余感兴趣区段的平均深度之间的差异而实现的。根据第二方面，提供一种装置，其包括至少一个处理器、包括计算机程序代码的存储器，所述存储器和计算机程序代码被配置成利用所述至少一个处理器使得所述装置至少施行以下步骤:获得多项来源内容；确定将要包括在视频再混合中的来自所述来源内容的多个片段；确定把所述多个片段转换成适合于视频再混合的形式所需的编辑处理；分配所述编辑处理以便在至少一个处理设备中并行地执行；以及把接收自所述编辑处理的多个片段合并到视频再混合中。根据第三方面，提供一种具体实现在非瞬时性计算机可读介质上的计算机程序，所述计算机程序包括指令，当在至少一个处理器上执行时，所述指令使得至少一个装置:获得多项来源内容；确定将要包括在视频再混合中的来自所述来源内容的多个片段；确定把所述多个片段转换成适合于视频再混合的形式所需的编辑处理；分配所述编辑处理以便在至少一个处理设备中并行地执行；以及把接收自所述编辑处理的多个片段合并到视频再混 由口卞o根据第四方面，提供一种系统，其包括至少一个处理器、包括计算机程序代码的存储器，所述存储器和计算机程序代码被配置成利用所述至少一个处理器使得所述系统至少施行以下步骤:获得多项来源内容；确定将要包括在视频再混合中的来自所述来源内容的多个片段；确定把所述多个片段转换成适合于视频再混合的形式所需的编辑处理；分配所述编辑处理以便在至少一个处理设备中并行地执行；以及把接收自所述编辑处理的多个片段合并到视频再混合中。通过后面的各个实施例的详细公开内容，本专利技术的前述和其他方面以及与之有关的各个实施例将变得显而易见。【附图说明】下面将参照附图更加详细地描述本专利技术的各个实施例，其中:图1a和Ib不出了根据一个实施例的适于用在自动视频再混合服务中的系统和设备;图2示出了对应于自动视频再混合服务的一个实现方式实施例的方块图；图3示出了根据一个实施例的视频片段的部分再编码方法；图4示出了根据一个实施例的用于基于时间间隔需求的视频再混合生成的系统；图5是用于在视频帧的深度图中定位一定数量的无重叠感兴趣区段(ROI)的一个实例；图6示出了用于根据所记录场景的深度图检测视频镜头的类型的一个实施例的流程图；图7示出了用于根据所记录场景的深度图检测遮挡视野的对象的一个实施例的流程图。【具体实施方式】众所周知，许多现今的便携式设备(比如移动电话、摄影机、平板电脑)配备有高质量摄影机，其允许捕获高质量视频文件和静止图像。除了前面的能力之外，这样的手持式电子设备现在装配有多个传感器，其可以帮助不同的应用和服务情境化所述设备如何被使用。传感器(情境)数据和这样的数据流可以与视频或图像或者其他记录模式(例如话音)一起被记录。通常来说，在有许多人出席的事件中，比如现场音乐会、体育活动、社交事件，有许多人会利用其便携式设备来记录静止图像和视频。前面提到的传感器可以甚至自动触发对于令人感兴趣的时刻的图像/视频捕获(如果其被传感器检测到的话)。举例来说，聚会中的响亮语音可以是针对视频捕获的声学触发，或者人们突然转向另一个方向可以是接收自便携式设备的罗盘传感器的针对视频捕获的指向(orientation)触发。空间上接近的各个便携式设备可以协同识别出一个事件，并且至少定位对于该事件具有最佳视野的便携式设备。记录内容的设备可能与其他设备断开但是共享所记录的来源内容和相应的传感器数据，其被一同集中在文件服务器中或者用于生成自动再混合的任何此类适当机制。来自这样的事件的出席者的记录以及可能连同各种传感器信息为本专利技术及其实施例提供了适当的框架。图1a和Ib示出了根据一个实施例的适用于自动视频再混合服务的系统和设备。在图1a中，不同的设备可以通过例如因特网或局域网之类的固定网络210连接；或者通过移动通信网络220连接，比如全球移动通信系统(GSM)网络、第三代(3G)网络、3.5代(3.5G)网络、第四代(4G)网络、无线局域网(WLAN)、Blue本文档来自技高网...

【技术保护点】
一种用于创建视频再混合的方法，所述方法包括：在处理设备中获得多项来源内容；确定将要包括在所述视频再混合中的来自所述来源内容的多个片段；确定把所述多个片段转换成适合于所述视频再混合的形式所需的编辑处理；分配所述编辑处理以便在至少一个处理设备中并行地执行；以及把接收自所述编辑处理的所述多个片段合并到所述视频再混合中。

【技术特征摘要】
【国外来华专利技术】1.一种用于创建视频再混合的方法，所述方法包括: 在处理设备中获得多项来源内容； 确定将要包括在所述视频再混合中的来自所述来源内容的多个片段； 确定把所述多个片段转换成适合于所述视频再混合的形式所需的编辑处理； 分配所述编辑处理以便在至少一个处理设备中并行地执行；以及 把接收自所述编辑处理的所述多个片段合并到所述视频再混合中。2.根据权利要求1所述的方法，其中，所述来源内容包括视频、音频和/或图像的至少其中之一，并且所述编辑处理包括以下各项的至少其中之一: -把至少一项来源内容剪切成多个片段； -对来源内容的片段的至少一部分进行解码； -对来源内容的片段的至少一部分进行编码。3.根据权利要求2所述的方法，其中， 响应于来源视频是利用所期望的编码器被编码并且片段的剪切点位于预测帧处，所述方法还包括: 仅对从所述预测帧到所述片段的下一个内部编码帧之前的预测帧的视频帧进行解码，或者如果在所述片段中没有后续内部编码帧，则仅对从所述预测帧到所述片段的末尾的视频帧进行解码；并且 利用所述期望的编码器对所述已解码帧进行编码，从而使得位于所述片段的剪切点处的所述预测帧被编码为内部编码帧。4.根据权利要求2所述的方法，其中， 响应于来源内容的片段被解码及再编码，所述方法还包括: 为所述片段分配附加的剪切点。5.根据权利要求4所述的方法，所述方法还包括: 为所述片段分配所述附加剪切点，从而使得最大片段持续时间小于预定义阈值，其中所述阈值被设定成其持续时间等于该阈值的片段的编码时间。6.根据权利要求4所述的方法，所述方法还包括: 为所述片段分配所述附加剪切点，从而使得最大片段持续时间小于预定义阈值，其中根据所述至少一个处理设备的可用处理能力优化所述阈值。7.根据权利要求4-6当中的任一条所述的方法，其中， 响应于来源内容包括允许估计一项或更多项场景改变的存在的辅助信息，所述方法还包括: 为处在所估计的一项或更多项场景改变处或者附件的所述片段分配所述附加剪切点。8.根据权利要求7所述的方法，其中， 所述辅助信息包括具有与来源内容同步的时间戳的传感器数据。9.根据任一条在前权利要求所述的方法，所述方法还包括: 接收针对创建视频再混合的用户请求，所述用户请求包括针对在一定时间段内创建视频再混合的请求； 确定所述编辑处理的最优分配，从而使得根据所述至少一个处理设备的可用处理能力对所述编辑处理进行优化并且可以在所述时间段内创建所述视频再混合；以及根据所述最优分配来分配所述编辑处理，以便在至少一个处理设备中并行地执行。10.根据权利要求1-8当中的任一条所述的方法，所述方法还包括: 接收针对创建视频再混合的用户请求，所述用户请求包括针对在一定时间段内创建视频再混合的请求，其中所述时间段已由用户设备根据来自所述至少一个处理设备的工作负荷信息确定。11.根据权利要求9或10所述的方法，其中，所述用户请求还包括用于确定针对生成所述视频再混合的所述时间段的输入参数集合，所述输入参数集合还包括以下各项当中的一项或更多项: -针对接收视频再混合的响应时间的用户优选项； -用户顾客简档信息； -用户的当前存在状态。12.根据任一条在前权利要求所述的方法，所述方法还包括: 获得对于来源视频的至少一些帧的深度图； 基于所述深度图检测所述来源视频中的视频镜头的类型和遮挡视野的对象的至少其中之一；以及 根据所检测到的视频镜头的类型和所检测到的遮挡视野的对象的至少其中之一对所述来源视频进行索引。13.根据权利要求12所述的方法，所述方法还包括通过以下步骤来分析帧的所述深度图: 把该帧的深度图划分成至少两个无重叠的感兴趣区段，其中一个感兴趣区段是中心感兴趣区段；以及 把每一个感兴趣区段的所述深度计算为所述深度的加权平均值，其中所述加权是基于所述深度图的可靠性数值。14.根据权利要求13所述的方法，所述方法还包括: 通过把所述中心感兴趣区段的深度与其余感兴趣区段的深度进行比较而把包括在所述来源视频中的所述视频镜头的类型检测为近景镜头、中景镜头或远景镜头，用于检测所述视频镜头的类型的标准至少包括具有与所述中心感兴趣区段的深度基本上类似的深度并且处在离所述中心感兴趣区段预定义距离内的感兴趣区段的数目。15.根据权利要求13所述的方法，所述方法还包括: 检测所述来源视频中的遮挡所述视野的对象，这是基于其深度基本上处于遮挡对象的预期位置的深度处的各个感兴趣区段的平均深度与其余感兴趣区段的平均深度之间的差异而实现的。16.根据权利要求12-15当中的任一条所述的方法，所述方法还包括: 通过为所检测到的视频镜头的类型或者所检测到的遮挡视野的对象指派关于所述来源视频的开头的时间戳来施行所述索引；以及 传送与所述索引有关的信息作为对于所述来源视频的元数据。17.根据权利要求12-16当中的任一条所述的方法，其中，来自存在于某项事件处的多个用户设备的所述深度图和指向信息被用来确定所述事件处的所述用户的相对位置。18.根据权利要求12-17当中的任一条所述的方法，其中，来自存在于某项事件处的多个用户设备的所述深度图被用来确定所述事件的类型。19.一种装置，其包括至少一个处理器、包括计算机程序代码的存储器，所述存储器和计算机程序代码被配置成利用所述至少一个处理器使得所述装置至少施行以下步骤: 获得多项来源内容； 确定将要包括在所述视频再混合中的来自所述来源内容的多个片段； 确定把所述多个片段转换成适合于所述视频再混合的形式所需的编辑处理； 分配所述编辑处理以便在至少一个处理设备中并行地执行；以及 把接收自所述编辑处理的所述多个片段合并到所述视频再混合中。20.根据权利要求19所述的装置，其中，所述来源内容包括视频、音频和/或图像的至少其中之一，并且所述编辑处理包括以下各项的至少其中之一: -把至少一项来源内容剪切成多个片段； -对来源内容的片段的至少一部分进行解码； -对来源内容的片段的至少一部分进行编码。21.根据权利要求20所述的装置，其还包括被配置成利用所述至少一个处理器使得所述装置至少施行以下步骤的计算机程序代码: 响应于来源视频是利用所期望的编码器被编码并且片段的剪切点位于预测帧处， 仅对从所述预测帧到所述片段的下一个内部编码帧之前的预测帧的视频帧进行解码；以及 利用所述期望的编码器对所述已解码帧进行编码，从而使得位于所述片段的剪切点处的所述预测帧被编码为内部编码帧。22.根据权利要求20所述的装置，其还包括被配置成利用所述至少一个处理器使得所述装置至少施行以下步骤的计算机程序代码: 响应于来源内容的片段被解码及再编码， 为所述片段分配附加的剪切点。23.根据权利要求22所述的装置，其还包括被配置成利用所述至少一个处理器使得所述装置至少施行以下步骤的计算机程序代码: 为所述片段分配所述附加剪切点，从而使得最大片段持续时间小于预定义阈值，其中所述阈值被设定成其持续时间等于该阈值的片段的编码时间。24.根据权利要求22所述的装置，其还包括被配置成利用所述至少一个处理器使得所述装置至少施行以下步骤的计算机程序代码: 为所述片段分配所述附加剪切点，从而使得最大片段持续时间小于预定义阈值，其中根据所述至少一个处理设备的可用处理能力优化所述阈值。25.根据权利要求22-24当中的任一条所述的装置，其...

【专利技术属性】
技术研发人员：S·马特，I·D·库尔乔，K·达博维，
申请(专利权)人：诺基亚公司，
类型：
国别省市：