当前位置: 首页 > 专利查询>索尼公司专利>正文

用于处理视频内容的方法和系统技术方案

技术编号:19129067 阅读:36 留言:0更新日期:2018-10-13 06:52
本公开的一个方面涉及用于处理视频内容的方法和系统。本文公开了处理视频内容的方法和系统的各个方面。该方法包括确定与视频内容相关联的第一帧识别值。第一帧识别值对应于视频内容的一帧的平均颜色值。该方法还包括确定与视频内容相关联的第二帧识别值。第二帧识别值对应于视频内容的帧的全局运动矢量(GMV)值。该方法还包括基于第一帧识别值和第二帧识别值中一个或二者确定第一中间帧。

Method and system for processing video content

One aspect of the disclosure relates to a method and system for processing video content. Various aspects of the method and system for processing video content are disclosed. The method includes determining the first frame recognition value associated with the video content. The first frame recognition value corresponds to the average color value of one frame of the video content. The method also includes determining the second frame recognition value associated with the video content. The second frame recognition value corresponds to the global motion vector (GMV) value of the frame of the video content. The method also includes determining the first intermediate frame based on one or both of the first frame recognition value and the second frame recognition value.

【技术实现步骤摘要】
用于处理视频内容的方法和系统
本公开内容的各种实施例涉及处理视频内容。更具体而言,本公开内容的各种实施例涉及处理视频内容,以生成视频摘要。
技术介绍
近年来视频处理领域的进展已经引入从运动视频生成视频摘要的各种方法。视频摘要是一个或多个视频精选的组合。视频精选可以基于从运动视频中的一个或多个视频片段选择一帧或多帧来确定。每当在运动视频中检测到场景变化时可以确定一个或多个视频片段。在某些场景中,该一个或多个视频精选可以由用户基于一个或多个参数,诸如优选的时间戳和/或优选的持续时间,来人工选择。这种人工选择不可考虑视频帧信息和/或相机运动信息,这是不期望的。通过所述系统与本公开内容一些方面的比较,常规和传统方法的更多限制和缺点将对本领域的技术人员变得明显,如在本申请剩余部分中并且参考附图所阐述的。
技术实现思路
提供了处理视频内容的方法和系统,基本上如在至少一个图中示出和/或联系至少一个图描述的,如在权利要求中更完全地阐述的。连同附图,从下面对本公开内容的具体实施方式的审查可以理解本公开内容的这些和其它特征和优点,其中附图中相同的标号贯穿全文指相同的部分。附图说明图1是根据本公开内容的实施例,说明实现所公开的处理视频内容的方法和系统的网络环境的框图。图2是根据本公开内容的实施例,说明示例性电子设备的框图。图3A、3B、3C、3D和3E根据本公开内容的实施例说明了实现所公开的处理视频内容的方法和系统的示例性场景。图4是根据本公开内容的实施例,说明处理视频内容的示例性场景的表。图5A、5B和5C是根据本公开内容的实施例,说明处理视频内容的示例性场景的图表。图6是根据本公开内容的实施例,说明处理视频内容的方法的流程图。具体实施方式可以发现处理视频内容的方法和/或系统的各种实现。本公开内容的示例性方面可以包括生成视频摘要的方法。该方法可以包括确定与视频内容相关联的第一帧识别值。第一帧识别值可以对应于视频内容的一帧的平均颜色值。该方法还可以包括确定与该视频内容相关联的第二帧识别值。第二帧识别值可以对应于该视频内容的一帧的全局运动矢量(GMV)值。该方法还可以确定第一中间帧。该第一中间帧可以基于第一帧识别值和第二帧识别值中之一或二者。该第一中间帧可以指示视频内容中的场景变化。在实施例中,第一帧识别值可以对应于与视频内容的帧相关联的梯度值。在实施例中,平均颜色值可以对应于包括亮度和色度(YUV)颜色模型和/或红、绿和蓝(RGB)颜色模型之一的颜色模型。在实施例中,用于该帧的第一帧识别值可以基于第一量化值生成。在实施例中,第二帧识别值可以基于第二量化值。在实施例中,第二中间帧可以基于另一第一帧识别值和另一第二帧识别值之一或二者来确定。在实施例中,第二中间帧可以指示视频内容中的场景变化。在实施例中,一个或多个帧可以在第一中间帧和第二中间帧之间确定。在实施例中,一个或多个帧可以基于第一帧识别值、第二帧识别值之一或二者的变化来确定。在实施例中,第一中间帧和第二中间帧中的每一个均可以具有相关联的第一帧识别值、第二帧识别值。在实施例中,视频片段可以基于所确定的一个或多个帧以及第一中间帧来生成。在实施例中,一个或多个关键帧可以从所生成的视频片段来选择。所确定的关键帧的一个或多个可以基于与每个帧相关联的一个或多个参数和/或一个或多个用户偏好来选择。在实施例中,参数可以包括运动行为分析值和/或稳定性等级中的一个或多个。在实施例中,所生成的一个或多个视频片段可以组合,以基于用户偏好和/或默认设置生成视频摘要。在实施例中,用户偏好可以包括视频片段的期望持续时间、视频摘要的期望持续时间、用户提供的音频文件的持续时间、期望的稳定性等级、视频片段中存在的对象、与对象相关联的特性和/或与对应于视频片段的关键帧相关联的颜色值和梯度值中的一个或多个。在实施例中,视频摘要的期望持续时间可以基于包括音频文件的用户输入和/或视频摘要持续时间的预存储值的一个或多个来确定。在实施例中,可以确定对应于视频内容的一帧的稳定性等级。在实施例中,稳定性等级可以对应于该帧的GMV特性变化。在实施例中,所确定的稳定性等级可以与GMV特性变化成反比。图1是根据本公开内容的实施例,说明用于显示视频内容的网络环境100的框图。参考图1,示出了电子设备102、应用服务器104、视频内容服务器106和通信网络108。电子设备102可以包括显示屏110。电子设备102可以与一个或多个用户,诸如用户112(未示出),相关联。电子设备102可以经由通信网络108与应用服务器104和视频内容服务器106通信耦合。电子设备102可以包括可操作为经由显示屏110接收用户输入的合适的逻辑、电路、接口和/或代码。电子设备102可操作为在显示屏110上显示用于视频处理的视频内容。电子设备102可操作为经由通信网络108从应用服务器104下载处理视频内容的应用。电子设备102可操作为经由通信网络108从视频内容服务器106检索将要被处理的视频内容。电子设备102还可操作为接收一个或多个用户偏好和/或一个或多个用户输入。该一个或多个用户偏好和/或一个或多个用户输入可以由一个或多个用户,诸如用户112,来提供。电子设备还可操作为,利用所下载的视频内容的每一帧,基于颜色信息、梯度信息和/或运动信息生成视频摘要。电子设备102还可操作为在显示屏110上显示所生成的视频摘要。电子设备102的例子可以包括,但不限于,电视机、互联网协议电视机(IPTV)、膝上型计算机、平板电脑、智能手机和/或个人数字助理(PDA)设备。应用服务器104可以包括可操作为托管处理视频内容的应用的合适的逻辑、电路、接口和/或代码。应用服务器104可操作为托管用于一个或多个订阅的设备,诸如电子设备102,的应用。应用服务器104可以利用本领域技术人员众所周知的几种技术来实现。视频内容服务器106可以包括可操作为托管视频内容的合适的逻辑、电路、接口和/或代码。视频内容服务器106可以与配置为在视频内容服务器106记录并存储视频内容的远程视频捕捉设备(未示出)通信耦合。视频内容服务器106可以利用本领域技术人员众所周知的几种技术来实现。通信网络108可以包括电子设备102通过其可以与一个或多个服务器,诸如应用服务器104和/或视频内容服务器106,通信的介质。通信网络108的例子可以包括,但不限于,互联网、云网络、无线保真(Wi-Fi)网络、无线局域网(WLAN)、局域网(LAN)、电话线(POTS)和/或城域网(MAN)。根据各种有线和无线通信协议,网络环境100中的各种设备可操作为连接到通信网络108。这种有线和无线通信协议的例子可以包括,但不限于,传输控制协议和互联网协议(TCP/IP)、用户数据报协议(UDP)、超文本传输协议(HTTP)、文件传输协议(FTP)、ZigBee、EDGE、红外线(IR)、IEEE802.11、802.16、蜂窝通信协议和/或蓝牙(BT)通信协议。显示屏110可以包括可操作为呈现从一个或多个视频内容源,诸如视频内容服务器106,接收的视频内容的合适的逻辑、电路、接口和/或代码。显示屏110还可操作为呈现对应于从应用服务器104下载的应用的一个或多个特征。显示屏110还可操作为从一个或多个用户,诸如本文档来自技高网...
用于处理视频内容的方法和系统

【技术保护点】
1.一种用于处理视频内容的方法,所述方法包括:在电子设备中:确定与所述视频内容相关联的第一帧识别值,其中所述第一帧识别值对应于所述视频内容的一帧的平均颜色值;并且基于所述确定的所述第一帧识别值确定第一中间帧,其中所述确定的所述第一中间帧指示所述视频内容中的场景变化;其中,所述帧的所述第一帧识别值是基于多个第一量化值生成的,所述多个第一量化值包括用于将所述帧分成一个或多个量化区间的量化值以及分别对应于与颜色模型相关联的每个成分的量化值。

【技术特征摘要】
2014.11.14 US 14/542,2111.一种用于处理视频内容的方法,所述方法包括:在电子设备中:确定与所述视频内容相关联的第一帧识别值,其中所述第一帧识别值对应于所述视频内容的一帧的平均颜色值;并且基于所述确定的所述第一帧识别值确定第一中间帧,其中所述确定的所述第一中间帧指示所述视频内容中的场景变化;其中,所述帧的所述第一帧识别值是基于多个第一量化值生成的,所述多个第一量化值包括用于将所述帧分成一个或多个量化区间的量化值以及分别对应于与颜色模型相关联的每个成分的量化值。2.根据权利要求1所述的方法,其中所述平均颜色值对应于包括:亮度和色度YUV颜色模型和/或红、绿和蓝RGB颜色模型之一的颜色模型。3.根据权利要求1所述的方法,还包括基于另一第一帧识别值确定第二中间帧,其中所述确定的所述第二中间帧指示所述视频内容中的场景变化。4.根据权利要求3所述的方法,还包括确定所述确定的所述第一中间帧和所述确定的所述第二中间帧之间的一个或多个帧。5.根据权利要求4所述的方法,其中所述确定基于所述确定的所述第一帧识别值的变化。6.根据权利要求4所述的方法,还包括基于所述确定的所述一个或多个帧和所述确定的所述第一中间帧生成视频片段。7.根据权利要求6所述的方法,还包括基于与所述帧中每一个相关联的一个或多个参数和/或一个或多个用户偏好从所述生成的所述视频片段选择一个或多个关键帧。8.根据权利要求7所述的方法,其中所述参数包括运动行为分析值和/或稳定性等级中的一个或多个,其中,所述稳定性等级与帧的全局运动矢量GMV特性的变化成反比。9.根据权利要求7所述的方法,还包括组合所述选择的一个或多个关键帧,以基于一个或多个用户输入和/或默认设置生成视频摘要。10.根据权利要求9所述的方法,其中所述一个或多个用户偏好包括以下一个或多个:所述视频片段的期望持续时间、所述视频摘要的期望持续时间、由所述用户提供的音频文件的持续时间、期望的稳定性等级、视频片段中存在的对象、与所述对象相关联的特性和/或与对应于所述视频片段的所述关键帧相关联的颜色值和梯度值,其中,所述稳定性等级与帧的全局运动矢量GMV特性的变化成反比。11.根据权利要求10所述的方法,其中所述视频摘要的所述期望持续时间是基于包括音频文件的用户输入和/或视频摘要持续时间的预存储值中的一个或多个确定的。12.一种用于处理视频内容的系统,所述系统包括:电子设备中的一个或多个处理器,能够操作为:确定与所述视频内容相关联的第一帧识别值,其中所述第一帧识别值对应于所述视频内容的一帧的平均颜色值,其中所述视频内容包括一个或多个帧;并且基于所述确定的所述第一帧识别值确定第一中间帧,其中所述确定的所述第一中间帧指示所述视频内容中的场景变化...

【专利技术属性】
技术研发人员:S·库尔比斯
申请(专利权)人:索尼公司
类型:发明
国别省市:日本,JP

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1