用于处理视频内容的方法和系统技术方案

本申请涉及用于处理视频内容的方法和系统。更具体而言，本文公开了处理视频内容以便从视频内容的图像序列中提取运动对象的方法和系统的各个方面。在实施例中，该方法包括确定视频内容中一个或多个运动对象的一个或多个对象轮廓。包围第一运动对象的第一对象轮廓的第一对象边框(OBB)是基于所确定的一个或多个对象轮廓创建的。用于第一运动对象的第一对象蒙版是基于所创建的第一OBB中第一对象轮廓的充填而在第一目的地图像帧中生成的。

【技术实现步骤摘要】
用于处理视频内容的方法和系统
本公开内容的各种实施例涉及视频内容的处理。更具体而言，本公开内容的各种实施例涉及视频内容的处理，用于从视频内容的图像序列中提取运动对象。
技术介绍
视频处理领域的进步已经彻底改变了数字成像行业，以及其相关联的设备和成像应用。设备，诸如数码相机或智能电话，可以具有可允许处理视频或图像序列以创建新类型媒体的功能。新类型媒体可以包括新类型的照片和/或运动画面。在某些场景中，新的媒体类型可以基于从视频内容的图像序列中提取一个或多个运动对象来创建。在这种视频处理中执行的许多操作之一可以包括视频中看起来处于移动状态的(一个或多个)对象的精细边界提取。但是，可能难以为这些(一个或多个)运动对象产生(一个或多个)精细对象边界蒙版(mask)，以用于从这些图像序列中提取(一个或多个)运动对象。通过将所描述的系统与如在本申请的其余部分并参照附图所阐述的本公开内容的一些方面进行比较，常规和传统方法的其它局限性和缺点对本领域技术人员将变得显而易见。
技术实现思路
基本上如在至少一个附图中示出和/或联系至少一个附图描述的用于处理视频内容的方法和系统更完整地在权利要求中阐述。本公开内容的这些和其它特征及优点可以从以下本公开内容的详细描述连同附图的检查来理解，相同的标号贯穿所有附图指相同的部分。附图说明图1是根据本公开内容的实施例示出示例性视频处理设备的框图。图2A、2B和2C根据本公开内容的实施例示出了用于处理视频内容的所公开方法和系统的实现的第一示意性场景。图3根据本公开内容的实施例示出了用于处理视频内容的所公开方法和系统的实现的第二示意性场景。图4A、4B和4C是根据本公开内容的实施例示出处理视频内容的示例性方法的流程图。图5是根据本公开内容的实施例示出用于处理视频内容的所公开方法的示例性充填(infilling)技术。具体实施方式以下描述的实现可以在处理视频内容的所公开方法和系统中找到。本公开内容的示例性方面可以包括一种方法，其可确定视频内容中一个或多个运动对象的一个或多个对象轮廓。可以创建可包围第一运动对象的第一对象轮廓的第一对象边框(objectboundingbox，OBB)。OBB的这种创建可以基于所确定的一个或多个对象轮廓而发生。用于第一运动对象的第一对象蒙版可以在第一目的地图像帧中动态地生成。第一对象蒙版的这种生成可以基于所创建的第一OBB中第一对象轮廓的充填而生成。在实施例中，该方法可以包括基于视频内容的三个连续的图像帧检测一个或多个运动对象。这三个连续的图像帧可以包括前一图像帧、当前图像帧以及下一图像帧。在实施例中，该方法可以包括对齐当前图像帧与前一图像帧。在实施例中，该方法还可以包括对齐下一图像帧与当前图像帧。在实施例中，该方法可以包括确定对齐的当前图像帧与前一图像帧之间的第一绝对差图像。在实施例中，该方法还可以包括确定对齐的下一图像帧与当前图像帧之间的第二绝对差图像。在实施例中，该方法可以包括检测对应于一个或多个运动对象的一个或多个对象轮廓。这种检测可以在所确定的第一绝对差图像和第二绝对差图像中发生。在实施例中，该方法可以包括基于第一绝对差图像中检测到的一个或多个对象轮廓确定第一对象轮廓图像。在实施例中，该方法还可以包括基于第二绝对差图像中检测到的一个或多个对象轮廓确定第二对象轮廓图像。在实施例中，该方法可以包括基于所生成的第一对象轮廓图像与第二对象轮廓图像之间的交集确定中间对象轮廓图像。在实施例中，该方法可以包括利用所确定的中间对象轮廓图像和与该中间对象轮廓图像相关联的梯度信息。这种利用可以对确定一个或多个运动对象的一个或多个对象轮廓而发生。在实施例中，该方法可以包括在第一目的地图像帧中设置第一像素值。在实施例中，该方法可以包括从所确定的一个或多个对象轮廓提取颜色属性。这种提取可以在所确定的一个或多个对象轮廓中设置第二像素值。在实施例中，该方法可以包括将所创建的第一OBB在预定位置处拷贝到目的地图像帧。在实施例中，该方法可以包括检测第一OBB中的第一像素是否具有第三像素值。在实施例中，该方法还可以包括检测第一目的地图像帧中的第二相邻像素是否具有第一像素值。在实施例中，该方法可以包括当检测到相邻的第二像素具有第一像素值时把第一像素值分配给检测到的第一像素。在实施例中，第一像素值可以对应于灰色。第二像素值可以对应于白色，并且第三像素值可以对应于黑色。在实施例中，该方法可以包括将第二像素值分配给第一OBB中具有第三像素值的一个或多个像素。这种用于第一对象轮廓的充填的分配可以在检测到第一OBB中的两个相邻像素没有处于第三像素值和第一像素值时发生。在实施例中，该方法可以包括当在视频内容中检测到第二运动对象时创建包围第二运动对象的第二OBB。在实施例中，该方法可以包括把所创建的第二OBB在预定位置处拷贝到第二目的地图像帧。第二目的地帧可以对应于包括为第一运动对象生成的第一对象蒙版的第一目的地帧。在实施例中，该方法可以包括生成第二OBB中第二运动对象的第二对象蒙版。第二OBB中的第二运动对象可以与第一运动对象的所生成的第一对象蒙版相关联。在实施例中，该方法可以包括基于所生成的第一对象蒙版和第二对象蒙版提取第一运动对象和第二运动对象。图1是根据本公开内容的实施例示出示例性视频处理设备的框图。参考图1，示出了视频处理设备102。视频处理设备102可以包括一个或多个处理器，诸如视频处理器104，存储器106，一个或多个输入/输出(I/O)设备，诸如I/O设备108，以及一个或多个感测设备，诸如感测设备110。视频处理器104可以通信耦合到存储器106、I/O设备108和感测设备110。视频处理设备102可以包括能操作以基于运动对象的对象轮廓的充填为多个运动对象生成对象蒙版的合适的逻辑、电路、接口和/或代码。视频处理设备102的例子可以包括，但不限于，智能电话、数码相机、摄像机、平板计算机、膝上型计算机、投影仪、电视、互联网协议电视(IPTV)和/或个人数字助理(PDA)设备。视频处理器104可以包括能操作以执行存储在存储器106中的指令集的合适的逻辑、电路、接口和/或代码。视频处理器104能操作以处理可从一个或多个I/O设备，诸如照相机或摄像机，接收的视频内容。视频处理器104还能操作以检索存储在存储器106中的数据，诸如视频内容和/或图像序列。视频处理器104可以基于本领域中已知的多种处理器技术来实现。视频处理器104的例子可以是基于X86的处理器、精简指令集计算(RISC)处理器、专用集成电路(ASIC)处理器、复杂指令集计算(CISC)处理器、微处理器、微控制器，和/或其它处理器。存储器106可以包括能操作以存储具有可由视频处理器104执行的至少一个代码部分的机器代码和/或计算机程序的合适的逻辑、电路、接口和/或代码。存储器106还能操作以存储视频内容和/或其它数据。存储器106还能操作以存储视频内容的视频帧缓冲区、视频内容的图像序列、操作系统以及相关联的应用。存储器106的实现例可以包括，但不限于，随机存取存储器(RAM)、只读存储器(ROM)、硬盘驱动器(HDD)、闪存存储器和/或安全数字(SD)卡。I/O设备108可以包括能操作以捕捉视频内容和/或图像的合适的逻辑、电路本文档来自技高网...

【技术保护点】
1.一种用于处理视频内容的方法，该方法包括：在视频处理器中：确定所述视频内容中一个或多个运动对象的一个或多个对象轮廓；基于所确定的一个或多个对象轮廓，创建包围第一运动对象的第一对象轮廓的第一对象边框；及基于所创建的第一对象边框中所述第一对象轮廓的充填，在第一目的地图像帧中为所述第一运动对象动态生成第一对象蒙版，其中，所述充填包括：将第一目的地图像帧中的所有像素设置为第一像素值；通过从第一对象轮廓中提取颜色属性，将属于第一对象轮廓的像素设置为第二像素值，并将第一对象轮廓包围的但不属于第一对象轮廓的区域中的像素设置为第三像素值；将第一对象边框中第一对象轮廓之外的区域中的像素设置为第三像素值；将第一对象边框在预定位置处拷贝到第一目的地图像帧；在第一对象边框中的像素具有第三像素值、且第一目的地图像帧中的与该像素相邻的像素具有第一像素值的情况下，为第一对象边框中的该像素分配第一像素值；在第一对象边框中的相邻像素分别具有第一像素值和第三像素值的情况下，为具有第三像素值的像素分配第一像素值；及为第一对象轮廓包围的但不属于第一对象轮廓的所述区域中的像素分配第二像素值。

【技术特征摘要】
2014.11.14 US 14/542,2941.一种用于处理视频内容的方法，该方法包括：在视频处理器中：确定所述视频内容中一个或多个运动对象的一个或多个对象轮廓；基于所确定的一个或多个对象轮廓，创建包围第一运动对象的第一对象轮廓的第一对象边框；及基于所创建的第一对象边框中所述第一对象轮廓的充填，在第一目的地图像帧中为所述第一运动对象动态生成第一对象蒙版，其中，所述充填包括：将第一目的地图像帧中的所有像素设置为第一像素值；通过从第一对象轮廓中提取颜色属性，将属于第一对象轮廓的像素设置为第二像素值，并将第一对象轮廓包围的但不属于第一对象轮廓的区域中的像素设置为第三像素值；将第一对象边框中第一对象轮廓之外的区域中的像素设置为第三像素值；将第一对象边框在预定位置处拷贝到第一目的地图像帧；在第一对象边框中的像素具有第三像素值、且第一目的地图像帧中的与该像素相邻的像素具有第一像素值的情况下，为第一对象边框中的该像素分配第一像素值；在第一对象边框中的相邻像素分别具有第一像素值和第三像素值的情况下，为具有第三像素值的像素分配第一像素值；及为第一对象轮廓包围的但不属于第一对象轮廓的所述区域中的像素分配第二像素值。2.如权利要求1所述的方法，还包括基于所述视频内容的三个连续的图像帧检测所述一个或多个运动对象，其中所述三个连续的图像帧包括前一图像帧、当前图像帧以及下一图像帧。3.如权利要求2所述的方法，还包括：对齐所述当前图像帧与所述前一图像帧，以及对齐所述下一图像帧与所述当前图像帧；及确定所对齐的所述当前图像帧与所述前一图像帧之间的第一绝对差图像，以及所对齐的所述下一图像帧与所述当前图像帧之间的第二绝对差图像。4.如权利要求3所述的方法，还包括在所确定的第一绝对差图像和所确定的第二绝对差图像中检测对应于所述一个或多个运动对象的所述一个或多个对象轮廓。5.如权利要求4所述的方法，还包括基于所述第一绝对差图像中所检测到的一个或多个对象轮廓确定第一对象轮廓图像，以及基于所述第二绝对差图像中所检测到的一个或多个对象轮廓确定第二对象轮廓图像。6.如权利要求5所述的方法，还包括基于所确定的第一对象轮廓图像与所确定的第二对象轮廓图像之间的交集确定中间对象轮廓图像。7.如权利要求6所述的方法，还包括利用所确定的中间对象轮廓图像和与所述中间对象轮廓图像相关联的梯度信息来确定所述一个或多...

【专利技术属性】
技术研发人员：S·库尔比斯，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本,JP