用于模糊视频中的虚拟对象的方法和设备技术

当通过捕获真实场景的设备获取视频时，为了实时地模糊视频中的虚拟对象，突出的想法包括估计在两个连续的设备姿态处的两个连续的图像之间的视运动矢量，其中视运动矢量估计基于设备的运动。然后，基于估计的视运动矢量对连续的图像进行滤波。

Methods and devices for virtual objects in fuzzy video

When by capturing the real scene video acquisition equipment, in order to virtual objects in real time fuzzy video, highlights the idea of including estimation in visual motion vector between two consecutive images of two consecutive equipment at the attitude, the visual motion vector estimation device based on motion. Then, the continuous image is filtered based on the estimated visual motion vector.

【技术实现步骤摘要】
用于模糊视频中的虚拟对象的方法和设备
公开的方法、设备和系统的
涉及在视频获取期间将虚拟对象插入视频中的增强现实。
技术介绍
增强现实的一个方面是将真实场景与视频中的虚拟对象合成。当从快速移动的真实物体捕获视频时，得到的视频通常包括所谓的运动模糊。在从真实场景获取的视频的情况下，真实对象的运动模糊自然地由相机捕获。在动画电影的情况下，运动模糊是从动画对象的移动计算创建的。在增强现实应用的情况下，增强现实应用混合了真实场景和虚拟对象，已知一些方法用于模糊插入已经获取的视频中的虚拟对象作为后期制作的一部分，并且通常是计算密集型的。例如，从对虚拟对象的运动的知识或用图像处理技术在视频中检测到的运动获得模糊。然而，在通过移动设备获取视频并且由捕获设备将虚拟对象插入到该视频中的情况下，没有已知的用于模糊插入到视频中的虚拟对象的方法可直接适用于捕获设备。由于虚拟对象在模糊的视频中将变得太尖锐，所以产生的视频将缺乏现实感。需要一些新的方法来实时地模糊插入到由捕获设备获取的视频中的虚拟对象，以便改善增强现实应用的结果。这样的新方法将能够在例如移动设备上实现一系列新的增强现实应用。
技术实现思路
为了在通过捕获真实场景的设备获取视频时实时模糊视频中的虚拟对象，突出的想法包括估计在两个连续的设备姿态下捕获的两个连续图像之间的视运动矢量，其中，视运动矢量估计是基于设备的运动。然后基于估计的视运动矢量对连续的图像进行滤波。为此，公开了一种用于模糊设备从场景捕获的视频中的虚拟对象的方法。该方法由该设备执行并且包括：-捕获视频的初始图像；-捕获视频的当前图像；-基于设备的运动，估计在初始图像和当前图像之间虚拟对象的视运动矢量(apparentmotionvector)；-基于视运动矢量(30)对当前图像的至少一部分进行滤波。根据特别有益的变型，设备还包括至少一个运动传感器，初始图像由设备以初始装置姿态捕获，当前图像由设备以当前设备姿态捕获，以及从设备的至少一个运动传感器生成的数据中获取设备的运动，所述设备从初始设备姿态移动到当前设备姿态。根据另一特别有益的变型，估计视运动矢量还包括基于初始设备姿态和设备的运动来估计当前设备姿态。根据另一特别有益的变型，该方法还包括：基于视运动矢量和初始图像中的初始对象位置来估计当前图像中的当前对象位置，初始对象位置与虚拟对象的顶点相关联，当前对象位置与顶点相关联。根据另一特别有益的变型，虚拟对象在场景中具有轨迹，该方法还包括：-基于所述轨迹和初始对象方位估计当前对象方位，初始对象方位对应于所述虚拟对象的顶点，当前对象方位对应于顶点，以及-基于当前图像中的当前对象方位的投影来估计当前图像中的当前对象位置，当前对象位置与顶点相关联。根据另一特别有益的变型，估计虚拟对象的视运动矢量基于当前图像中的当前对象位置与初始图像中的初始对象位置之间的差别，初始对象位置与顶点相关联。根据另一特别有益的变型，滤波还包括确定空间滤波器长度和空间滤波器方向，空间滤波器方向对应于视运动矢量的方向，空间滤波器长度是视运动的模块(module)的因子，空间滤波器长度对应于相邻像素的数量。根据另一特别有益的变型，因子对应于装置的快门光圈持续时间。根据另一特别有益的变型，对当前图像的至少一部分进行滤波还包括：-获取当前图像的虚拟对象的掩码(mask)，其中掩码包括对应于虚拟对象的当前图像的每个像素的非空颜色值和权重值1；-根据确定的空间滤波器对掩码进行空间滤波；-将当前图像与虚拟对象的空间滤波的掩码相混合。根据另一特别有益的变型，方法还包括：基于在先前的设备姿态下由设备捕获的先前图像来估计初始设备姿态，估计初始设备姿态还基于先前设备姿态和从先前设备姿态到初始设备姿态的设备的先前运动。根据另一特别有益的变型，该方法还包括：-从用户界面将虚拟对象插入初始图像中，插入包括将虚拟对象的顶点与初始图像中的初始对象位置相关联；-估计与初始对象位置对应的初始对象方位相关的初始设备姿态。在第二方面，还公开了一种用于捕获视频并模糊视频中的虚拟对象的设备。该设备包括：-用于捕获视频的初始图像的部件；-用于捕获视频的当前图像的部件；-用于基于设备的运动来估计在初始图像和当前图像之间的虚拟对象的视运动矢量的部件；-用于基于视运动矢量对当前图像的至少一部分进行滤波的部件。在第三方面，还公开了一种用于捕获视频并模糊视频中的虚拟对象的设备。该设备包括相机，相机配置成：-捕获视频的初始图像；-捕获视频的当前图像；设备还包括至少一个处理器，处理器配置成：-基于设备的运动估计在初始图像和当前图像之间虚拟对象的视运动矢量；-基于视运动矢量对当前图像的至少一部分进行滤波。在第四方面，还公开了一种用于模糊从场景捕获的视频中的虚拟对象的计算机程序。该计算机程序包括由至少一个处理器执行的程序代码指令，程序代码指令用于：-捕获视频的初始图像；-捕获视频的当前图像；-基于设备的运动估计在初始图像和当前图像之间虚拟对象的视运动矢量；-基于视运动矢量对当前图像的至少一部分进行滤波。在第五方面，专利技术指向一种存储计算机可执行以执行公开的方法的程序指令的计算机可读存储介质。在第六方面，专利技术指向包括由至少一个处理器执行以执行公开的方法的程序代码的指令的计算机程序产品。虽然没有明确描述，但是本实施例可以采用任何组合或子组合。例如，本原理不限于所描述的变型，并且可以使用变体和实施例的任何排列。此外，本原理不限于所描述的图像采样和图像/对象初始化示例。本原理不再限于描述的姿态估计方法，并且适用于任何其他类型的装置姿态估计方法。本原理不再限于所描述的对象轨迹。此外，针对该方法描述的任何特征，变型或实施例与旨在处理公开方法的设备兼容，其中计算机程序包括可由处理器执行以处理公开的方法的程序代码指令，以及其中计算机可读存储介质存储程序指令。附图说明-图1图示了根据具体和非限制性的实施例的用于模糊视频中的虚拟对象的方法；-图2图示了根据具体和非限制性实施例从场景捕获视频并插入虚拟对象的示例；-图3表示根据具体和非限制性实施例的视运动矢量；-图4表示根据具体和非限制性实施例的用于模糊视频中的虚拟对象的滤波的示例；-图5表示根据具体和非限制性实施例的用于模糊视频中的虚拟对象的处理设备；-图6表示根据具体和非限制性实施例的图5的处理设备的示例性架构。具体实施例图1图示了根据具体和非限制性实施例的用于模糊视频中的虚拟对象的方法。关于图2进一步描述了图1，图2图示了根据具体和非限制性实施例的示例性的视频捕获和虚拟对象20的插入。为了清楚而不加以限制，该方法描述为在捕获场景2的视频的相机中实现。但是例如适于捕获一系列图像的智能电话或嵌入摄像机的平板电脑的任何其他实现是与公开的原则兼容的。在说明的其余部分中，一般术语设备1将用于捕获设备。场景2将理解为真实场景，并且该真实场景的捕获的视频是来自使用现有技术的视频捕获组件的真实场景的一系列图像。在步骤S100中，初始化设备1。不限于此，设备初始化包括设备1的硬件和软件初始化的各种步骤。设备初始化还包括视频捕捉之前的各种步骤，例如，将设备1在关于场景的正确的地方定位和定向，调整相机参数，例如聚焦、变焦和光圈。在步骤S110中，当设备1处于初始设备姿态21时，本文档来自技高网...

【技术保护点】
一种用于在视频中模糊虚拟对象(20)的方法，所述视频是由设备(1)捕获的，所述方法是由所述设备(1)执行的，所述方法包括：捕获(S110)所述视频的初始图像(210)；捕获(S120)所述视频的当前图像(220)；基于所述设备(1)的运动，估计(S130)在所述初始图像(210)和所述当前图像(220)之间的所述虚拟对象的视运动矢量(30)；基于所述视运动矢量(30)对所述当前图像(220)的至少一部分进行滤波(S140)。

【技术特征摘要】
2016.09.15 EP 16306175.71.一种用于在视频中模糊虚拟对象(20)的方法，所述视频是由设备(1)捕获的，所述方法是由所述设备(1)执行的，所述方法包括：捕获(S110)所述视频的初始图像(210)；捕获(S120)所述视频的当前图像(220)；基于所述设备(1)的运动，估计(S130)在所述初始图像(210)和所述当前图像(220)之间的所述虚拟对象的视运动矢量(30)；基于所述视运动矢量(30)对所述当前图像(220)的至少一部分进行滤波(S140)。2.根据权利要求1所述的方法，其中所述设备(1)还包括至少一个运动传感器，所述初始图像(210)是在初始设备姿态(21)处由所述设备(1)捕获的，所述当前图像(220)是在当前设备姿态(22)处由所述设备(1)捕获的，以及所述设备(1)的所述运动是从由所述设备(1)的所述至少一个运动传感器生成的数据获得的，所述设备(1)从所述初始设备姿态(21)移动到所述当前设备姿态(22)。3.根据权利要求1所述的方法，其中所述估计(S130)所述视运动矢量(30)还包括基于所述初始设备姿态(21)和所述设备(1)的所述运动估计所述当前设备姿态(22)。4.根据权利要求1所述的方法，还包括基于所述视运动矢量(30)和所述初始图像(210)中的初始对象位置(211)估计所述当前图像(220)中的当前对象位置(221)。5.根据权利要求1所述的方法，其中所述虚拟对象(20)具有轨迹，所述方法还包括：基于所述轨迹和初始对象方位估计(S122)当前对象方位，以及基于所述当前图像(220)中的所述当前对象方位的投影估计(S124)所述当前图像(220)中的当前对象位置(221)。6.根据权利要求5所述的方法，其中估计(S130)所述虚拟对象(20)的所述视运动矢量(30)是基于所述当前图像(220)中的所述当前对象位置(221)和所述初始图像(210)中的初始对象位置(211)之间的差别。7.根据权利要求1所述的方法，其中所述滤波(S140)还包括确定空间滤波长度(401)和空间滤波方向(400)，所述空间滤波方向(400)对应于所述视运动矢量(30)的方向，以及所述空间滤波长度(401)是所述视运动矢量(30)的模块的因子，所述空间滤波长度(401)对应于相邻的像素(41、42)的数量。8.根据权利要求7所述的方法，其中所述因子对应于所述设备(1)的快门光圈持续时间。9.根据权利要求7所述的方法，其中所述对所述当前图像(220)的至少一部...

【专利技术属性】
技术研发人员：P朱厄特，P罗伯特，M弗拉代特，
申请(专利权)人：汤姆逊许可公司，
类型：发明
国别省市：法国,FR