一种基于移动设备增强现实的动态特效合成方法技术

本发明专利技术公开了一种基于移动设备增强现实的动态特效合成方法，对真实世界中的图像标记进行操作交互，将图像标记转化为虚拟世界中的元素及速度场，并进行了合成运动等操作，生成动态特效并叠加绘制至移动设备显示屏上。本发明专利技术允许用户在增强现实环境里直接对图像或物体标记进行移动操作，以实时地生成与场景视频一致的三维动态特效，无需离线后期处理，大大提高动态特效合成效率；允许用户以控制动态速度场的方式间接地控制虚拟元素的运动，相比直接控制虚拟元素的位置，用户可以对动态特效中元素的运动模式进行更灵活的编辑，除了改变位置外还能产生虚拟元素的朝向运动。

【技术实现步骤摘要】
一种基于移动设备增强现实的动态特效合成方法
本专利技术涉及增强现实
，尤其是一种在移动设备上的增强现实中合成动态特效的交互与计算方法。
技术介绍
动态特效是视频特效的一种，可以为视频添加诸如泡沫、飘叶、颗粒等不同的视觉效果。传统的视频动态特效合成大多是离线生成的，通过对录制好的视频进行单元划分跟踪，再将调整渲染好的来自粒子系统或物理仿真的特效视频进行逐帧调整叠加至原始视频上，此类方法必须离线进行且比较耗时耗人力。近年也出现了一些基于草绘界面的动态特效合成方法，此类方法多用于二维情形，直接将草绘界面推广到三维场景中仍然需要大量的交互。现有移动设备增强现实中的动态特效一般先使用专业动画软件事先制作好含动态效果的场景，再将场景绑定到增强现实跟踪的标记上，可以控制事先生成好的场景的位置，但此类方案只能控制动态特效的整体位置，无法对动态特效进行灵活的局部控制。
技术实现思路
专利技术目的：为了解决现有技术存在的问题，实现交互式三维动态特效在线实时的合成及控制，提高动态特效的合成效率，本专利技术提供一种基于移动设备增强现实的动态特效合成方法。技术方案：一种基于移动设备增强现实的动态特效合成方法，包括以下步骤：(1)引入图像标记，图像标记包括控制标记和发射标记，控制标记指用于控制动态特效运动特性的图像标记，发射标记指用于产生动态特效中虚拟元素的图像标记；(2)对控制标记跟踪，将所跟踪的控制标记的图像位置信息映射成单元速度场，每个控制标记对应为虚拟世界中的一个单元速度场；将单元速度场注册到增强现实系统中，并将所有的单元速度场合成为全局的动态速度场；对发射标记跟踪，在所跟踪的发射标记上随机生成虚拟元素，通过调整发射标记的姿态控制虚拟元素的生成位置；(3)通过动态速度场控制虚拟元素的运动；(4)获得运动的虚拟元素后，调用移动设备增强现实的显示模块，将运动的虚拟元素与拍摄到的真实场景叠加绘制在移动设备显示屏上，形成增强现实效果。进一步的，步骤(2)中，将所跟踪的第i个控制标记的图像平面位置信息Ii＝(oi,ni,li,mi)映射成单元速度场vi，其中oi为所跟踪的控制标记的中心位置，ni为所跟踪控制标记的图像的平面法向量，li、mi分别为图像平面矩形的长向量和宽向量。进一步的，步骤(2)中，单元速度场为源速度场、吸收速度场、涡流速度场、均匀速度场中的一种或几种。进一步的，步骤(2)中，在动态速度场中，将空间任一点p的速度定义为：其中vi(p)为p点在第i个单元速度场下的速度值，wi(p)为p点处第i个单元速度场的影响权重。进一步的，所有的单元速度场的影响权重均设置为1。进一步的，单元速度场的影响权重与点p到中心位置oi的距离成反比。进一步的，步骤(2)中，将一个发射标记同时绑定一个单元速度场。进一步的，步骤(3)通过动态速度场控制虚拟元素的运动的方法为：若虚拟元素为一个粒子，使用显示欧拉积分或四阶龙格库塔法，将动态速度场中的虚拟元素进行位置积分，获得运动的虚拟元素。进一步的，步骤(3)结合动态速度场控制虚拟元素的运动的方法为：若虚拟元素为一个实体模型，计算实体模型的惯性张量I；使用惯性坐标系同惯性张量椭球的交点作为实体模型的采样点；根据各采样点处在动态速度场中的速度计算各采样点处的角动量并求和获得实体模型的近似角动量L；求解实体模型角速度ω＝I-1L；获得角速度后，对实体模型角速度进行显示欧拉积分，获得模型在动态速度场下的朝向。进一步的，步骤(2)中，控制标记的图像平面位置通过调用ARKit、ARCore或ARToolKit增强现实平台中的图像跟踪函数获得。本专利技术提出了一种基于移动设备增强现实的动态特效合成方法，存在以下优点：1、允许用户在增强现实环境里直接对图像或物体标记进行移动操作，以实时地生成与场景视频一致的三维动态特效，无需离线后期处理，大大提高动态特效合成效率；2、允许用户以控制动态速度场的方式间接地控制虚拟元素的运动，相比直接控制虚拟元素的位置，用户可以对动态特效中元素的运动模式进行更灵活的编辑，除了改变位置外还能产生虚拟元素的朝向运动。附图说明图1为本专利技术的系统流程示意图；图2(a)为本专利技术的图像标记生成示意图；图2(b)为源速度场的生成示意图；图2(c)为涡流速度场的生成示意图；图2(d)为均匀速度场的生成示意图。具体实施方式下面结合附图和具体实施例对本专利技术作进一步说明。基于移动设备增强现实的动态特效合成方法包括以下步骤：(1)首先引入图像标记的概念，图像标记包括控制标记和发射标记，控制标记指用于控制动态特效运动特性的图像标记，发射标记指用于产生动态特效中虚拟元素的图像标记。(2)如图1所示，用户对真实世界中的图像标记进行操作交互，增强现实系统将图像标记转化为虚拟世界中的虚拟元素及单元速度场，具体包括以下步骤：(a)通过单元速度场交互控制模块实现单元速度场的生成。如图1右侧，对真实世界的控制标记进行操作交互，调用诸如ARKit或、ARCore或ARToolKit等增强现实平台中的图像跟踪函数获得控制标记的图像平面位置信息。每个控制标记对应为虚拟世界中的一个单元速度场，即将第i个控制标记的图像平面位置信息Ii＝(oi,ni,li,mi)映射成单元速度场vi，其中oi为所跟踪的控制标记的中心位置，ni为所跟踪控制标记的图像的平面法向量，li、mi分别为图像平面矩形的长向量和宽向量。图2给出了由控制标记的图像平面位置信息生成单元速度场的一些映射示例。图2(a)为控制标记的图像平面位置信息，图2(b)所示，为根据图像平面位置信息生成的源速度场vi(source)(p)，将源速度场的速度方向进行反转即为吸收速度场；图2(c)给出了涡流速度场的计算示意；图2(d)为均匀速度场的定义。此四类速度场也可用以下计算公式描述：实施中，我们也可以将以上单元速度场进行加权组合，以对应于某个图像标记，如vi(p)＝0.5*vi(source)(p)+0.5*vi(uniform)(p)；我们也可以定义均匀速度场的方向为控制标记的法向，vi(uniform)(p)＝ni。不限于以上常见的单元速度场，任何可将图像平面位置信息Ii唯一映射到的速度场定义，都可以作为控制标记对应的单元速度场，用户可以根据需要给增强现实系统注册这些对应信息。(b)通过动态速度场生成模块将单元速度场vi合成为一个全局的动态速度场v。如图1右侧所示，用户移动控制标记获得运动着的单元速度场，进而合成出动态的速度场。使用带权加和的方式进行计算，空间任意一点p处的速度定义为:其中vi(p)为p点在第i个单元速度场下的速度值，wi(p)为该点处第i个单元速度场的影响权重。此权重可以均匀设置为1，使得各个单元速度场的控制强度一样；也可以定义为归一化后的p到oi的距离的反比，使得p点受到距离它更近的单元速度场的影响更大。由于各个单元速度场是随时间变化的图像位置信息的函数，所合成出的速度场也是一个动态的速度场。(c)将一些图像标记注册为虚拟元素发射标记，通过虚拟元素生成模块在所跟踪的发射标记上随机生成一定数量的虚拟元素，此类虚拟元素将在动态速度场的影响下产生运动，形成动态特效。同时，虚拟元素的形状、生命期、产生频率等其他属性也在注册阶段定义。所生成的虚拟元素可以在所标记的图本文档来自技高网...

【技术保护点】
1.一种基于移动设备增强现实的动态特效合成方法，其特征在于，包括以下步骤：(1)引入图像标记，图像标记包括控制标记和发射标记，控制标记指用于控制动态特效运动特性的图像标记，发射标记指用于产生动态特效中虚拟元素的图像标记；(2)对控制标记跟踪，将所跟踪的控制标记的图像位置信息映射成单元速度场，每个控制标记对应为虚拟世界中的一个单元速度场；将单元速度场注册到增强现实系统中，并将所有的单元速度场合成为全局的动态速度场；对发射标记跟踪，在所跟踪的发射标记上随机生成虚拟元素，通过调整发射标记的姿态控制虚拟元素的生成位置；(3)通过动态速度场控制虚拟元素的运动；(4)获得运动的虚拟元素后，调用移动设备增强现实的显示模块，将运动的虚拟元素与拍摄到的真实场景叠加绘制在移动设备显示屏上，形成增强现实效果。

【技术特征摘要】
1.一种基于移动设备增强现实的动态特效合成方法，其特征在于，包括以下步骤：(1)引入图像标记，图像标记包括控制标记和发射标记，控制标记指用于控制动态特效运动特性的图像标记，发射标记指用于产生动态特效中虚拟元素的图像标记；(2)对控制标记跟踪，将所跟踪的控制标记的图像位置信息映射成单元速度场，每个控制标记对应为虚拟世界中的一个单元速度场；将单元速度场注册到增强现实系统中，并将所有的单元速度场合成为全局的动态速度场；对发射标记跟踪，在所跟踪的发射标记上随机生成虚拟元素，通过调整发射标记的姿态控制虚拟元素的生成位置；(3)通过动态速度场控制虚拟元素的运动；(4)获得运动的虚拟元素后，调用移动设备增强现实的显示模块，将运动的虚拟元素与拍摄到的真实场景叠加绘制在移动设备显示屏上，形成增强现实效果。2.根据权利要求1所述的基于移动设备增强现实的动态特效合成方法，其特征在于，步骤(2)中，将所跟踪的第i个控制标记的图像平面位置信息Ii＝(oi,ni,li,mi)映射成单元速度场vi，其中oi为所跟踪的控制标记的中心位置，ni为所跟踪控制标记的图像的平面法向量，li、mi分别为图像平面矩形的长向量和宽向量。3.根据权利要求1所述的基于移动设备增强现实的动态特效合成方法，其特征在于，步骤(2)中，单元速度场为源速度场、吸收速度场、涡流速度场、均匀速度场中的一种或几种。4.根据权利要求1所述的基于移动设备增强现实的动态特效合成方法，其特征在于，步骤(2)中，在动态速度场中，将空间任一点p的速度定义为：其中vi(p)为p点在...

【专利技术属性】
技术研发人员：朱利丰，刘希婧，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏,32