具有图像叠加和图像特效功能的增强现实方法技术

本发明专利技术提出一种具有图像叠加和图像特效功能的增强现实方法，包括：对模板图像进行实时的三维跟踪，以得到摄像机位姿；根据摄像机位姿将模板图像投影到屏幕上，以得到其在屏幕上的模板图像投影区域，其中，模板图像投影区域为待叠加图像翻转后的目标位置；根据待叠加图像的原始位置和翻转后的目标位置，得到待叠加图像到屏幕上的模板图像投影区域的翻转矩阵；根据翻转矩阵对待叠加图像进行翻转；将翻转后的待叠加图像叠加到模板图像上；对屏幕图像实施选定的特效变换；将预定三维虚拟模型叠加到模板图像上，以实现对模板图像的增强现实。本发明专利技术的方法扩展了增强现实的范围，提高了增强现实的效果，且该方法灵活性高，应用性强。

【技术实现步骤摘要】
具有图像叠加和图像特效功能的增强现实方法
本专利技术涉及计算机视觉
，特别涉及一种具有图像叠加和图像特效功能的增强现实方法。
技术介绍
传统的增强现实应用中，对模板图像进行增强现实的方式主要是在二维模板图像上叠加一个或多个三维虚拟物体，一些增强现实应用中会在模板图像识别成功后显示一些文字，音视频信息对识别出的场景进行介绍。图像叠加是图像处理领域的一个研究方向。其基本的工作原理是将两幅图像中的每一个像素点按照透明度叠加，即对于两幅图像中的每一个像素点，假设像素点颜色为i1，i2。都定义了两幅图像中该像素点的透明度α和β。一般满足条件α+β＝1。对于最终叠加图像的相应像素点，颜色值记为i，存在叠加规则：i＝i1×α+i2×β(1)根据公式(1)，可以计算出叠加后的图像的像素值。根据透明度α和β的取值规则不同，可以得到不同的透明度叠加规则。目前一种常用的图像叠加规则是基于前景和背景叠加的透明度规则。这种图像叠加的规则如下：对于两幅图像A，B，图像A中有一部分是有用的前景部分，剩余部分是不需要的背景部分。将A中的前景部分完全叠加到B图像上，而将A中的背景部分完全删除。最后的叠加图像中。前景部分完全使用A的像素值，背景部分完全使用B的像素值。最终效果是在B图像上覆盖了一部分A的图像。这种叠加方式也可以理解为之前叠加规则的一种特例，即对于最终图像的前景部分，使用透明度α＝1，β＝0。背景部分使用透明度α＝0，β＝1。根据这种透明度对两幅图像进行叠加。图像特效是图像处理领域的一个研究方向，可以实现很多特别的图像效果。图像特效的基本原理如下：假设现在有原图像M和特效图像M′，在两个图像的像素之间建立函数关系f，存在M′(i,j)＝f(M)(2)其中M′(i,j)表示特效图像M′中第i列，第j行上像素的颜色值。通过公式(2)，可以从原图像中求解出特效变换后图像的每一个像素值，从而得到特效图像。不同的图像特效存在不同的变换函数，将对应的变换函数应用到公式(2)中，即可得到不同的图像特效。凸透镜变换、凹透镜变换、缩放径向模糊变换和旋转径向模糊变换是常见的四种图像特效变换。这四种变换的共同点是变换过程中要在图像上设置一个变换中点，设为C。(1)凸透镜变换凸透镜变换的基本原理是，对于图像上某个点D，从C点向D点引出射线，在射线上C点和D点之间找一个点Dnew，用Dnew的颜色值作为D点的颜色值。假设C点到D点长度为L，则C点到Dnew点长度为其中R是一个指定的参数，用来控制形变的程度。所以对于变换后的图像上一点D，它的颜色值为：其中式中(x，y)分别为变换后图像的D点的坐标值，(xc，yc)分别为变换中心C点的坐标值，dst(x,y)为变换后图像的(x,y)点处的颜色值，src(x,y)为变换前图像的(x,y)点处的颜色值。(2)凹透镜变换凹透镜变换的基本原理是，对于图像上某个点D，从C点向D点引出射线，在射线上C点和D点的延长线上找一个点Dnew，用Dnew的颜色值作为D点的颜色值。假设C点到D点长度为L，则C点到Dnew点长度为其中R是一个指定的参数，用来控制形变的程度。所以对于变换后的图像上一点D，它的颜色值为：其中式中(x，y)分别为变换后图像的D点的坐标值，(xc，yc)分别为变换中心C点的坐标值，dst(x,y)为变换后图像的(x,y)点处的颜色值，src(x,y)为变换前图像的(x,y)点处的颜色值。(3)缩放径向模糊变换缩放径向模糊的基本原理是：对于图像上某个点D，从C点向D点引出射线，在射线上D点附近选取若干个点，用这若干个点的颜色平均值作为D点的颜色值。缩放径向模糊变换的示意图如图1所示。(4)旋转径向模糊变换缩放径向模糊的基本原理是：对于图像上某个点D，以C点为圆心，以D点为半径作圆，在圆周上D点附近选取若干个点，用这若干个点的颜色平均值作为D点的颜色值。旋转径向模糊变换的示意图如图2所示。然而，目前还没有将图像叠加和图像特效方面的技术应用到增强现实中。因此，对如何使用图像叠加和图像特效对模板图像进行增强，得到更好的增强现实视觉效果进行研究和实现是值得研究的方向。
技术实现思路
本专利技术旨在至少在一定程度上解决上述相关技术中的技术问题之一。为此，本专利技术的目的在于提出一种具有图像叠加和图像特效功能的增强现实方法，该方法扩展了增强现实的范围，提高了增强现实的效果，且该方法灵活性高，适应性强。为了实现上述目的，本专利技术的实施例提出了一种具有图像叠加和图像特效功能的增强现实方法，包括以下步骤：S1：利用摄像机对模板图像进行实时的三维跟踪，以根据跟踪结果得到摄像机位姿；S2：根据所述摄像机位姿将所述模板图像投影到屏幕上，以得到所述模板图像在所述屏幕上的模板图像投影区域，其中，所述模板图像投影区域为待叠加图像翻转后的目标位置；S3：根据所述待叠加图像的原始位置和翻转后的目标位置，得到所述待叠加图像到所述屏幕上的模板图像投影区域的翻转矩阵；S4：根据所述翻转矩阵对所述待叠加图像进行翻转；S5：将翻转后的所述待叠加图像叠加到所述模板图像上；S6：对当前屏幕图像实施选定的特效变换；S7：将预定三维虚拟模型叠加到所述模板图像上，以实现对所述模板图像的增强现实。根据本专利技术实施例的具有图像叠加和图像特效功能的增强现实方法，将图像叠加技术引入到增强现实中，在三维跟踪过程中不断定位模板图像在屏幕上的位置，并将待叠加图像翻转到与屏幕上的模板图像重合的位置上进行基于前景和背景的图像叠加；将图像特效技术引入到增强现实中，在当前屏幕图像上选定一个点作为变换原点，对屏幕图像实施选定的特效变换。另外，该方法也加入了传统的基于三维模型的增强现实，并且基于图像的叠加、图像特效和基于三维模型的投影可以自由组合。因此，本专利技术的方法将具有图像叠加和图像特效功能的增强现实和基于三维模型的增强现实融合到一起，扩展了增强现实的范围，提升了增强现实的效果，丰富了增强现实的手段，在虚实融合、虚拟现实、增强现实等方面有很重要的应用，具有灵活性高、应用性强的优点。另外，根据本专利技术上述实施例的具有图像叠加和图像特效功能的增强现实方法，还可以具有如下附加的技术特征：在一些示例中，所述步骤S1进一步包括：对所述模板图像进行实时的三维跟踪，并在跟踪过程中提取当前屏幕图像上的特征点，并与所述模板图像上的特征点进行特征匹配并消除误匹配，并求解所述当前屏幕图像和模板图像之间的单应性矩阵及当前屏幕图像帧的摄像机位姿。在一些示例中，所述步骤S2进一步包括：所述模板图像投影区域为平面四边形，记录所述模板图像投影区域的四个顶点与所述模板图像的四个顶点的对应关系，其中，所述模板图像投影区域的四个顶点通过如下公式计算：其中，(ui，vi)(i＝1,2,3,4)是所述模板图像的顶点坐标，(u′i，v′i)(i＝1,2,3,4)是所述模板图像投影区域对应的顶点坐标，H为所述当前屏幕图像和模板图像之间的单应性矩阵；将所述模板图像的顶点坐标(ui，vi)(i＝1,2,3,4)代入上述公式，得到所述模板图像投影区域的四个顶点(u′i，v′i)(i＝1,2,3,4)，根据得到的所述模板图像投影区域的四个顶点(u′i，v′i)(i＝1,2,3,4)得到屏幕上的所述模板图像投影区域。在一些示例中，所述本文档来自技高网...

【技术保护点】
一种具有图像叠加和图像特效功能的增强现实方法，其特征在于，包括以下步骤：S1：利用摄像机对模板图像进行实时的三维跟踪，以根据跟踪结果得到摄像机位姿；S2：根据所述摄像机位姿将所述模板图像投影到屏幕上，以得到所述模板图像在所述屏幕上的模板图像投影区域，其中，所述模板图像投影区域为待叠加图像翻转后的目标位置；S3：根据所述待叠加图像的原始位置和翻转后的目标位置，得到所述待叠加图像到所述屏幕上的模板图像投影区域的翻转矩阵；S4：根据所述翻转矩阵对所述待叠加图像进行翻转；S5：将翻转后的所述待叠加图像叠加到所述模板图像上；S6：对当前屏幕图像实施选定的特效变换；S7：将预定三维虚拟模型叠加到所述模板图像上，以实现对所述模板图像的增强现实。

【技术特征摘要】
1.一种具有图像叠加和图像特效功能的增强现实方法，其特征在于，包括以下步骤：S1：利用摄像机对模板图像进行实时的三维跟踪，以根据跟踪结果得到摄像机位姿；S2：根据所述摄像机位姿将所述模板图像投影到屏幕上，以得到所述模板图像在所述屏幕上的模板图像投影区域，其中，所述模板图像投影区域为待叠加图像翻转后的目标位置；S3：根据所述待叠加图像的原始位置和翻转后的目标位置，得到所述待叠加图像到所述屏幕上的模板图像投影区域的翻转矩阵；S4：根据所述翻转矩阵对所述待叠加图像进行翻转；S5：将翻转后的所述待叠加图像叠加到所述模板图像上，具体包括：基于前景和背景叠加的透明度规则将所述待叠加图像的前景部分叠加到当前屏幕图像上，具体包括：对翻转后的待叠加图像的每一个像素值进行判断；如果翻转后的待叠加图像的某个像素的颜色为背景色，则这个像素点背景部分不作处理，保留屏幕图像原始像素值；如果这个像素点的颜色不是背景色，则将当前屏幕图像上这个像素点的颜色替换为翻转后的待叠加图像在这个像素点上的颜色，具体的计算公式如下：i＝i1×α+i2×β其中其中i、i1、i2分别是叠加后的像素颜色值、待叠加图像的像素颜色值和当前屏幕图像的像素颜色值；S6：对当前屏幕图像实施选定的特效变换；S7：将预定三维虚拟模型叠加到所述模板图像上，以实现对所述模板图像的增强现实。2.根据权利要求1所述的具有图像叠加和图像特效功能的增强现实方法，其特征在于，所述步骤S1进一步包括：对所述模板图像进行实时的三维跟踪，并在跟踪过程中提取当前屏幕图像上的特征点，并与所述模板图像上的特征点进行特征匹配并消除误匹配，并求解所述当前屏幕图像和模板图像之间的单应性矩阵及当前屏幕图像帧的摄像机位姿。3.根据权利要求2所述的具有图像叠加和图像特效功能的增强现实方法，其特征在于，其中，所述步骤S2进一步包括：所述模板图像投影区域为平面四边形，记录所述模板图像投影区域的四个顶点与所述模板图像的四个顶点的对应关系，其中，所述模板图像投影区域的四个顶点通过如下公式计算：其中，(ui，vi)(i＝1,2,3,4)是所述模板图像的顶点坐标，(u′i，v′i)(i＝1,2,3,4)是所述模板图像投影区域对应的顶点坐标，H为所述当前屏幕图像和模板图像之间的单应性矩阵；将所述模板图像的顶点坐标(ui...

【专利技术属性】
技术研发人员：孙延奎，赵奇可，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11