特效投影方法、装置、电子设备及可读存储介质制造方法及图纸

本申请公开了一种特效投影方法、装置、电子设备及可读存储介质，属于计算机技术领域。该特效投影方法包括：获取拍摄设备的初始位姿；根据模板图像的待投影特效部分上的特征点集中各个特征点的第一位置信息，确定目标图像上的对应特征点集中各个特征点的第二位置信息；所述模板图像为目标场景的模板图像，所述目标图像为拍摄设备拍摄目标场景获得的图像；根据所述第二位置信息和所述特征点集中各个特征点对应的特效在第一世界坐标系中的三维坐标信息，确定拍摄设备的位姿矫正量；根据所述位姿矫正量对所述初始位姿进行矫正，获得所述拍摄设备的目标位姿；在所述目标位姿下进行特效投影。由此，可以有效地实现特效投影。可以有效地实现特效投影。可以有效地实现特效投影。

【技术实现步骤摘要】
特效投影方法、装置、电子设备及可读存储介质


[0001]本申请属于计算机
，具体涉及一种特效投影方法、装置、电子设备及可读存储介质。

技术介绍

[0002]相关技术中，特效投影比如增强现实(Augmented Reality，AR)特效投影等，通常依赖于对目标场景进行三维建模，获得三维点云，然后根据目标场景的图像与三维点云的匹配关系，解算相机位姿，并基于解算的相机位姿进行特效投影。然而，由于三维建模对目标场景的纹理特征要求较高，在目标场景距离远、纹理弱和/或图像成像模糊等情况下，会出现提取的特征点数量不足或质量不高，进而导致无法获取足够支撑用于解算相机位姿的三维点云，使得无法准确解算相机位姿，从而造成无法有效地实现特效投影。

技术实现思路

[0003]本申请实施例的目的是提供一种特效投影方法、装置、电子设备及可读存储介质，以解决相关技术中无法有效地实现特效投影的问题。
[0004]为了解决上述技术问题，本申请是这样实现的：
[0005]第一方面，提供了一种特效投影方法，应用于电子设备，包括：
[0006]获取拍摄设备的初始位姿；
[0007]根据模板图像的待投影特效部分上的特征点集中各个特征点的第一位置信息，确定目标图像上的对应特征点集中各个特征点的第二位置信息；其中，所述模板图像为目标场景的模板图像，所述目标图像为所述拍摄设备拍摄所述目标场景获得的图像；
[0008]根据所述第二位置信息和所述特征点集中各个特征点对应的特效在第一世界坐标系中的三维坐标信息，确定所述拍摄设备的位姿矫正量；
[0009]根据所述位姿矫正量对所述初始位资进行矫正，获得所述拍摄设备的目标位资；
[0010]在所述目标位姿下进行特效投影。
[0011]可选的，所述根据所述第二位置信息和所述特征点集中各个特征点对应的特效在第一世界坐标系中的三维坐标信息，确定所述拍摄设备的位姿矫正量，包括：
[0012]根据所述第二位置信息和所述三维坐标信息，确定所述拍摄设备的旋转矫正量，以及根据所述第二位置信息、所述三维坐标信息和所述旋转矫正量，确定所述拍摄设备的平移矫正量。
[0013]可选的，所述根据模板图像的待投影特效部分上的特征点集中各个特征点的第一位置信息，确定目标图像上的对应特征点集中各个特征点的第二位置信息，包括：
[0014]对所述模板图像和所述目标图像进行匹配，获得单应矩阵；
[0015]基于所述单应矩阵将所述第一位置信息转换为所述第二位置信息。
[0016]可选的，所述根据所述第二位置信息和所述三维坐标信息，确定所述拍摄设备的旋转矫正量包括：
[0017]计算使第一距离值为最小值时的所述拍摄设备绕着重力方向旋转的目标角度；其中，所述第一距离值是根据所述第二位置信息和第三位置信息确定；所述第三位置信息是当所述拍摄设备绕着重力方向旋转时，根据所述三维坐标信息确定的对应特效在所述拍摄设备拍摄的图像上的位置信息；以及，将所述目标角度确定为所述旋转矫正量。
[0018]可选的，所述根据所述第二位置信息、所述三维坐标信息和所述旋转矫正量，确定所述拍摄设备的平移矫正量包括：
[0019]计算使第二距离值为最小值时的所述拍摄设备的目标平移量；其中，所述第二距离值是根据所述第二位置信息和第四位置信息确定；所述第四位置信息是当所述拍摄设备在绕着重力方向旋转所述旋转矫正量后进行平移时，根据所述三维坐标信息确定的对应特效在所述拍摄设备拍摄的图像上的位置信息；以及，将所述目标平移量确定为所述平移矫正量。
[0020]可选的，在所述目标位姿下进行特效投影之后，所述方法还包括：
[0021]追踪所述拍摄设备的位姿，并调整所述拍摄设备的位姿；
[0022]在调整后的所述拍摄设备的位姿下进行特效投影。
[0023]可选的，所述追踪所述拍摄设备的位姿，并调整所述拍摄设备的位姿包括：
[0024]获取所述拍摄设备中的加速度计的加速度值和所述拍摄设备中的陀螺仪的角速度值；
[0025]根据所述加速度值、所述角速度值和所述拍摄设备的姿态角，确定所述拍摄设备的目标姿态角，并根据所述目标姿态角，调整所述拍摄设备的位姿。
[0026]可选的，所述第一世界坐标系是根据第一位置点建立的，所述第一位置点是所述拍摄设备在启动时的实际位置点。
[0027]可选的，所述获取拍摄设备的初始位姿之前，所述方法还包括：
[0028]获取根据所述目标场景的默认观测点建立的第二世界坐标系；
[0029]根据所述第一位置点的坐标信息和所述默认观测点的坐标信息，对所述第二世界坐标系进行变换，获得所述第一世界坐标系。
[0030]第二方面，提供了一种特效投影装置，应用于电子设备，包括：
[0031]第一获取模块，用于获取拍摄设备的初始位姿；
[0032]第一确定模块，用于根据模板图像的待投影特效部分上的特征点集中各个特征点的第一位置信息，确定目标图像上的对应特征点集中各个特征点的第二位置信息；其中，所述模板图像为目标场景的模板图像，所述目标图像为所述拍摄设备拍摄所述目标场景获得的图像；
[0033]第二确定模块，用于根据所述第二位置信息和所述特征点集中各个特征点对应的特效在第一世界坐标系中的三维坐标信息，确定所述拍摄设备的位姿矫正量；
[0034]矫正模块，用于根据所述位姿矫正量对所述初始位姿进行矫正，获得所述拍摄设备的目标位姿；
[0035]投影模块，用于在所述目标位姿下进行特效投影。
[0036]第三方面，提供了一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
[0037]第四方面，提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
[0038]在本申请实施例中，可以通过模板图像对拍摄设备位姿的矫正，由于模板图像不受场景实际情况比如距离远、纹理弱和/或图像成像模糊等情况的影响，因此即使在视觉特征很差的场景中，也能够准确解算拍摄设备的位姿，从而保证特效能够完全紧密地贴合在目标场景图像的相应位置中，从而有效地实现特效投影。
附图说明
[0039]图1是本申请实施例提供的一种特效投影方法的流程图；
[0040]图2是本申请实施例中模板图像的示意图；
[0041]图3A是本申请实施例中的指北世界坐标系的示意图；
[0042]图3B是本申请实施例中的第二世界坐标系的示意图；
[0043]图4是本申请实施例提供的一种特效投影装置的结构示意图；
[0044]图5是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
[0045]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种特效投影方法，其特征在于，包括：获取拍摄设备的初始位姿；根据模板图像的待投影特效部分上的特征点集中各个特征点的第一位置信息，确定目标图像上的对应特征点集中各个特征点的第二位置信息；其中，所述模板图像为目标场景的模板图像，所述目标图像为所述拍摄设备拍摄所述目标场景获得的图像；根据所述第二位置信息和所述特征点集中各个特征点对应的特效在第一世界坐标系中的三维坐标信息，确定所述拍摄设备的位姿矫正量；根据所述位姿矫正量对所述初始位资进行矫正，获得所述拍摄设备的目标位资；在所述目标位姿下进行特效投影。2.根据权利要求1所述的方法，其特征在于，所述根据所述第二位置信息和所述特征点集中各个特征点对应的特效在第一世界坐标系中的三维坐标信息，确定所述拍摄设备的位姿矫正量，包括：根据所述第二位置信息和所述三维坐标信息，确定所述拍摄设备的旋转矫正量，以及根据所述第二位置信息、所述三维坐标信息和所述旋转矫正量，确定所述拍摄设备的平移矫正量。3.根据权利要求1所述的方法，其特征在于，所述根据模板图像的待投影特效部分上的特征点集中各个特征点的第一位置信息，确定目标图像上的对应特征点集中各个特征点的第二位置信息，包括：对所述模板图像和所述目标图像进行匹配，获得单应矩阵；基于所述单应矩阵将所述第一位置信息转换为所述第二位置信息。4.根据权利要求2所述的方法，其特征在于，所述根据所述第二位置信息和所述三维坐标信息，确定所述拍摄设备的旋转矫正量，包括：计算使第一距离值为最小值时的所述拍摄设备绕着重力方向旋转的目标角度；其中，所述第一距离值是根据所述第二位置信息和第三位置信息确定；所述第三位置信息是当所述拍摄设备绕着重力方向旋转时，根据所述三维坐标信息确定的对应特效在所述拍摄设备拍摄的图像上的位置信息；将所述目标角度确定为所述旋转矫正量。5.根据权利要求2或4所述的方法，其特征在于，所述根据所述第二位置信息、所述三维坐标信息和所述旋转矫正量，确定所述拍摄设备的平移矫正量，包括：计算使第二距离值为最小值时的所述拍摄设备的目标平移量；其中，所述第二距离值是根据所述第二位置信息和第四位置信息确定；所述第四位置信息是当所述拍摄设备在绕着重力方向旋转所述旋转矫正量后进行平移时，根据所述三维坐标信息确定的对应特效在所...

【专利技术属性】
技术研发人员：洪毅强，刘泽凡，陈佳悦，胡良军，王琦，
申请(专利权)人：咪咕文化科技有限公司中国移动通信集团有限公司，
类型：发明
国别省市：