图像合成方法、图像合成装置、存储介质及电子设备制造方法及图纸

本公开涉及一种图像合成方法、图像合成装置、存储介质及电子设备，以提高合成图像的效果。图像合成方法包括：分别获取第一时刻和第三时刻之间的第一延迟时长、以及第二时刻和第三时刻之间的第二延迟时长；根据第一延迟时长、第一相机在所述第三时刻的第三位姿、以及记录的位姿队列，确定在将原始背景画面投影到屏幕模型时第一相机的第一位姿；根据第二延迟时长、第一相机在第三时刻的第三位姿、以及位姿队列，确定第一相机在采集第一真实图像时的第二位姿；根据第一位姿和第二位姿，对原始背景画面进行修正，得到目标背景画面；对目标背景画面、第一真实图像以及屏幕遮罩图像进行画面合成，得到合成图像。得到合成图像。得到合成图像。

【技术实现步骤摘要】
图像合成方法、图像合成装置、存储介质及电子设备


[0001]本公开涉及扩展现实
，具体地，涉及一种图像合成方法、图像合成装置、存储介质及电子设备。

技术介绍

[0002]扩展现实是一种将虚拟世界与真实世界相结合的技术，它可以将虚拟对象叠加到真实场景中，使得用户可以看到虚拟世界和真实世界的混合图像。在扩展现实应用中，动态追踪和实时同步是非常重要的技术，它可以使虚拟对象与真实场景保持同步，从而提高用户的体验和交互性。
[0003]相机在移动时，针对待合成的相机拍摄的真实图像和采集的用于背景图像的渲染画面的位姿不同，即，真实图像和渲染图像的视角不同，在合成时真实图像和渲染画面无法对齐，导致合成画面出现撕裂现象，从而导致合成图像的效果较差。

技术实现思路

[0004]本公开的目的是提供一种图像合成方法、图像合成装置、存储介质及电子设备，以提高合成图像的效果。
[0005]为了实现上述目的，本公开第一方面提供一种图像合成方法，应用于虚拟现实设备中的处理设备，所述虚拟现实设备还包括显示设备和第一相机，所述图像合成方法包括：
[0006]分别获取第一时刻和第三时刻之间的第一延迟时长、以及第二时刻和所述第三时刻之间的第二延迟时长，其中，所述第一时刻为将原始背景画面投影到屏幕模型上得到屏幕成像图像的时刻，所述第二时刻为所述第一相机对显示有所述屏幕成像图像的所述显示设备进行拍摄得到第一真实图像的时刻，所述第三时刻为所述处理设备接收到所述第一真实图像的时刻；
[0007]根据所述第一延迟时长、所述第一相机在所述第三时刻的第三位姿、以及记录的位姿队列，确定在将所述原始背景画面投影到所述屏幕模型时所述第一相机的第一位姿，所述位姿列队中包括所述第一相机在所述第三时刻的第三位姿以及在所述第三时刻之前的每一历史时刻的位姿；
[0008]根据所述第二延迟时长、所述第一相机在所述第三时刻的第三位姿、以及所述位姿队列，确定所述第一相机在采集所述第一真实图像时的第二位姿；
[0009]根据所述第一位姿和所述第二位姿，对所述原始背景画面进行修正，得到目标背景画面；
[0010]对所述目标背景画面、所述第一真实图像以及屏幕遮罩图像进行画面合成，得到合成图像。
[0011]本公开第二方面提供一种图像合成装置，应用于虚拟现实设备中的处理设备，所述虚拟现实设备还包括显示设备和第一相机，所述图像合成装置包括：
[0012]第一获取模块，用于分别获取第一时刻和第三时刻之间的第一延迟时长、以及第
二时刻和所述第三时刻之间的第二延迟时长，其中，所述第一时刻为将原始背景画面投影到屏幕模型上得到屏幕成像图像的时刻，所述第二时刻为所述第一相机对显示有所述屏幕成像图像的所述显示设备进行拍摄得到第一真实图像的时刻，所述第三时刻为所述处理设备接收到所述第一真实图像的时刻；
[0013]第一确定模块，用于根据所述第一延迟时长、所述第一相机在所述第三时刻的第三位姿、以及记录的位姿队列，确定在将所述原始背景画面投影到所述屏幕模型时所述第一相机的第一位姿，所述位姿列队中包括所述第一相机在所述第三时刻的第三位姿以及在所述第三时刻之前的每一历史时刻的位姿；
[0014]第二确定模块，用于根据所述第二延迟时长、所述第一相机在所述第三时刻的第三位姿、以及所述位姿队列，确定所述第一相机在采集所述第一真实图像时的第二位姿；
[0015]修正模块，用于根据所述第一位姿和所述第二位姿，对所述原始背景画面进行修正，得到目标背景画面；
[0016]合成模块，用于对所述目标背景画面、所述第一真实图像以及屏幕遮罩图像进行画面合成，得到合成图像。
[0017]本公开第三方面提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开第一方面所述图像合成方法的步骤。
[0018]本公开第四方面提供一种电子设备，包括：
[0019]存储器，其上存储有计算机程序；
[0020]处理器，用于执行所述存储器中的所述计算机程序，以实现本公开第一饭馆所述图像合成方法的步骤。
[0021]采用上述技术方案，根据第一延迟时长、第二延迟时长、第一相机在第三时刻的第三位姿以及位姿队列，分别确定出在将原始背景画面投影到屏幕模型时第一相机的第一位姿和第一相机在采集第一真实图像时的第二位姿，进而根据第一位姿和第二位姿对原始背景画面进行修正得到目标背景画面，并基于目标背景画面、第一真实图像以及屏幕遮罩图像进行画面合成，得到合成图像。如此，考虑到第一相机位姿的变化，对原始背景画面进行修正得到目标背景画面，使得目标背景画面能够与第一真实图像对齐，从而使合成图像在视觉上更加连贯和真实，提升了扩展现实技术的应用体验和合成图像的效果。
[0022]本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0023]附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
[0024]图1是根据一示例性实施例示出的一种虚拟现实设备的示意图。
[0025]图2是根据一示例性实施例示出的一种虚拟现实设备的工作流程示意图。
[0026]图3是根据一示例性实施例示出的一种图像合成方法的流程图。
[0027]图4是根据一示例性实施例示出的一种图像合成装置的框图。
[0028]图5是根据一示例性实施例示出的一种电子设备的框图。
[0029]图6是根据一示例性实施例示出的另一种电子设备的框图。
具体实施方式
[0030]以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
[0031]首先需要说明的是，本公开中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。其次需要说明的是，在本公开中所描述的第一相机的位姿均是指第一相机相对于屏幕模型的位姿。
[0032]目前的扩展技术中，在图像合成过程中，主要关注的是背景画面和抓拍的真实图像之间的延时问题，没有充分考虑到相机位姿的变化对合成图像的影响，尤其是在涉及到背景画面和抓拍的真实图像之间存在较大位姿变化的情况下。在实际应用中，由于相机位姿的变化(如旋转、平移等)，背景画面和抓拍的真实图像之间的对位可能会产生较大的差异，这会导致背景画面中虚拟对象的位置不准确，降低了扩展现实应用的真实感和稳定性，使得扩展现实技术的应用体验较差。
[0033]为了提高扩展现实技术的应用体验和合成图像的效果，本公开提供一种图像合成方法、图像合成装置、存储介质及电子设备。
[0034]在对本公开所提供的图像合成方法进行详细描述之前，首先，对该图像合成方法所适用的虚拟现实设备进行说明。
[0035]图1是根据一示例性本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像合成方法，其特征在于，应用于虚拟现实设备中的处理设备，所述虚拟现实设备还包括显示设备和第一相机，所述图像合成方法包括：分别获取第一时刻和第三时刻之间的第一延迟时长、以及第二时刻和所述第三时刻之间的第二延迟时长，其中，所述第一时刻为将原始背景画面投影到屏幕模型上得到屏幕成像图像的时刻，所述第二时刻为所述第一相机对显示有所述屏幕成像图像的所述显示设备进行拍摄得到第一真实图像的时刻，所述第三时刻为所述处理设备接收到所述第一真实图像的时刻；根据所述第一延迟时长、所述第一相机在所述第三时刻的第三位姿、以及记录的位姿队列，确定在将所述原始背景画面投影到所述屏幕模型时所述第一相机的第一位姿，所述位姿列队中包括所述第一相机在所述第三时刻的第三位姿以及在所述第三时刻之前的每一历史时刻的位姿；根据所述第二延迟时长、所述第一相机在所述第三时刻的第三位姿、以及所述位姿队列，确定所述第一相机在采集所述第一真实图像时的第二位姿；根据所述第一位姿和所述第二位姿，对所述原始背景画面进行修正，得到目标背景画面；对所述目标背景画面、所述第一真实图像以及屏幕遮罩图像进行画面合成，得到合成图像。2.根据权利要求1所述的图像合成方法，其特征在于，所述根据所述第一位姿和所述第二位姿，对所述原始背景画面进行修正，得到目标背景画面，包括：对所述屏幕模型进行扩展，以使第一OGRE相机在处于所述第一位姿时能够将所述原始背景画面完整投影在扩展后的屏幕模型上；将第二OGRE相机的位姿调整为所述第二位姿，并在所述第二OGRE相机处于所述第二位姿时，控制所述第二OGRE相机对投影有所述原始背景画面的屏幕模型进行拍摄；将所述第二OGRE相机拍摄得到的图像确定为目标背景画面。3.根据权利要求1所述的图像合成方法，其特征在于，所述根据所述第一位姿和所述第二位姿，对所述原始背景画面进行修正，得到目标背景画面，包括：确定目标屏幕模型，所述目标屏幕模型为多个所述屏幕模型中的一个屏幕模型，或者为多个所述屏幕模型中位于同一平面的至少两个屏幕模型；根据所述第一位姿、所述第二位姿和所述第一相机的内参，分别确定所述目标屏幕模型的顶点对应的第一图像像素坐标和第二图像像素坐标；根据所述第一图像像素坐标和所述第二图像像素坐标，对所述原始背景画面进行修正，得到目标背景画面。4.根据权利要求3所述的图像合成方法，其特征在于，所述目标屏幕模型为多个所述屏幕模型中的一个屏幕模型，所述确定目标屏幕模型包括：确定投影到每一所述屏幕模型的所述原始背景画面的区域；将所述区域最大的屏幕模型确定为目标屏幕模型。5.根据权利要求1所述的图像合成方法，其特征在于，在确定出所述第二位姿之后，所述图像合成方法还包括：获取第一OGRE相机在处于所述第二位姿时生成的屏幕遮罩图像；
对所述屏幕遮罩图像进行处理，得到处理后的目标屏幕遮罩图像；所述对所述目标背景画面、所述真实图像以及屏幕遮罩图像进行画面合成，得到合成图像，包括：对所述目标背景画面、所述真实图像以及所述目...

【专利技术属性】
技术研发人员：李凡，肖戈，方力，徐伟俊，邵寅亮，孙冰晶，
申请(专利权)人：北京凯视达科技股份有限公司，
类型：发明
国别省市：