图像处理方法、设备及存储介质技术

本申请实施例公开了一种图像处理方法、设备及计算机存储介质，所述方法包括：在设备处于第一时刻的情况下，获得至少四张现实场景图像，所述四张现实场景图像是针对同一现实场景的不同拍摄角度而得到；对所述至少四张现实场景图像进行渲染，得到目标图像；获得所述设备在第二时刻的位姿信息；依据所述设备在第二时刻的位姿信息和目标图像，获得在第二时刻下所述设备的输出图像。

【技术实现步骤摘要】
图像处理方法、设备及存储介质
本申请涉及图像处理技术，具体涉及一种图像处理方法、设备及计算机存储介质。
技术介绍
增强现实(AR，AugmentedReality)技术可将真实环境中的实体信息(如视觉信息、声音信息等)进行系统模拟和仿真后得到虚拟环境，并将虚拟环境和真实环境进行叠加，显示在同一画面或空间中。虚拟现实(VR，VirtualReality)现实技术可模拟出虚拟环境，使用户沉浸到该环境中。用户可通过佩戴AR或VR设备，在虚拟环境中体验身临其境的感受。在部分应用场景中如游戏场景，AR或VR设备会利用异步时间扭曲技术(ATW，AsynchronousTimewarp)来避免游戏画面产生的抖动。ATW技术的原理是：在第一时刻下采集某应用场景下如游戏场景下的一张图像，并利用该张图像进行中间图像的生成，合成生成的中间图像和采集的图像，作为在第二时刻下AR或AR设备的输出图像并输出。其中，由于所采集的采集图像所体现的对应用场景的采集视角较为有限，获取到的应用场景的场景真实情况有限，所以会使得AR或AR设备在第二时刻下的输出图像存在伪影现象和黑边现象。
技术实现思路
为解决现有存在的技术问题，本申请实施例提供一种图像处理方法、设备及计算机存储介质。本申请实施例的技术方案是这样实现的：本申请实施例提供一种图像处理方法，包括：在设备处于第一时刻的情况下，获得至少四张现实场景图像，所述四张现实场景图像是针对同一现实场景的不同拍摄角度而得到；对所述至少四张现实场景图像进行渲染，得到目标图像；<br>获得所述设备在第二时刻的位姿信息；依据所述设备在第二时刻的位姿信息和目标图像，获得在第二时刻下所述设备的输出图像。上述方案中，所述获得所述设备在第二时刻的位姿信息，包括：对所述设备在第二时刻的位姿信息进行预测。上述方案中，所述依据所述设备在第二时刻的位姿信息和目标图像，获得在第二时刻下所述设备的输出图像，包括：依据所述设备在第二时刻的位姿信息，确定所述输出图像在目标图像上的裁剪或截取位置；按照所述裁剪或截取位置，对目标图像进行裁剪或截取，得到所述输出图像。上述方案中，所述依据所述设备在第二时刻的位姿信息，确定所述输出图像在目标图像上的裁剪或截取位置，包括：获得所述设备在第一时刻下的输出图像及该图像在所述目标图像上的裁剪或截取位置；获得所述设备在第一时刻的位姿信息；依据所述设备在第一时刻和第二时刻的位姿信息，获得所述设备在第二时刻相对于第一时刻的位姿偏移信息；依据所述设备在第一时刻下的输出图像在所述目标图像上的裁剪或截取位置以及位姿偏移信息，确定所述设备在第二时刻的输出图像在目标图像上的裁剪或截取位置。上述方案中，所述依据所述设备在第一时刻下的输出图像在所述目标图像上的裁剪或截取位置以及位姿偏移信息，确定所述设备在第二时刻的输出图像在目标图像上的裁剪或截取位置，包括：依据所述位姿偏移信息，确定图像偏移信息；在目标图像上按照图像偏移信息沿着所述设备在第一时刻下的输出图像在所述目标图像上的裁剪或截取位置进行偏移，得到所述设备在第二时刻的输出图像在目标图像上的裁剪或截取位置。上述方案中，所述图像偏移信息包括图像偏移方向和图像像素偏移数量；所述依据所述位姿偏移信息，确定图像偏移信息，包括：获得所述设备的输出分辨率信息以及视角信息；确定所述设备从第一位姿变化至第二位姿产生的偏移方向和偏移角度；依据所述偏移角度、输出分辨率信息以及视角信息，确定所述图像像素偏移数量；依据所述偏移方向，确定所述图像偏移方向。上述方案中，所述设备包括有至少四个虚拟摄像装置，各虚拟摄像装置设置在所述设备的不同位置处，通过位于不同位置处的所述至少四个虚拟摄像装置对现实场景进行图像采集而得到所述至少四张现实场景图像。本申请实施例提供一种图像处理设备，包括：第一获得单元，用于在设备处于第一时刻的情况下，获得至少四张现实场景图像，所述四张现实场景图像是针对同一现实场景的不同拍摄角度而得到；渲染单元，用于对所述至少四张现实场景图像进行渲染，得到目标图像；第二获得单元，用于获得所述设备在第二时刻的位姿信息；第三获得单元，用于依据所述设备在第二时刻的位姿信息和目标图像，获得在第二时刻下所述设备的输出图像。本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述的图像处理方法的步骤。本申请实施例提供一种图像处理设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现前述的图像处理方法的步骤。本申请实施例提供了一种图像处理方法、设备及计算机存储介质，在设备处于第一时刻的情况下，可获得针对同一现实场景的不同拍摄角度而得到的多张现实场景图像，通过对这些现实场景图像的渲染得到能够从更广视觉体现该同一现实场景的大视角图像，依据大视角图像以及设备在第二时刻的位姿信息，获得在第二时刻下设备的输出图像。与相关技术中的ATW技术采集的采集图像所体现的对应用场景的采集视角较为有限的方案相比，本申请实施例中能够体现应用场景的更多场景真实情况，可使用具有更广视角的目标图像和设备在第二时刻的位姿信息得到的设备在第二时刻下的输出图像，不会出现伪影和黑边，为用户带来全新的视觉体验。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本申请实施例提供的图像处理方法的第一实现流程示意图；图2为本申请实施例提供的图像处理方法的第二实现流程示意图；图3为本申请实施例提供的图像处理方法的第三实现流程示意图；图4为本申请实施例提供的虚拟摄像装置的拍摄视角示意图；图5(a)、(b)及图5(c)为本申请实施例提供的应用场景示意图；图6为本申请实施例提供的图像处理设备的组成结构示意图；图7为本申请实施例提供的图像处理设备的硬件构成示意图。具体实施方式为使本申请的目的、技术方案和优点更加清楚明白，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。相关技术中的ATW技术会使得AR或VR设备本文档来自技高网...

【技术保护点】
1.一种图像处理方法，包括：/n在设备处于第一时刻的情况下，获得至少四张现实场景图像，所述四张现实场景图像是针对同一现实场景的不同拍摄角度而得到；/n对所述至少四张现实场景图像进行渲染，得到目标图像；/n获得所述设备在第二时刻的位姿信息；/n依据所述设备在第二时刻的位姿信息和目标图像，获得在第二时刻下所述设备的输出图像。/n

【技术特征摘要】
1.一种图像处理方法，包括：
在设备处于第一时刻的情况下，获得至少四张现实场景图像，所述四张现实场景图像是针对同一现实场景的不同拍摄角度而得到；
对所述至少四张现实场景图像进行渲染，得到目标图像；
获得所述设备在第二时刻的位姿信息；
依据所述设备在第二时刻的位姿信息和目标图像，获得在第二时刻下所述设备的输出图像。


2.根据权利要求1所述的方法，所述获得所述设备在第二时刻的位姿信息，包括：
对所述设备在第二时刻的位姿信息进行预测。


3.根据权利要求1或2所述的方法，所述依据所述设备在第二时刻的位姿信息和目标图像，获得在第二时刻下所述设备的输出图像，包括：
依据所述设备在第二时刻的位姿信息，确定所述输出图像在目标图像上的裁剪或截取位置；
按照所述裁剪或截取位置，对目标图像进行裁剪或截取，得到所述输出图像。


4.根据权利要求3所述的方法，所述依据所述设备在第二时刻的位姿信息，确定所述输出图像在目标图像上的裁剪或截取位置，包括：
获得所述设备在第一时刻下的输出图像及该图像在所述目标图像上的裁剪或截取位置；
获得所述设备在第一时刻的位姿信息；
依据所述设备在第一时刻和第二时刻的位姿信息，获得所述设备在第二时刻相对于第一时刻的位姿偏移信息；
依据所述设备在第一时刻下的输出图像在所述目标图像上的裁剪或截取位置以及位姿偏移信息，确定所述设备在第二时刻的输出图像在目标图像上的裁剪或截取位置。


5.根据权利要求4所述的方法，所述依据所述设备在第一时刻下的输出图像在所述目标图像上的裁剪或截取位置以及位姿偏移信息，确定所述设备在第二时刻的输出图像在目标图像上的裁剪或截取位置，包括：
依据所述位姿偏移信息，确定图像偏移信...

【专利技术属性】
技术研发人员：陆柳慧，杨东清，盛兴东，曹宇强，陈嘉胤，
申请(专利权)人：联想北京有限公司，
类型：发明
国别省市：北京;11