图像显示方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种图像显示方法、装置、设备及存储介质。方法包括：响应于用户从虚拟环境切换到真实环境的虚实切换事件，获取当前视频流及其中每个图像帧对应的摄像头姿态数据以及用户在当前时刻的视点姿态数据，当前视频流为通过用户佩戴的头戴式显示设备上的摄像头对用户所处的真实环境进行拍摄得到；基于当前视频流及其中每个图像帧对应的摄像头姿态数据对图像渲染模型进行训练；通过训练后的图像渲染模型基于当前时刻的视点姿态数据进行图像渲染处理，得到与用户的视点相适应的目标渲染图像；通过头戴式显示设备显示目标渲染图像，目标渲染图像用于反映从用户视角所观察的真实环境，以便于用户基于所述目标渲染图像在真实环境进行活动。真实环境进行活动。真实环境进行活动。

【技术实现步骤摘要】
图像显示方法、装置、设备及存储介质


[0001]本申请涉及虚拟现实
，尤其涉及一种图像显示方法、装置、设备及存储介质。

技术介绍

[0002]作为元宇宙的核心子领域，虚拟现实可以在人们日常生活的真实环境之外，通过计算机技术提供完全不同的数字化虚拟环境。这类虚拟环境具有多样性，既可以是脱离真实环境的束缚而创作的游戏环境，也可以是对真实环境的高度仿真环境。在现行主流技术下，用户通过头戴式显示设备(Head Mounted Display，HMD)的方式进入虚拟环境。HMD通过将人眼遮挡，并显示虚拟环境的图像的方式，将用户的观感从真实环境带入到虚拟环境。
[0003]但在用户观感沉浸于虚拟环境的同时，用户的身体仍处于真实环境。这一事实使得HMD为了提升虚拟环境沉浸感而完全阻断用户对真实环境的感知。即，即便用户处于虚拟环境工作，很多事情也发生在真实环境，因此，有时候也需要对真实环境做必要的感知。在这类需求下，如果用户频繁地通过摘下带上HMD在真实环境与虚拟环境之间切换，会严重损害用户体验。
[0004]因此，如何在不需要用户摘下HMD的前提下，将用户的视野切换到真实环境，是当前亟需解决的问题。

技术实现思路

[0005]本申请实施例的目的提供一种图像显示方法、装置、设备及存储介质，用于在不需要用户摘下HMD的前提下也能够将用户的视野切换为真实环境。
[0006]为了实现上述目的，本申请实施例采用下述技术方案：
[0007]第一方面，本申请实施例提供一种图像显示方法，包括：
[0008]响应于用户从虚拟环境切换到真实环境的虚实切换事件，获取当前视频流、所述当前视频流中每个图像帧对应的摄像头姿态数据以及所述用户在当前时刻的视点姿态数据，其中，所述当前视频流为通过所述用户佩戴的头戴式显示设备上的摄像头对所述用户所处的真实环境进行拍摄得到，所述当前视频流包括基于时序排列的多个图像帧；
[0009]基于所述当前视频流以及所述当前视频流中每个图像帧对应的摄像头姿态数据，对图像渲染模型进行训练；
[0010]通过训练后的图像渲染模型基于所述当前时刻的视点姿态数据进行图像渲染处理，得到与所述用户的视点相适应的目标渲染图像；
[0011]通过所述头戴式显示设备显示所述目标渲染图像，其中，所述目标渲染图像用于反映从用户视角所观察的真实环境，以便于所述用户基于所述目标渲染图像在所述真实环境进行活动。
[0012]第二方面，本申请实施例提供一种图像显示装置，包括：
[0013]获取单元，用于响应于用户从虚拟环境切换到真实环境的虚实切换事件，获取当
前视频流、所述当前视频流中每个图像帧对应的摄像头姿态数据以及所述用户在当前时刻的视点姿态数据，其中，所述当前视频流为通过所述用户佩戴的头戴式显示设备上的摄像头对所述用户所处的真实环境进行拍摄得到，所述当前视频流包括基于时序排列的多个图像帧；
[0014]训练单元，用于基于所述当前视频流以及所述当前视频流中每个图像帧对应的摄像头姿态数据，对图像渲染模型进行训练；
[0015]渲染单元，用于通过训练后的图像渲染模型基于所述当前时刻的视点姿态数据进行图像渲染处理，得到与所述用户的视点相适应的目标渲染图像；
[0016]显示单元，用于通过所述头戴式显示设备显示所述目标渲染图像，其中，所述目标渲染图像用于反映从用户视角所观察的真实环境，以便于所述用户基于所述目标渲染图像在所述真实环境进行活动。
[0017]第三方面，本申请实施例提供一种图像显示设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如第一方面所述的方法。
[0018]第四方面，本申请实施例提供一种计算机可读存储介质，当所述存储介质中的指令由图像显示设备的处理器执行时，使得图像显示设备能够执行如第一方面所述的方法。
[0019]本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：通过用户佩戴的头戴式显示设备上的摄像头采集用户所处真实环境的视频流，然后基于当前视频流以及当前视频流中每个图像帧对应的摄像头姿态数据对图像渲染模型进行训练，使得训练后的图像渲染模型能够渲染与摄像头姿态数据适应的图像；进一步，由于摄像头姿态数据能够描述拍摄图像时摄像头所在的位置，类似地，用户的视点姿态数据能够描述用户的眼睛在看图像时的位置，通过训练后的图像渲染模型基于用户在当前时刻的视点姿态数据进行图像渲染，即可得到与用户的视点相适应的目标渲染图像，并通过头戴式显示设备显示目标渲染图像，使得用户不需要摘掉头戴式显示设备，而是通过头戴式显示设备显示的目标渲染图像即可感知真实环境，并且，由于目标渲染图像与用户的视点是相适应的，使得用户通过头戴式显示设备感知到的真实环境中物体的空间关系是正确的，进而使得用户能够根据头戴式显示设备显示的目标渲染图像，准确地与真实环境中的物体发生交互或准确操控真实环境中的物体，比如定位和抓取真实环境中的物体等，有利于提升用户体验。另外，由于真实环境中被用户所需的物体具有偶然性，而本申请实施例中通过头戴式显示设备显示的目标渲染图像，是在基于摄像头对用户所处真实环境拍摄所得的视频流及摄像头姿态数据训练出图像渲染模型之后，通过图像渲染模型基于当前时刻的视点姿态数据进行图像渲染得到的，因而本申请实施例提供的图像显示方法能够适用于用户偶然的交互需求，即用户在进入虚拟环境前不需要预见要与真实环境中的哪些物体进行交互，也不需要预先知道待交互物体所在的位置。
附图说明
[0020]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0021]图1为本申请的一个实施例提供的图像显示方法的应用场景示意图；
[0022]图2为本申请的一个实施例提供的一种图像显示方法的流程示意图；
[0023]图3为本申请的一个实施例提供的用户视点及摄像头视点的示意图；
[0024]图4为本申请的一个实施例提供的头戴式显示设备上的一个摄像头的运动轨迹及覆盖范围的示意图；
[0025]图5为本申请的另一个实施例提供的一种图像显示方法的流程示意图；
[0026]图6为本申请的一个实施例提供的一种图像显示装置的结构示意图；
[0027]图7为本申请的一个实施例提供的一种图像显示设备的结构示意图。
具体实施方式
[0028]为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0029]本说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像显示方法，其特征在于，包括：响应于用户从虚拟环境切换到真实环境的虚实切换事件，获取当前视频流、所述当前视频流中每个图像帧对应的摄像头姿态数据以及所述用户在当前时刻的视点姿态数据，其中，所述当前视频流为通过所述用户佩戴的头戴式显示设备上的摄像头对所述用户所处的真实环境进行拍摄得到，所述当前视频流包括基于时序排列的多个图像帧；基于所述当前视频流以及所述当前视频流中每个图像帧对应的摄像头姿态数据，对图像渲染模型进行训练；通过训练后的图像渲染模型基于所述当前时刻的视点姿态数据进行图像渲染处理，得到与所述用户的视点相适应的目标渲染图像；通过所述头戴式显示设备显示所述目标渲染图像，其中，所述目标渲染图像用于反映从用户视角所观察的真实环境，以便于所述用户基于所述目标渲染图像在所述真实环境进行活动。2.根据权利要求1所述的方法，其特征在于，所述基于所述当前视频流以及所述当前视频流中每个图像帧对应的摄像头姿态数据，对图像渲染模型进行训练，包括：基于所述当前视频流中第一时间段内的多个图像帧以及各图像帧对应的摄像头姿态数据，对图像渲染模型进行训练，以得到第一图像渲染模型；基于所述当前视频流中第二时间段内的多个图像帧以及各图像帧对应的摄像头姿态数据，对所述第一图像渲染模型进行训练，以得到第二图像渲染模型，所述第二时间段包含所述第一时间段。3.根据权利要求2所述的方法，其特征在于，所述基于所述当前视频流中第二时间段内的多个图像帧以及各图像帧对应的摄像头姿态数据，对所述第一图像渲染模型进行训练，以得到第二图像渲染模型，包括：基于预设姿态跟踪算法和所述第二时间段内的多个图像帧，对所述第二时间段内各图像帧对应的摄像头姿态数据进行修正，得到所述第二时间段内各图像帧对应的修正摄像头姿态数据；基于所述第二时间段内的多个图像帧以及各图像帧对应的修正摄像头姿态数据，对所述第一图像渲染模型进行训练，以得到所述第二图像渲染模型。4.根据权利要求2所述的方法，其特征在于，所述基于所述当前视频流中第一时间段内的多个图像帧以及各图像帧对应的摄像头姿态数据，对图像渲染模型进行训练，以得到第一图像渲染模型，包括：通过所述图像渲染模型基于所述第一时间段内各图像帧对应的摄像头姿态数据进行图像渲染处理，得到所述第一时间段内各图像帧对应的渲染图像；基于所述第一时间段内各图像帧以及各图像帧对应的渲染图像之间的差异信息，调整所述图像渲染模型的模型参数，以得到第一图像渲染模型。5.根据权利要求2所述的方法，其特征在于，所述基于所述当前视频流中第一时间段内的多个图像帧以及各图像帧对应的摄像头姿态数据，对图像渲染模型进行训练，以得到第一图像渲染模型，包括：通过前台线程基于所述第一时间段内的多个图像帧以及各图像帧对应的摄像头姿态数据，对图像渲染模型进行训练，以得到第一图像渲染模型；
所述基于所述当前视频流中第二时间段内的多个图像帧以及各图像帧对应的摄像头姿态数据，对所述第一图像渲染模型进行训练，以得到第二图像渲染模型，包括：通过后台线程基于所述第二时间段内的多个图像帧以及各图像帧对应的摄像头姿态数据，对所述第一图像渲染模型进行训练，以得到第二图像渲染模型。6.根据权利要求5所述的方法，其特征在于，所述通过训练后的图像渲染模型基于所述当前时刻的视点姿态数据进行图像渲染处理，得到与所述用户的视点相适应的目标渲染图像，包括：若所述后台线程中对所述第一图像渲染模型的训练未满足预设训练停止条件，则在所述前台线程中通过所述第一图像渲染模型，基于所述当前时刻的视点姿态数据进行图像渲染处理，得到与所述用户的视...

【专利技术属性】
技术研发人员：王淳，蒋宁，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：