用于渲染图像的方法、装置、电子设备和存储介质制造方法及图纸

本公开实施例公开了一种用于渲染图像的方法、装置、电子设备和存储介质，具体实现方案为：从图像传感器采集的场景图像中分割出第一图像和第二图像，第一图像表征位于载具外部的场景，第二图像表征位于载具内部的场景；基于第一图像和惯性测量单元采集的惯性数据，确定头戴显示设备在世界坐标系中的第一位姿；基于第二图像和惯性数据，确定头戴显示设备在载具坐标系中的第二位姿；基于第一位姿对载具外部的虚拟对象进行渲染和低延迟补偿，得到第一虚拟图像；基于第二位姿对载具内部的虚拟对象进行渲染和低延迟补偿，得到第二虚拟图像；将第一虚拟图像和第二虚拟图像合成为目标虚拟图像；将目标虚拟图像发送至头戴显示设备的显示屏。屏。屏。

【技术实现步骤摘要】
用于渲染图像的方法、装置、电子设备和存储介质


[0001]本公开涉及扩展现实技术，尤其是一种用于渲染图像的方法、装置、电子设备和存储介质。

技术介绍

[0002]目前，扩展现实技术已被广泛至各个领域，例如医疗保健、零售、教育、社交媒体、娱乐等，以增强用户体验。
[0003]扩展现实可以包括增强现实、虚拟现实、混合现实等，通过将渲染得到的虚拟内容与物理世界集成，向用户提供扩展现实体验，并允许用户与利用虚拟内容增强或增强的真实或物理环境进行交互。
[0004]相关技术中，搭载有扩展现实技术的头戴显示设备位于可移动的载具中(例如汽车)时，通常需要更高频率和低延迟的位姿信息，以确保渲染图像的稳定性和定位的准确度。

技术实现思路

[0005]本公开实施例提供一种用于渲染图像的方法、装置、电子设备和存储介质。
[0006]本公开实施例的一个方面，提供一种用于渲染图像的方法，用于头戴显示设备，头戴显示设备上设有图像传感器和惯性测量单元，头戴显示设备位于可移动的载具内部，该方法包括：从图像传感器采集的场景图像中分割出第一图像和第二图像，其中，第一图像表征位于载具外部的场景，第二图像表征位于载具内部的场景；基于第一图像和惯性测量单元采集的惯性数据，确定头戴显示设备在世界坐标系中的第一位姿；基于第二图像和惯性数据，确定头戴显示设备在载具坐标系中的第二位姿；基于第一位姿对载具外部的虚拟对象进行渲染和低延迟补偿，得到第一虚拟图像；基于第二位姿对载具内部的虚拟对象进行渲染和低延迟补偿，得到第二虚拟图像；将第一虚拟图像和第二虚拟图像合成为目标虚拟图像；将目标虚拟图像发送至头戴显示设备的显示屏，以使头戴显示设备呈现目标虚拟图像。
[0007]本公开实施例的又一个方面，提供一种用于渲染图像的装置，用于头戴显示设备，头戴显示设备上设有图像传感器和惯性测量单元，头戴显示设备位于可移动的载具内部，该装置包括：图像分割单元，被配置成从图像传感器采集的图像中分割出第一图像和第二图像，其中，第一图像表征位于载具外部的场景，第二图像表征位于载具内部的场景；第一位姿确定单元，被配置成基于第一图像和惯性测量单元采集的惯性数据，确定头戴显示设备在世界坐标系中的第一位姿；第二位姿确定单元，被配置成基于第二图像和惯性数据，确定头戴显示设备在载具坐标系中的第二位姿；第一图像渲染单元，被配置成基于第一位姿对载具外部的虚拟对象进行渲染和低延迟补偿，得到第一虚拟图像；第二图像渲染单元，被配置成基于第二位姿对载具内部的虚拟对象进行渲染和低延迟补偿，得到第二虚拟图像；图像合成单元，被配置成将第一虚拟图像和第二虚拟图像合成为目标虚拟图像；图像呈现
单元，被配置成将目标虚拟图像发送至头戴显示设备的显示屏，以使头戴显示设备呈现目标虚拟图像。
[0008]本公开实施例的又一个方面，提供一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行存储器中存储的计算机程序，且计算机程序被执行时，实现上述任一实施例中的方法。
[0009]本公开实施例的又一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述任一实施例所述的方法。
[0010]下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
[0011]构成说明书的一部分的附图描述了本公开的实施例，并且连同描述一起用于解释本公开的原理。
[0012]参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
[0013]图1为本公开的用于渲染图像的方法所适用的一个场景示意图；
[0014]图2为本公开的用于渲染图像的方法的一个实施例的流程示意图；
[0015]图3为本公开的用于渲染图像的方法的一个实施例中确定第二位姿的流程示意图；
[0016]图4为本公开的用于渲染图像的方法的一个实施例中分割场景图像的流程示意图；
[0017]图5为本公开的用于渲染图像的方法的又一个实施例中分割场景图像的流程示意图；
[0018]图6为本公开的用于渲染图像的装置一个实施例的结构示意图；
[0019]图7为本公开电子设备一个应用实施例的结构示意图。
具体实施方式
[0020]现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
[0021]本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
[0022]还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
[0023]还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
[0024]另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
[0025]还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其
相同或相似之处可以相互参考，为了简洁，不再一一赘述。
[0026]同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
[0027]以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
[0028]对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
[0029]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
[0030]本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
[0031]终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于渲染图像的方法，用于头戴显示设备，所述头戴显示设备上设有图像传感器和惯性测量单元，所述头戴显示设备位于可移动的载具内部，所述方法包括：从所述图像传感器采集的场景图像中分割出第一图像和第二图像，其中，所述第一图像表征位于所述载具外部的场景，所述第二图像表征位于所述载具内部的场景；基于所述第一图像和所述惯性测量单元采集的惯性数据，确定所述头戴显示设备在世界坐标系中的第一位姿；基于所述第二图像和所述惯性数据，确定所述头戴显示设备在载具坐标系中的第二位姿；基于所述第一位姿对所述载具外部的虚拟对象进行渲染和低延迟补偿，得到第一虚拟图像；基于所述第二位姿对所述载具内部的虚拟对象进行渲染和低延迟补偿，得到第二虚拟图像；将所述第一虚拟图像和所述第二虚拟图像合成为目标虚拟图像；将所述目标虚拟图像发送至所述头戴显示设备的显示屏，以使所述头戴显示设备呈现所述目标虚拟图像。2.根据权利要求1所述的方法，其中，将所述第一虚拟图像和所述第二虚拟图像合成为目标虚拟图像，包括：将所述第一虚拟图像和所述第二虚拟图像分别作为背景和前景，对所述第一虚拟图像和所述第二虚拟图像进行图像合成，得到所述目标虚拟图像，其中，所述第一虚拟图像的深度大于所述第二虚拟图像的深度。3.根据权利要求1或2所述的方法，其中，所述基于所述第二图像和所述惯性数据，确定所述头戴显示设备在载具坐标系中的第二位姿，包括：基于所述第二图像和所述惯性数据，对视觉惯性里程计作失败检测；响应于确定所述视觉惯性里程计成功，利用所述视觉惯性里程计对所述第二图像和所述惯性数据进行处理，确定所述第二位姿。4.根据权利要求3所述的方法，其中，所述基于所述第二图像和所述惯性数据，确定所述头戴显示设备在载具坐标系中的第二位姿，还包括：响应于确定所述视觉惯性里程计失败，基于所述惯性数据确定所述头戴显示设备在载具坐标系中的第一姿态角；利用视觉里程计对所述第二图像进行处理，确定所述头戴显示设备在载具坐标系中的第二姿态角和位置信息；响应于确定所述第一姿态角与所述第二姿态角的差值小于预设的姿态角阈值，基于所述第一姿态角和所述位置信息，确定所述第二位姿。5.根据权利要求4所述的方法，其中，所述基于所述第二图像和所述惯性数据，确定所述头戴显示设备在载具坐标系中的第二位姿，还包括：响应于确定所述第一姿态角与所述第二姿态角的差值大于或等于所述姿态角阈值，通过预设方式确定所述第二位姿；其中，所述预设方式包括以下之一：提高所述图像传感器的采集帧率，并利用所述视觉里程计对所述第二图像进行处理，
确定所述第二位姿；利用所述视觉里程计对所述第二图像进行处理，得到初始位姿，并对所述初始位姿进行插值处理，确定所述第二位姿。6.根据权利要求3至5之一所述的方法，其中，基于所述第二图像和所述惯性数据，对视觉惯性里程计作失败检测，包括：利用所述视觉惯性里程计对所述第二图像和所述惯性数据进行处理，当满足预设条件中的任意一项时，确定所述视觉惯性里程计失败；当所述预设条件均不满足时，确定所述视觉惯性里程计成功；其中，所述预设条件包括：所述视觉惯性里程计对所述第二图像和所述惯性数据进行处理后得到的内点数量相对于预设内点数量的减少量大于第一预设阈值，所述预设内点数量表示以下两种之一：所述视觉惯性里程计处理过程中的内点数量、视觉里程计对所述第二图像进行处理后得到的内点数量；所述视觉惯性里程计计算后得到的残差大于第二预设阈值，所述残差包括以下至少一个：所述第二图像的重投影误差、所述惯性测量单元的残差；所述视觉惯性里程计计算后，所述惯性测量单元的、预设类型的状态参数的变化量超过第三预设阈值；所述视觉惯性里程计估计出的位姿变化量超过所述载具的尺寸；所述视觉惯性里程计估计出的速度超过第四预设阈值。7.根据权利要求1至6之...

【专利技术属性】
技术研发人员：吕宪伟，吴克艰，
申请(专利权)人：闪耀现实无锡科技有限公司，
类型：发明
国别省市：