基于扩展现实的画面渲染方法、装置及存储介质制造方法及图纸

本申请公开了一种基于扩展现实的画面渲染方法、装置及存储介质，涉及扩展现实技术领域。该方法包括：获取扩展现实设备在第一时刻采集的姿态数据，用于表示佩戴扩展现实设备的对象姿态；对姿态数据进行姿态预测，得到姿态预测数据，用于指示扩展现实设备在第二时刻预计采集的对象姿态，第二时刻是预测得到的姿态预测数据的采集时刻；将姿态预测数据发送至渲染服务器；接收渲染服务器发送的渲染数据，渲染数据是渲染服务器对姿态预测数据对应的画面进行渲染得到的数据；在第二时刻显示渲染数据对应的画面，在提高渲染效果的同时，避免了由于渲染耗时及数据传输耗时造成的显示延迟，有效防止了卡顿、丢帧等问题。丢帧等问题。丢帧等问题。

【技术实现步骤摘要】
基于扩展现实的画面渲染方法、装置及存储介质


[0001]本申请涉及扩展现实
，特别涉及一种基于扩展现实的画面渲染方法、装置及存储介质。

技术介绍

[0002]AR(Augmented Reality，增强现实)技术是将虚拟信息叠加到真实世界，甚至是实现超越现实的技术，在一定程度上是VR(Virtual Reality，虚拟现实)技术的延伸，相对来说，AR设备产品具有体积小、重量轻、便携等特点。VR、AR、MR(Mediated Reality，混合现实)技术同属XR(Extended Reality，扩展现实)技术，具有广泛的应用前景。目标大多数AR产品采用AR终端设备进行渲染，受限于硬件能力及功耗限制，无法做到大规模或者复杂场景渲染。
[0003]相关技术中，在AR云渲染方案中，通过引入服务器端，由AR终端设备将采集到的对象姿态数据传输至服务器端进行渲染，再由服务器将渲染结果传递回AR终端设备进行显示，提升渲染效果。
[0004]然而，上述方法在实际应用中，由于渲染及数据传输需要耗费一定的时间，渲染结果在AR终端设备中的显示存在较大的延迟，容易发生卡顿、丢帧等现象。

技术实现思路

[0005]本申请实施例提供了一种基于扩展现实的画面渲染方法、装置及存储介质，能够基于扩展现实进行画面渲染。所述技术方案如下。
[0006]一方面，提供了一种基于扩展现实的画面渲染方法，所述方法包括：
[0007]获取扩展现实设备在第一时刻采集的姿态数据，所述姿态数据用于表示佩戴所述扩展现实设备的对象姿态；
[0008]对所述姿态数据进行姿态预测，得到姿态预测数据，所述姿态预测数据用于指示所述扩展现实设备在第二时刻预计采集的对象姿态，所述第二时刻是预测得到的所述姿态预测数据的采集时刻；
[0009]将所述姿态预测数据发送至渲染服务器，所述渲染服务器用于对所述姿态预测数据对应的画面进行渲染；
[0010]接收所述渲染服务器发送的渲染数据，所述渲染数据是所述渲染服务器对所述姿态预测数据对应的画面进行渲染得到的数据；
[0011]在所述第二时刻显示所述渲染数据对应的画面。
[0012]另一方面，提供了一种基于扩展现实的画面渲染装置，所述装置包括：
[0013]数据获取模块，用于获取扩展现实设备在第一时刻采集的姿态数据，所述姿态数据用于表示佩戴所述扩展现实设备的对象姿态；
[0014]姿态预测模块，用于对所述姿态数据进行姿态预测，得到姿态预测数据，所述姿态预测数据用于指示所述扩展现实设备在第二时刻预计采集的对象姿态，所述第二时刻是预
测得到的所述姿态预测数据的采集时刻；
[0015]数据发送模块，用于将所述姿态预测数据发送至渲染服务器，所述渲染服务器用于对所述姿态预测数据对应的画面进行渲染；
[0016]数据接收模块，用于接收所述渲染服务器发送的渲染数据，所述渲染数据是所述渲染服务器对所述姿态预测数据对应的画面进行渲染得到的数据；
[0017]画面显示模块，用于在所述第二时刻显示所述渲染数据对应的画面。
[0018]另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述本申请实施例中任一所述的基于扩展现实的画面渲染方法。
[0019]另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述本申请实施例中任一所述的基于扩展现实的画面渲染方法。
[0020]另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中任一所述的基于扩展现实的画面渲染方法。
[0021]本申请实施例提供的技术方案带来的有益效果至少包括：
[0022]通过获取扩展现实设备在第一时刻采集的姿态数据，对姿态数据进行姿态预测得到姿态预测数据，姿态预测数据是扩展现实设备在第二时刻预测采集的对象姿态，将姿态预测数据发送至渲染服务器，由渲染服务器对姿态预测数据对应的画面进行渲染，提高渲染效果；接收渲染服务器发送的渲染数据，渲染数据是渲染服务器对姿态预测数据对应的画面进行渲染得到的数据，在第二时刻显示渲染数据对应的画面，即通过扩展现实设备基于第一时刻的对象姿态预测第二时刻的对象姿态，并发送给渲染服务器，使渲染服务器提前渲染扩展现实设备在第二时刻所需显示的画面，并发送给扩展现实设备进行显示，使得扩展现实设备始终能够流畅显示预先渲染好的画面，在提高渲染效果的同时，避免了由于渲染耗时及数据传输耗时造成的显示延迟，有效防止了卡顿、丢帧等问题。
附图说明
[0023]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0024]图1是本申请一个示例性实施例提供的实施环境示意图；
[0025]图2是本申请一个示例性实施例提供的基于扩展现实的画面渲染方法的流程图；
[0026]图3是本申请一个示例性实施例提供的虚拟物体渲染示意图；
[0027]图4是本申请一个示例性实施例提供的基于扩展现实的画面渲染方法的流程图；
[0028]图5是本申请一个示例性实施例提供的图像帧扩充方法流程图；
[0029]图6是本申请一个示例性实施例提供的终端数据流示意图；
[0030]图7是本申请一个示例性实施例提供的服务器端数据流示意图；
[0031]图8是本申请一个示例性实施例提供的终端与服务器之间的数据流示意图；
[0032]图9是本申请一个示例性实施例提供的基于扩展现实的画面渲染装置的结构框图；
[0033]图10是本申请一个示例性实施例提供的基于扩展现实的画面渲染装置模块的结构框图；
[0034]图11是本申请一个示例性实施例提供的终端的结构框图。
具体实施方式
[0035]为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
[0036]应当理解，尽管在本公开可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一参数也可以被称为第二参数，类似地，第二参数也可以被称为第一参数。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于扩展现实的画面渲染方法，其特征在于，所述方法包括：获取扩展现实设备在第一时刻采集的姿态数据，所述姿态数据用于表示佩戴所述扩展现实设备的对象姿态；对所述姿态数据进行姿态预测，得到姿态预测数据，所述姿态预测数据用于指示所述扩展现实设备在第二时刻预计采集的对象姿态，所述第二时刻是预测得到的所述姿态预测数据的采集时刻；将所述姿态预测数据发送至渲染服务器，所述渲染服务器用于对所述姿态预测数据对应的画面进行渲染；接收所述渲染服务器发送的渲染数据，所述渲染数据是所述渲染服务器对所述姿态预测数据对应的画面进行渲染得到的数据；在所述第二时刻显示所述渲染数据对应的画面。2.根据权利要求1所述的方法，其特征在于，所述对所述姿态数据进行姿态预测，得到姿态预测数据，包括：根据时间间隔要求对所述姿态数据进行姿态预测，得到包含时刻信息的所述姿态预测数据，所述时刻信息用于指示所述姿态预测数据的预计采集时刻为所述第二时刻；所述在所述第二时刻显示所述渲染数据对应的画面，包括：基于所述渲染数据对应的所述姿态预测数据，在所述姿态预测数据对应的所述第二时刻显示所述渲染数据对应的画面。3.根据权利要求2所述的方法，其特征在于，所述根据时间间隔要求对所述姿态数据进行姿态预测，得到包含时刻信息的所述姿态预测数据，包括：对所述姿态数据进行姿态预测，得到所述姿态预测数据；基于所述姿态预测数据和所述姿态数据之间的数据差异情况确定所述姿态数据和所述姿态预测数据之间的预计采集时间间隔；以所述第一时刻为起始时刻，确定与所述第一时刻之间的间隔所述预计采集时间间隔的时刻为所述第二时刻；将所述第二时刻作为所述姿态预测数据对应的时刻信息；或者，对所述姿态数据进行姿态预测，得到所述姿态预测数据；以所述第一时刻为起始时刻，确定与所述第一时刻之间的间隔预设时间间隔的时刻为所述第二时刻；将所述第二时刻作为所述姿态预测数据对应的时刻信息。4.根据权利要求1至3任一所述的方法，其特征在于，所述接收所述渲染服务器发送的渲染数据，包括：接收所述渲染服务器发送的渲染结果序列，所述渲染结果序列中包括多个渲染数据，所述多个渲染数据是所述渲染服务器对多个姿态预测数据对应的画面进行渲染得到的数据，所述多个姿态预测数据是对顺序采集的多个姿态数据分别进行姿态预测得到的数据；所述方法还包括：在所述多个渲染数据分别对应的显示时刻显示对应的画面。5.根据权利要求4所述的方法，其特征在于，所述在...

【专利技术属性】
技术研发人员：蔡一新，苏磊，褚文辉，连辉，胡成龙，
申请(专利权)人：不鸣科技杭州有限公司，
类型：发明
国别省市：