用于虚拟现实运动场景的显示方法及装置制造方法及图纸

本发明专利技术公开了一种用于虚拟现实运动场景的显示方法及装置，该方法包括：获取当前时刻的运动姿态；根据所述运动姿态渲染生成图像帧；预测在屏幕逐行扫描所述图像帧的每一像素行的扫描时刻的运动姿态，并生成对应扫描时刻的调整矩阵；根据生成的调整矩阵，得到对应每一像素行的调整后的纹理坐标；根据每一像素行与对应像素行的调整后的纹理坐标之间的对应关系，调整所述图像帧；将调整后的图像帧送到屏幕上进行显示。

Display method and device for virtual reality motion scene

The invention discloses a method and a device for displaying virtual reality scenes, the method includes: obtaining the motion at the moment; according to the image frame generating the motion rendering; motion attitude prediction of each pixel for the image frame on the screen progressive scan time, and generate adjustment matrix the corresponding scanning time; according to the adjustment matrix generation, get the texture coordinates corresponding to each pixel row after adjustment; according to the corresponding relationship between the texture coordinates of each pixel with the corresponding pixel line after the adjustment, the adjustment of the image frame; the image frame adjusted to screen display.

【技术实现步骤摘要】
用于虚拟现实运动场景的显示方法及装置
本专利技术涉及虚拟现实
，更具体地，本专利技术涉及一种用于虚拟现实运动场景的显示方法、及一种用于虚拟现实运动场景的显示装置。
技术介绍
虚拟现实(VirtualReality，VR)技术是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真，以使用户沉浸到该环境中。近年来，虚拟现实技术得到了快速发展，但是，大部分的虚拟现实设备仍存在体验感较差的问题，这主要是在虚拟现实场景下，用户在头部发生运动时会产生极度的眩晕感。造成眩晕的主要原因是头部运动和视觉观测到的头部运动不匹配，也就是常说的延迟。因为从运动发生开始，运动信号被应用接收，应用进行绘制，再到屏幕上将应用绘制的内容扫描出来，这个过程需要一定的时间，而这段时间越长，代表用户想要看的内容将越晚进入用户的视野，也就造成了头部运动和视觉观测到的头部运动的严重不匹配，从而产生了眩晕感。为了降低延迟，除了一些像使用前端缓冲和LED屏幕等解决方法外，另一个很重要的方案就是基于预测的显示方案。例如，设头部开始运动的时间点是T(0)，应用获取到T(0)时刻的运动姿态进行绘制，经过t的时间，也就是T(1)时刻显示在屏幕上，基于预测的显示方案即为：在T(0)时刻时，应用根据对整个绘制显示的流程评估，计算出显示所需的时间t，预测t时间后的用户的姿态，即T(1)时刻的姿态，进行绘制，从而做到用户在T(1)时刻看到的正好是T(1)时刻姿态所对应的画面内容。现有的该种基于预测的显示方案虽然能够在较大程度上降低延迟带来的眩晕感，但是，由于这种方案是以开始运动的时间点到绘制内容在屏幕上开始显示的时间点之间的时间段进行预测，并没有考虑屏幕扫描的时间，而屏幕将图像帧逐行刷新显示出来需要一个刷屏周期，以60Hz的屏幕为例，需要16.6毫秒，这说明图像帧中每一行对应的显示时间点均不一样，在VR运动场景中，这已经算是相对较长的时间，因此，现有的该种显示方案在一定程度上仍然存在每像素行点的画面内容与当前姿态不一致的问题，进而无法彻底解决眩晕问题。
技术实现思路
本专利技术实施例的一个目的是提供一种用于虚拟现实运动场景的显示方法的新的技术方案，以进一步降低运动过程中产生的眩晕感。根据本专利技术的第一方面，提供了一种用于虚拟现实运动场景的显示方法，其包括：获取当前时刻的运动姿态；根据所述运动姿态渲染生成图像帧；预测在屏幕逐行扫描所述图像帧的每一像素行的扫描时刻的运动姿态，并生成对应扫描时刻的调整矩阵；根据生成的调整矩阵，得到对应每一像素行的调整后的纹理坐标；根据每一像素行与对应像素行的调整后的纹理坐标之间的对应关系，调整所述图像帧；将调整后的图像帧送到屏幕上进行显示。可选的是，所述预测在屏幕逐行扫描所述图像帧的每一像素行的扫描时刻的运动姿态，并生成对应扫描时刻的调整矩阵包括：预测在屏幕扫描所述图像帧的开始时刻的运动姿态，并生成对应所述图像帧的开始节点调整矩阵；预测在屏幕扫描所述图像帧的结束时刻的运动姿态，并生成对应所述图像帧的结束节点调整矩阵；以所述图像帧的每一像素行的扫描时刻在所述开始时刻与所述结束时刻之间的比例为权重，对所述开始节点调整矩阵和所述结束节点调整矩阵进行加权求和，得到对应扫描时刻的调整矩阵。可选的是，所述以所述图像帧的每一像素行的扫描时刻在所述开始时刻与所述结束时刻之间的比例为权重具体为：通过每一像素行的行坐标在所述图像帧的开始节点行坐标与所述图像帧的结束节点行坐标之间的比例，表征对应像素行的扫描时刻在所述开始时刻与所述结束时刻之间的比例。可选的是，所述将调整后的图像帧送到屏幕上进行显示具体为：以与屏幕刷新率相同的频率将调整后的图像帧送到屏幕上进行显示。可选的是，所述根据所述运动姿态渲染生成图像帧由渲染线程完成，所述调整所述图像帧、及将调整后的图像帧送到屏幕上进行显示由送屏线程完成。根据本专利技术的第二方面，提供了一种用于虚拟现实运动场景的显示装置，其包括渲染装置和送屏装置，所述渲染装置用于获取当前时刻的运动姿态，并根据所述运动姿态渲染生成图像帧；所述送屏装置进一步包括：预测模块，用于预测在屏幕逐行扫描所述图像帧的每一像素行的扫描时刻的运动姿态，并生成对应扫描时刻的调整矩阵；调整模块，用于根据生成的调整矩阵，得到对应每一像素行的调整后的纹理坐标，并根据每一像素行与对应像素行的调整后的纹理坐标之间的对应关系，调整所述图像帧；以及，读写模块，用于将调整后的图像帧送到屏幕上进行显示。可选的是，所述预测模块包括：开始时刻预测单元，用于预测在屏幕扫描所述图像帧的开始时刻的运动姿态，并生成对应所述图像帧的开始节点调整矩阵；结束时刻预测单元，用于预测在屏幕扫描所述图像帧的结束时刻的运动姿态，并生成对应所述图像帧的结束节点调整矩阵；以及，计算单元，用于以所述图像帧的每一像素行的扫描时刻在所述开始时刻与所述结束时刻之间的比例为权重，对所述开始节点调整矩阵和所述结束节点调整矩阵进行加权求和，得到对应扫描时刻的调整矩阵。可选的是，所述计算单元具体通过每一像素行的行坐标在所述图像帧的开始节点行坐标与所述图像帧的结束节点行坐标之间的比例，表征对应像素行的扫描时刻在所述开始时刻与所述结束时刻之间的比例。可选的是，所述读写单元具体用于以与屏幕刷新率相同的频率将调整后的图像帧送到屏幕上进行显示。可选的是，所述渲染装置与所述送屏装置各占用一个线程。根据本专利技术的第三方面，提供了一种用于虚拟现实运动场景的显示装置，包括存储器和处理器，所述存储器用于存储指令，所述指令用于控制所述处理器进行操作以执行根据本专利技术第一方面所述的显示方法。本专利技术的一个有益效果在于，本专利技术显示方法及装置按照屏幕逐行扫描的方式，对屏幕逐行扫描图像帧的每一像素行的扫描时刻的运动姿态进行预测，并根据该运动姿态相对生成图像帧的运动姿态的变化生成对应每一像素行的扫描时刻的调整矩阵，进而实现对图像帧的每一像素行的调整，这样，在屏幕进行逐行扫描显示的过程中，能够使得任意显示时刻的画面内容均能够与用户的当前姿态一致，进而相对现有技术进一步减小了延迟，降低了用户在运动过程中的眩晕感。通过以下参照附图对本专利技术的示例性实施例的详细描述，本专利技术的其它特征及其优点将会变得清楚。附图说明被结合在说明书中并构成说明书的一部分的附图示出了本专利技术的实施例，并且连同其说明一起用于解释本专利技术的原理。图1为根据本专利技术显示方法的一种实施方式的流程示意图；图2为图1中步骤S103的一种实施例的流程示意图；图3为根据本专利技术显示装置的一种实施方式的方框原理图；图4为图3中预测模块的一种实施例的方框原理图；图5为根据本专利技术显示装置的一种硬件结构的方框原理图。具体实施方式现在将参照附图来详细描述本专利技术的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本专利技术的范围。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本专利技术及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以本文档来自技高网...

【技术保护点】
一种用于虚拟现实运动场景的显示方法，其特征在于，包括：获取当前时刻的运动姿态；根据所述运动姿态渲染生成图像帧；预测在屏幕逐行扫描所述图像帧的每一像素行的扫描时刻的运动姿态，并生成对应扫描时刻的调整矩阵；根据生成的调整矩阵，得到对应每一像素行的调整后的纹理坐标；根据每一像素行与对应像素行的调整后的纹理坐标之间的对应关系，调整所述图像帧；将调整后的图像帧送到屏幕上进行显示。

【技术特征摘要】
1.一种用于虚拟现实运动场景的显示方法，其特征在于，包括：获取当前时刻的运动姿态；根据所述运动姿态渲染生成图像帧；预测在屏幕逐行扫描所述图像帧的每一像素行的扫描时刻的运动姿态，并生成对应扫描时刻的调整矩阵；根据生成的调整矩阵，得到对应每一像素行的调整后的纹理坐标；根据每一像素行与对应像素行的调整后的纹理坐标之间的对应关系，调整所述图像帧；将调整后的图像帧送到屏幕上进行显示。2.根据权利要求1所述的显示方法，其特征在于，所述预测在屏幕逐行扫描所述图像帧的每一像素行的扫描时刻的运动姿态，并生成对应扫描时刻的调整矩阵包括：预测在屏幕扫描所述图像帧的开始时刻的运动姿态，并生成对应所述图像帧的开始节点调整矩阵；预测在屏幕扫描所述图像帧的结束时刻的运动姿态，并生成对应所述图像帧的结束节点调整矩阵；以所述图像帧的每一像素行的扫描时刻在所述开始时刻与所述结束时刻之间的比例为权重，对所述开始节点调整矩阵和所述结束节点调整矩阵进行加权求和，得到对应扫描时刻的调整矩阵。3.根据权利要求2所述的显示方法，其特征在于，所述以所述图像帧的每一像素行的扫描时刻在所述开始时刻与所述结束时刻之间的比例为权重具体为：通过每一像素行的行坐标在所述图像帧的开始节点行坐标与所述图像帧的结束节点行坐标之间的比例，表征对应像素行的扫描时刻在所述开始时刻与所述结束时刻之间的比例。4.根据权利要求1、2或3所述的显示方法，其特征在于，所述将调整后的图像帧送到屏幕上进行显示具体为：以与屏幕刷新率相同的频率将调整后的图像帧送到屏幕上进行显示。5.根据权利要求1、2或3所述的显示方法，其特征在于，所述根据所述运动姿态渲染生成图像帧由渲染线程完成，所述调整所述图像帧、及将调整后的图像帧送到屏幕上进行显示由送屏线程完成。6.一种用于虚拟现实运动场景的显示装置，其特征...

【专利技术属性】
技术研发人员：王明，
申请(专利权)人：歌尔科技有限公司，
类型：发明
国别省市：山东,37