一种虚拟现实显示方法、设备、系统和可读存储介质技术方案

本申请公开了一种虚拟现实显示方法、设备、系统和可读存储介质，该虚拟现实显示方法应用于远程视觉系统中的图像处理设备，远程视觉系统还包括多个摄像设备以及至少一个虚拟现实显示设备，摄像设备用于采集第一全景图像，该虚拟现实显示方法包括：获取第一全景图像以及用户姿态信息，用户姿态信息为佩戴虚拟现实显示设备的用户的姿态信息；基于用户姿态信息，生成变换数据；基于变换数据，对第一全景图像进行纹理贴图处理，得到与用户的视角对应的局部视图；将局部视图分发至相应的虚拟现实显示设备，以使得虚拟现实显示设备显示局部视图。通过上述方式，本申请能够提升数据传输的效率以及实时性。效率以及实时性。效率以及实时性。

【技术实现步骤摘要】
一种虚拟现实显示方法、设备、系统和可读存储介质


[0001]本申请涉及显示
，具体涉及一种虚拟现实显示方法、设备、系统和可读存储介质。

技术介绍

[0002]随着虚拟现实技术(Virtual Reality，VR)的发展，用户与VR设备的交互不再局限于移动终端，而是更多地往用户交互体验更优的沉浸式视觉方案渗透，比如，用户通过VR设备远程体验某个著名景点的景观；然而目前的VR设备为了追求更轻薄与更低功耗的效果，容易导致VR设备的处理器的性能受限制的问题，从而使得VR设备的计算能力受限，则将全高清的全景图像分发至VR设备的方法，必然造成网络传输的压力，导致数据传输延迟，使得用户无法获得实时图像，同时由于性能受限也无法满足多个用户的同时接入需求。

技术实现思路

[0003]本申请提供一种虚拟现实显示方法、设备、系统和可读存储介质，能够提升数据传输的效率以及实时性。
[0004]为解决上述技术问题，本申请采用的技术方案是：提供一种虚拟现实显示方法，该方法应用于远程视觉系统中的图像处理设备，远程视觉系统还包括多个摄像设备以及至少一个虚拟现实显示设备，摄像设备用于采集第一全景图像，该虚拟现实显示方法包括：获取第一全景图像以及用户姿态信息，用户姿态信息为佩戴虚拟现实显示设备的用户的姿态信息；基于用户姿态信息，生成变换数据；基于变换数据，对第一全景图像进行纹理贴图处理，得到与用户的视角对应的局部视图；将局部视图分发至相应的虚拟现实显示设备，以使得虚拟现实显示设备显示局部视图。
[0005]为解决上述技术问题，本申请采用的另一技术方案是：提供一种图像处理设备，图像处理设备包括互相连接的存储器和处理器，其中，存储器用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的虚拟现实显示方法。
[0006]为解决上述技术问题，本申请采用的另一技术方案是：提供一种远程视觉系统，远程视觉系统包括多个摄像设备、图像处理设备以及至少一个虚拟现实显示设备，摄像设备与图像处理设备连接，其用于采集第一全景图像并发送至图像处理设备；图像处理设备用于基于第一全景图像，生成与每个虚拟现实显示设备对应的局部视图，图像处理设备为上述技术方案中的图像处理设备；虚拟现实显示设备与图像处理设备连接，其用于接收局部视图并进行显示。
[0007]为解决上述技术问题，本申请采用的又一技术方案是：提供一种计算机可读存储介质，其用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的虚拟现实显示方法。
[0008]通过上述方案，本申请的有益效果是：先获取第一全景图像以及用户姿态信息，然后根据用户姿态信息生成变换数据，再根据变换数据对第一全景图像进行纹理贴图处理，
得到与用户的视角对应的局部视图，然后将局部视图分发至相应的虚拟现实显示设备，以使得虚拟现实显示设备显示局部视图；通过用户姿态信息获取用户视野下的局部视图，将较大的全景图像压缩成小视口的局部视图，并将其分发给对应的虚拟现实显示设备，以显示给用户，由于不是将整个全景图像都发送给虚拟现实显示设备，能够在提高虚拟现实显示设备与用户之间的互动性的同时，大幅降低码率，提升数据传输的效率以及实时性，从而避免传输延时的情况发生，同时还能够支持多用户的接入，大大提升了同时在线用户的数量，可满足多个用户的观看需求。
附图说明
[0009]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
[0010]图1是本申请提供的虚拟现实显示方法一实施例的流程示意图；
[0011]图2是本申请提供的虚拟现实显示方法另一实施例的流程示意图；
[0012]图3是本申请提供的图像处理设备一实施例的结构示意图；
[0013]图4是本申请提供的远程视觉系统一实施例的结构示意图；
[0014]图5是本申请提供的摄像设备一实施例的结构示意图；
[0015]图6是本申请提供的图像处理设备另一实施例的结构示意图；
[0016]图7是本申请提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
[0017]下面结合附图和实施例，对本申请作进一步的详细描述。特别指出的是，以下实施例仅用于说明本申请，但不对本申请的范围进行限定。同样的，以下实施例仅为本申请的部分实施例而非全部实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
[0018]在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
[0019]需要说明的是，本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0020]请参阅图1，图1是本申请提供的虚拟现实显示方法一实施例的流程示意图，该方
法应用于远程视觉系统中的图像处理设备，远程视觉系统还包括多个摄像设备以及至少一个VR设备，摄像设备用于采集第一全景图像，图像处理设备可为服务器或计算机等设备，该方法包括：
[0021]步骤11：获取第一全景图像以及用户姿态信息。
[0022]用户姿态信息为佩戴VR设备的用户的姿态信息，姿态信息可包括转头、俯仰或摆头等动作，第一全景图像可为摄像设备获取的当前环境的360度图像，远程视觉系统中的每个摄像设备都可采集到其对应的当前环境下的360度全景视频流，图像处理设备还可获取用户输入的需求信息，然后根据需求信息从所有全景视频流中拉取出所需的第一全景图像，以获取第一全景图像。
[0023]步骤12：基于用户姿态信息，生成变换数据。
[0024]根据用户姿态信息生成对应的变换数据，通过变换数据可获取到精确的用户视野下的图像。
[0025]步骤13：基于变换数据，对第一全景图像进行纹理贴图处理，得到与用户的视角对应的局部视图。
[0026]根据变换数据对第一全景图像进行纹理贴图处理，从而得到与用户的视角对应的局部视图，即用户视野下的图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟现实显示方法，其特征在于，应用于远程视觉系统中的图像处理设备，所述远程视觉系统还包括多个摄像设备以及至少一个虚拟现实显示设备，所述摄像设备用于采集第一全景图像，所述方法包括：获取所述第一全景图像以及用户姿态信息，所述用户姿态信息为佩戴所述虚拟现实显示设备的用户的姿态信息；基于所述用户姿态信息，生成变换数据；基于所述变换数据，对所述第一全景图像进行纹理贴图处理，得到与所述用户的视角对应的局部视图；将所述局部视图分发至相应的虚拟现实显示设备，以使得所述虚拟现实显示设备显示所述局部视图。2.根据权利要求1所述的虚拟现实显示方法，其特征在于，所述用户姿态信息包括用户的三自由度信息、用户的视角信息以及所述摄像设备的姿态信息，所述变换数据包括模型矩阵、投影矩阵以及视图矩阵；所述基于所述用户姿态信息，生成变换数据的步骤，包括：对所述三自由度信息进行处理，得到所述模型矩阵；对所述视角信息进行处理，得到所述投影矩阵；对所述姿态信息进行处理，得到所述视图矩阵。3.根据权利要求2所述的虚拟现实显示方法，其特征在于，所述基于所述变换数据，对所述第一全景图像进行纹理贴图处理，得到与所述用户的视角对应的局部视图的步骤，包括：获取所述第一全景图像的原始像素顶点坐标；基于所述变换数据与所述原始像素顶点坐标，计算得到当前像素顶点坐标；基于所述当前像素顶点坐标，对所述第一全景图像进行纹理贴图处理，得到所述局部视图。4.根据权利要求3所述的虚拟现实显示方法，其特征在于，所述基于所述变换数据与所述原始像素顶点坐标，计算得到当前像素顶点坐标的步骤，包括：将所述模型矩阵、所述投影矩阵、所述视图矩阵以及所述原始像素顶点坐标相乘，得到所述当前像素顶点坐标。5.根据权利要求1所述的虚拟现实显示方法，其特征在于，所述基于所述变换数据，对所述第一全景图像进行纹理贴图处理，得到与所述用户的视角对应的局部视图的步骤之前，包括：对所述第一全景图像进行等距圆柱投影的逆处理，得到第二全景图像，所述第二全景图像的维度大于所述第一全景图像的维度。6.一种图像处理设备，其特征...

【专利技术属性】
技术研发人员：钱李勇，黄海光，叶奇，邓志吉，刘明，姜哲华，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：