VR眼镜的实景观测方法及VR眼镜技术

本发明专利技术提供一种VR眼镜的实景观测方法及VR眼镜。其中，方法包括：响应于获取下一帧待显示图像的指令，确定当前时刻的用户头部位姿数据；根据所述当前时刻的用户头部位姿数据以及所述广角摄像头拍摄实景图像时刻的用户头部位姿数据，从所述广角摄像头拍摄到的所述实景图像中选取送屏图像；将所述送屏图像作为下一帧待显示图像发送至显示屏进行显示，以供用户观测。本发明专利技术提供的技术方案，可以在用户通过VR眼镜观测实景环境时，降低实景环境图像的延迟。

VR glasses live observation method and VR glasses

The invention provides a real scene observation method for VR glasses and VR glasses. The method comprises the following steps: in response to get the next frame to be displayed image instructions, determine the current moment of the user's head position data; according to the current user's head position data and the wide angle camera real image moments of the user's head position data, the real image from the wide-angle camera to select the send screen image; the send screen image as the next frame to be sent to the display image display, for the user to observe. The technical scheme provided by the invention can reduce the delay of the real environment image when the users observe the real environment through the VR glasses.

【技术实现步骤摘要】
VR眼镜的实景观测方法及VR眼镜
本专利技术涉及虚拟现实
，尤其涉及一种VR眼镜的实景观测方法及VR眼镜。
技术介绍
VR(VirtualReality，虚拟现实)技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，并通过多源信息融合的、交互式的三维动态视景和实体行为的系统仿真使用户沉浸到该模拟环境中。在使用VR眼镜的过程中，用户可能需要观测现实景环境，比如在佩戴VR眼镜玩游戏的过程中，要拿桌上的水杯喝水。若用户在观测实景环境时发生头部转动，则随着用户头部的转动，用户通过VR眼镜看到的实景图像会发生延迟或卡顿。
技术实现思路
本专利技术提供一种VR眼镜的实景观测方法及VR眼镜，用以在用户通过VR眼镜观测实景环境时，降低实景环境图像的延迟。本专利技术提供一种VR眼镜的实景观测方法，适用于包含广角摄像头的VR眼镜，包括：响应于获取下一帧待显示图像的指令，确定当前时刻的用户头部位姿数据；根据所述当前时刻的用户头部位姿数据以及所述广角摄像头拍摄实景图像时刻的用户头部位姿数据，从所述广角摄像头拍摄到的所述实景图像中选取送屏图像；将所述送屏图像作为下一帧待显示图像发送至显示屏进行显示，以供用户观测。进一步可选地，根据所述当前时刻的用户头部位姿数据以及所述广角摄像头拍摄实景图像时刻的用户头部位姿数据，从所述广角摄像头拍摄到的所述实景图像中选取送屏图像，包括：根据所述当前时刻的用户头部位姿数据，确定获取送屏图像时刻的用户头部位姿数据；根据所述获取送屏图像时刻的用户头部位姿数据以及所述拍摄实景图像时刻的用户头部位姿数据，获取图像选取框的倾角以及所述图像选取框的中心点在所述实景图像中对应的位置；根据所述倾角，旋转所述图像选取框；采用所述旋转后的图像选取框，以所述图像选取框的中心点在所述实景图像中对应的位置为取景中心，从所述实景图像中选取送屏图像。进一步可选地，根据所述当前时刻的用户头部位姿数据，确定获取送屏图像时刻的用户头部位姿数据，包括：以所述当前时刻的用户头部位姿数据作为获取送屏图像时刻的用户头部位姿数据。进一步可选地，根据所述当前时刻的用户头部位姿数据，确定获取送屏图像时刻的用户头部位姿数据，包括：根据所述当前时刻的用户头部位姿数据，预测显示送屏图像时刻的用户头部位姿数据；以显示送屏图像时刻的用户头部位姿数据作为获取送屏图像时刻的用户头部位姿数据。进一步可选地，获取图像选取框的倾角，包括：获取用户头部从所述拍摄实景图像时刻至所述获取送屏图像时刻的转动数据；根据所述转动数据所指示的用户头部的转动角以及转动方向，确定所述图像选取框的倾角；获取所述图像选取框的中心点在所述实景图像中对应的位置，包括：从所述头部转动数据中，确定所述VR眼镜的透镜的视场中心从所述拍摄实景图像时刻到所述获取送屏图像时刻在与所述VR眼镜平行的方向上的位移；在所述实景图像中，基于所述位移，确定与所述实景图像的中心点存在相应偏移量的一点，作为所述图像选取框的中心点在所述实景图像中对应的位置。进一步可选地，采用旋转后的图像选取框，以所述图像选取框的中心点在所述实景图像中对应的位置为取景中心，从所述实景图像中选取送屏图像之前，还包括：根据所述透镜的视场角以及所述透镜和所述显示屏之间的距离，确定图像选取框的尺寸。进一步可选地，采用旋转后的图像选取框，以所述图像选取框的中心点在所述实景图像中对应的位置为取景中心，从所述实景图像中选取送屏图像，包括：若采用所述旋转后的图像选取框，以所述图像选取框的中心点在所述实景图像中对应的位置为取景中心所获取的图像包含所述实景图像的边界以外的区域，则对边界以外的区域进行像素填充以得到送屏图像。进一步可选地，对边界以外的区域进行像素填充以得到送屏图像，包括：以所述实景图像的边界处的像素填充所述边界以外的区域以得到送屏图像。本专利技术还提供一种VR眼镜，包括：用于检测用户头部位姿数据的位姿数据检测器；用于拍摄实景图像的广角摄像头；所述广角摄像头包括第一广角摄像头以及第二广角摄像头；用于根据所述位姿数据检测器检测到的用户头部位姿数据，从所述广角摄像头拍摄到的实景图像中选取送屏图像的处理器；用于显示所述送屏图像的显示屏；以及用于观测所述显示屏上显示的所述送屏图像的透镜；所述透镜包括第一透镜以及第二透镜；其中，所述广角摄像头、所述显示屏以及所述透镜沿光轴方向依次设置。进一步可选地，所述显示屏包括：用于显示从所述第一广角摄像头拍摄到的实景图像中获取的送屏图像的第一显示区以及用于显示从所述第二广角摄像头拍摄到的实景图像中获取的送屏图像的第二显示区；其中，所述第一显示区与所述第一透镜位置对应；所述第二显示区与所述第二透镜位置对应。进一步可选地，所述第一透镜以及所述第一广角摄像头沿用户左眼平视时的视线方向设置；以及，所述第二透镜以及所述第二广角摄像头沿用户右眼平视时的视线方向设置。进一步可选地，所述第一广角摄像头与所述第二广角摄像头之间的间距适配于人眼的左眼和右眼之间的间距。本专利技术提供的VR眼镜的实景观测方法及VR眼镜，在VR眼镜中设置双广角摄像头拍摄实景图像，并响应于获取下一帧待显示图像的指令，根据当前时刻的用户头部位姿数据，从双广角摄像头拍摄实景图像选取相应的送屏图像。从而，缩短了拍摄实景图像、处理实景图像以及在显示屏上显示送屏图像的过程中的时间，降低观测延迟。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一VR眼镜的结构示意图；图2是本专利技术实施例提供的一VR眼镜实景观测方法的流程示意图；图3a是本专利技术实施例提供的另一VR眼镜实景观测方法的流程示意图；图3b是本专利技术实施例提供的实景图像与送屏图像的示意图；图3c是本专利技术实施例提供的另一实景图像与送屏图像的示意图；图4是本专利技术实施例提供的另一VR眼镜实景观测方法的流程示意图；图5是本专利技术实施例提供的又一VR眼镜实景观测方法的流程示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。通常，用户通过VR眼镜观测实景时，以用户看到的第i帧图像为例(i表示帧号，i为正整数)，用户看到的第i帧图像是通过如下四个步骤获取的：步骤1：接收到获取待显示的第i帧图像的指令时，VR眼镜上的摄像头(Camera)拍摄实景图像。若Camera的频率是60FPS，则步骤1对应的时间Ti1＝16.7ms。步骤2：得到实景图像后，需根据Ti1时刻用户头部的位姿数据对图像进行处理，处理所需时间为Ti2。步骤3：显示应用获取处理后的实景图像，并根据透镜的视场中心所在的位置从处理后的实景图像中获取能够在显示屏上进行显示的图像，即送屏图像，此过程所需时间为Ti3。步骤4：显示应用发送屏图像至显示屏，直本文档来自技高网...

【技术保护点】
一种VR眼镜的实景观测方法，适用于包含广角摄像头的VR眼镜，其特征在于，包括：响应于获取下一帧待显示图像的指令，确定当前时刻的用户头部位姿数据；根据所述当前时刻的用户头部位姿数据以及所述广角摄像头拍摄实景图像时刻的用户头部位姿数据，从所述广角摄像头拍摄到的所述实景图像中选取送屏图像；将所述送屏图像作为下一帧待显示图像发送至显示屏进行显示，以供用户观测。

【技术特征摘要】
1.一种VR眼镜的实景观测方法，适用于包含广角摄像头的VR眼镜，其特征在于，包括：响应于获取下一帧待显示图像的指令，确定当前时刻的用户头部位姿数据；根据所述当前时刻的用户头部位姿数据以及所述广角摄像头拍摄实景图像时刻的用户头部位姿数据，从所述广角摄像头拍摄到的所述实景图像中选取送屏图像；将所述送屏图像作为下一帧待显示图像发送至显示屏进行显示，以供用户观测。2.根据权利要求1所述的方法，其特征在于，根据所述当前时刻的用户头部位姿数据以及所述广角摄像头拍摄实景图像时刻的用户头部位姿数据，从所述广角摄像头拍摄到的所述实景图像中选取送屏图像，包括：根据所述当前时刻的用户头部位姿数据，确定获取送屏图像时刻的用户头部位姿数据；根据所述获取送屏图像时刻的用户头部位姿数据以及所述拍摄实景图像时刻的用户头部位姿数据，获取图像选取框的倾角以及所述图像选取框的中心点在所述实景图像中对应的位置；根据所述倾角，旋转所述图像选取框；采用所述旋转后的图像选取框，以所述图像选取框的中心点在所述实景图像中对应的位置为取景中心，从所述实景图像中选取送屏图像。3.根据权利要求2所述的方法，其特征在于，根据所述当前时刻的用户头部位姿数据，确定获取送屏图像时刻的用户头部位姿数据，包括：以所述当前时刻的用户头部位姿数据作为获取送屏图像时刻的用户头部位姿数据。4.根据权利要求2所述的方法，其特征在于，根据所述当前时刻的用户头部位姿数据，确定获取送屏图像时刻的用户头部位姿数据，包括：根据所述当前时刻的用户头部位姿数据，预测显示送屏图像时刻的用户头部位姿数据；以显示送屏图像时刻的用户头部位姿数据作为获取送屏图像时刻的用户头部位姿数据。5.根据权利要求3或4所述的方法，其特征在于，获取图像选取框的倾角，包括：获取用户头部从所述拍摄实景图像时刻至所述获取送屏图像时刻的转动数据；根据所述转动数据所指示的用户头部的转动角以及转动方向，确定所述图像选取框的倾角；获取所述图像选取框的中心点在所述实景图像中对应的位置，包括：从所述头部转动数据中，确定所述VR眼镜的透镜的视场中心从所述拍摄实景图像时刻到所述获取送屏图像时刻在与所述VR眼镜平行的方向上的位移；在所述实景图像中，基于所述位移，确定与所述实景图像的中心点存在相应偏移量...

【专利技术属性】
技术研发人员：王铁存，
申请(专利权)人：歌尔科技有限公司，
类型：发明
国别省市：山东,37