VR系统中图像显示的控制方法、装置及VR头戴设备制造方法及图纸

技术编号:21088660 阅读:36 留言:0更新日期:2019-05-11 09:38
本发明专利技术公开了一种VR系统中图像显示的控制方法、装置及VR头戴设备,方法包括:监测VR系统中图像帧的同步信号并获取原始2D图像;在下一个同步信号到来之前的预设时间点,对传感器数据进行采样得到被跟踪对象最新的位姿信息,将原始2D图像转换为对应的3D图像,根据最新的位姿信息以及3D图像对应的位姿信息计算3D图像的各像素点对应的运动矢量,基于运动矢量对原始2D图像的像素点进行位置变换,并在位置变换后出现的空缺区域的像素点处进行填充,得到目标帧;当下一个同步信号到来时触发目标帧的显示。本发明专利技术实施例扩展了Timewarp算法适用的场景,增强了图像的真实感,提高了图像显示效果。

Control Method, Device and VR Headwear Device of Image Display in VR System

【技术实现步骤摘要】
VR系统中图像显示的控制方法、装置及VR头戴设备
本专利技术涉及虚拟现实
,具体涉及一种VR系统中图像显示的控制方法、装置及VR头戴设备。
技术介绍
VR头戴设备(HeadMountedDisplay,简称HMD)是通过姿态传感器实时连续跟踪用户的头部位姿,然后利用位姿信息从虚拟的3D世界中渲染出两幅2D图像,分别为左眼与右眼应当看到的画面,并将这两幅图像显示到屏幕上,用户的视网膜接收到图像内容后,大脑的内建机制会解析出立体感,从而实现VR(VirtualReality,虚拟现实)效果。在整个过程中,一个核心指标是系统延迟,系统延迟是指从取得用户头部位姿开始,到渲染出的画面完全呈现在屏幕上为止的时间长度。过长的系统延迟会导致用户的生理感官与眼睛接收到的画面不符,产生晕动症症状。在现代的硬件和软件系统中,3D渲染的流程为流水线式设计,参见图1,从第一帧开始,输入的数据帧U1至U4(仅作示例)流经中央处理器CPU1和CPU2的多个线程以及GPU(GraphicsProcessingUnit,图形处理器)和屏幕,最终经过屏幕扫描在屏幕上产生一个输出。流水线式的设计提高了各组件的利用率本文档来自技高网...

【技术保护点】
1.一种VR系统中图像显示的控制方法,其特征在于,包括:监测VR系统中图像帧的同步信号并获取原始2D图像;在下一个同步信号到来之前的预设时间点,对传感器数据进行采样得到被跟踪对象最新的位姿信息,其中,所述位姿信息包括指示被跟踪对象旋转的信息以及指示被跟踪对象平移的信息;将所述原始2D图像转换为对应的3D图像,根据最新的位姿信息以及3D图像对应的位姿信息计算3D图像的各像素点对应的运动矢量,基于所述运动矢量对原始2D图像的像素点进行位置变换,并在位置变换后出现的空缺区域的像素点处进行填充,得到目标帧;当所述下一个同步信号到来时触发所述目标帧的显示。

【技术特征摘要】
1.一种VR系统中图像显示的控制方法,其特征在于,包括:监测VR系统中图像帧的同步信号并获取原始2D图像;在下一个同步信号到来之前的预设时间点,对传感器数据进行采样得到被跟踪对象最新的位姿信息,其中,所述位姿信息包括指示被跟踪对象旋转的信息以及指示被跟踪对象平移的信息;将所述原始2D图像转换为对应的3D图像,根据最新的位姿信息以及3D图像对应的位姿信息计算3D图像的各像素点对应的运动矢量,基于所述运动矢量对原始2D图像的像素点进行位置变换,并在位置变换后出现的空缺区域的像素点处进行填充,得到目标帧;当所述下一个同步信号到来时触发所述目标帧的显示。2.根据权利要求1所述的方法,其特征在于,根据最新的位姿信息以及3D图像对应的位姿信息计算3D图像的各像素点对应的运动矢量包括:利用3D到2D空间变换时矩阵的逆矩阵,计算原始2D图像对应的3D图像各像素点在3D空间中对应的原位置;根据最新的位姿信息以及3D图像对应的位姿信息之间的偏移量,计算出3D空间中各像素点对应的新位置;利用各像素点在3D空间中的原位置与新位置,计算得到3D图像各像素点对应的运动矢量。3.根据权利要求2所述的方法,其特征在于,利用3D到2D空间变换时矩阵的逆矩阵,计算原始2D图像对应的3D图像各像素点在3D空间中对应的原位置包括:获取原始2D图像的各像素点的水平位置信息、竖直位置信息以及深度信息,得到原始2D图像的各像素点的位置向量;利用3D到2D空间变换时矩阵的逆矩阵与各像素点的位置向量,计算出原始2D图像对应的3D图像各像素点在3D空间中对应的原位置。4.根据权利要求1所述的方法,其特征在于,基于所述运动矢量对原始2D图像的像素点进行位置变换,并在位置变换后出现的空缺区域的像素点处填充颜色,得到目标帧包括:从原始2D图像的像素点中选取部分像素点,得到关键像素点;对选取的各关键像素点,基于运动矢量指示的大小和方向进行位置变换,并在位置变换后出现的空缺区域的像素点处进行填充,...

【专利技术属性】
技术研发人员:蔡磊戴天荣
申请(专利权)人:歌尔股份有限公司
类型:发明
国别省市:山东,37

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1