沉浸式VR视频渲染方法及装置制造方法及图纸

公开了一种沉浸式VR视频渲染方法，包括：获得相关参数，所述相关参数包括摄像机矩阵、投射矩阵、模型矩阵和透镜扭曲圆心位置；创建三维模型，获得所述三维模型的原始坐标数据；根据相关参数和所述三维模型的原始坐标数据获得第一坐标数据；基于所述透镜扭曲的圆心位置对所述第一坐标数据做透镜扭曲，获得第二坐标数据；像素化所述第二坐标数据，获得像素单元；以及根据VR视频数据和所述像素单元绘制图像。根据本发明专利技术，在三维模型中进行坐标点的透镜扭曲，可以在一次处理中实现画面渲染和沉浸式渲染效果，从而提高了渲染效率。同时公开一种沉浸式VR视频渲染装置。

Immersive VR video rendering method and device

An immersion VR video rendering method is disclosed, including obtaining relevant parameters, including the camera matrix, projection matrix, model matrix and lens twisted center position, creating a three-dimensional model, obtaining the original coordinate data of the three dimensional model, and the original coordinates of the related parameters and the three dimensional model. The data obtains the first coordinate data; the first coordinate data is distorted by the lens distorted based on the distorted center position of the lens, and the second coordinate data is obtained; the second coordinate data are pixel, and the pixel unit is obtained; and the image is drawn according to the VR video data and the pixel unit. According to the invention, the lens distortion of the coordinate point in the three-dimensional model can achieve the rendering and immersive rendering effect in the one processing, thus improving the rendering efficiency. At the same time, an immersive VR video rendering device is disclosed.

【技术实现步骤摘要】
沉浸式VR视频渲染方法及装置
本专利技术涉及视频处理技术，更具体地，涉及一种沉浸式VR视频渲染方法及及装置。
技术介绍
虚拟现实(VR)技术是一种创建和体验虚拟世界的计算机仿系统，例如，可以根据观察者头、眼和手的跟踪技术呈现相对应的三维实时图像。在基于网络的虚拟现实技术中，预先将全视角的视频数据存储在服务器上，然后将全视角的视频数据传送至诸如眼镜之类的显示装置上，根据观察者的观看位置将相应视角的视频数据显示在显示装置上。在显示装置播放时，由于处理高分辨率的VR视频数据需要占用大量的计算资源，由此要求显示装置具备强大的数据处理能力。然而目前市场上的不同型号的显示装置在性能上相差很大，为了兼容不同型号的显示装置，在软件方面应尽可能优化VR播放系统，在不降低用户的观影体验的前提下，降低对资源的耗用，提高处理效率。
技术实现思路
有鉴于此，本申请提供沉浸式VR视频渲染方法及装置，以解决上述问题。根据本专利技术的第一方面，提供一种沉浸式VR视频渲染方法，包括：获得相关参数，所述相关参数包括摄像机矩阵、投射矩阵、模型矩阵和透镜扭曲圆心位置；创建三维模型，获得所述三维模型的的原始坐标数据；根据所述相关参数和所述三维模型的原始坐标数据获得第一坐标数据；基于所述透镜扭曲的圆心位置对所述第一坐标数据做透镜扭曲，获得第二坐标数据；像素化所述第二坐标数据，获得像素单元；以及根据VR视频数据和所述像素单元绘制图像。优选地，所述获得相关参数包括：根据头显设备的规格和屏幕尺寸获得视场角度参数；根据所述视场角度参数计算所述透镜扭曲圆心位置；以及根据所述视场角度参数计算所述投射矩阵。优选地，所述获得相关参数包括：所述根据头显设备的规格获得眼距参数；以及根据所述眼距参数计算所述摄像机矩阵。优选地，通过调节所述摄像机矩阵和所述投影矩阵达到双目模式的效果。优选地，所述根据相关参数和所述三维模型的原始坐标数据获得第一坐标数据包括以下步骤：所述根据相关参数和所述三维模型的原始坐标数据获得第一坐标数据包括以下步骤：通过方程式(1)–(4)计算双目模式下左右眼的摄像机矩阵：left_view_matrix＝translate(-half_eye_ipd,0,0)*mat4view(3)right_view_matrix＝translate(half_eye_ipd,0,0)*mat4view(4)left_view_matrix和right_view_matrix分别为左右眼的摄像机矩阵，mat4view表示摄像机矩阵，可根据陀螺仪的旋转角度直接生成，eye_ipd表示眼距参数；通过方程式(5)计算双目模式下的投射矩阵mat4projection：其中，fovleft，fovright，fovup，fovdown，far,near表示双目模式下的视场角度参数；设定mat4model为单位矩阵；通过方程式(6)计算第一坐标数据其中，表示第一坐标数据，表示原始坐标数据，Mat4model表示所述模型矩阵，mat4projection表示投射矩阵，将左右眼的摄像机矩阵left_view_matrix和right_view_matrix分别代入到方程式(6)中，获得第一坐标数据优选地，所述基于所述透镜扭曲的圆心位置对所述第一坐标数据做透镜扭曲，获得第二坐标数据包括以下步骤：根据下方程式(7)和(8)获得扭曲参数：K1,K2(7)根据(9)和(10)和所述扭曲参数得到矫正后的像场坐标(xu,yu)作为第二坐标数据，当不作切向畸变矫正，可去掉所有含p的项，xu＝xd+(xd-xc)(K1r2+K2r4+…)+(P1(r2+2(xd-xc)2)+2P2(xd-xc)(yd-yc))(1+P3r2+P4r4…)(9)yu＝yd+(yd-yc)(K1r2+K2r4+…)+(2P1(xd-xc)(yd-yc)+P2(r2+2(yd-yc)2))(1+P3r2+P4r4…)(10)其中，(xd,yd)为使用镜头投影的畸变像场坐标，即第一坐标数据，(xu,yu)为矫正后的像场坐标，(xc,yc)为透镜扭曲的圆心位置,Kn为第n个径向畸变系数，Pn为第n个切向畸变系数，r为像素到光轴的距离。优选地，所述透镜扭曲圆心位置通过下述步骤获得，运用公式lerp根据t获得两个向量之间的线性插值：其中，(xl,yl)和(xh,yh)为平面上两点坐标；根据投射矩阵mat4projection与屏幕尺寸widthwidow*heightwidow，计算所述透镜扭曲圆心位置的坐标其中坐标为[-1,1]空间坐标轴内的点。优选地，还包括：添加遮挡黑框。优选地，还包括：实时获取陀螺仪数据，并在播放过程中进行数据平滑和转角预测以实现防抖。优选地，数据平滑采用的方程式为：其中，θt为时间t的融合转动角度，k为融合权重常量，ω为加速度计读出的角速度，为陀螺仪上读出的角度，Δt为输出的时间点和上一个时间点的差；转角预测采用的方程式为：θt+1＝θt+θΔ(15)其中，θt为时间t的融合转动角度，angularSpeed为加速度计读出的角速度，predictionTimeS为常量的预测时间，β为转动预测阈值，所述陀螺仪和所述加速度计设置在头显设备上。优选地，还包括：调用OpenGL和/或WebGL的相关接口以完成相应步骤。根据本专利技术的第二方面，提供一种沉浸式VR视频渲染装置，包括：参数计算单元，用于获得相关参数，所述相关参数包括摄像机矩阵、投射矩阵、模型矩阵和透镜扭曲圆心位置；模型创建单元，用于创建三维模型，获得所述三维模型的的原始坐标数据；坐标计算单元，用于根据相关参数和所述三维模型的原始坐标数据获得第一坐标数据；透镜扭曲单元，用于基于所述透镜扭曲的圆心位置对所述第一坐标数据做透镜扭曲，获得第二坐标数据；像素化单元，用于像素化所述第二坐标数据，获得像素单元；图像绘制单元，用于根据VR视频数据和所述像素单元绘制图像。根据本专利技术实施例，通过对三维模型的坐标点进行透镜扭曲达到了双目VR沉浸式观影效果，由于在三维模型中进行坐标点的透镜扭曲，可以在一次处理中实现画面渲染和沉浸式渲染效果，从而提高了渲染效率。附图说明通过参照以下附图对本专利技术实施例的描述，本专利技术的上述以及其它目的、特征和优点将更为清楚，在附图中：图1是VR播放系统的网络示意图；图2是适用于图1的VR播放系统的方法的流程图；图3是本专利技术实施例的沉浸式VR视频渲染方法的流程图；图4是一个头显设备的示例；图5是图3所述的沉浸式VR视频渲染方法的获得相关参数的具体流程图；图6是一个计算机处理器和显示器芯片的参数传输过程的示意图；图7是本专利技术实施例的VR视频渲染装置的结构图。具体实施方式以下将参照附图更详细地描述本专利技术。在各个附图中，相同的元件采用类似的附图标记来表示。为了清楚起见，附图中的各个部分没有按比例绘制。此外，可能未示出某些公知的部分。图1是VR播放系统的网络示意图。设备网络10包括通过网络110耦接的服务器100和显示设备120以及VR设备。服务器100可以例如独立的计算机服务器或者服务器集群，服务器100用于存储各种视频数据以及存储处理这些视频数据的各种应用程序。服务器100上例如实时运行着各种守护进程，一方面，用于处理服务器100上的各种视频数本文档来自技高网...

【技术保护点】
1.一种沉浸式VR视频渲染方法，包括：获得相关参数，所述相关参数包括摄像机矩阵、投射矩阵、模型矩阵和透镜扭曲圆心位置；创建三维模型，获得所述三维模型的的原始坐标数据；根据所述相关参数和所述三维模型的原始坐标数据获得第一坐标数据；基于所述透镜扭曲的圆心位置对所述第一坐标数据做透镜扭曲，获得第二坐标数据；像素化所述第二坐标数据，获得像素单元；以及根据VR视频数据和所述像素单元绘制图像。

【技术特征摘要】
2017.01.03 US US62/441,9361.一种沉浸式VR视频渲染方法，包括：获得相关参数，所述相关参数包括摄像机矩阵、投射矩阵、模型矩阵和透镜扭曲圆心位置；创建三维模型，获得所述三维模型的的原始坐标数据；根据所述相关参数和所述三维模型的原始坐标数据获得第一坐标数据；基于所述透镜扭曲的圆心位置对所述第一坐标数据做透镜扭曲，获得第二坐标数据；像素化所述第二坐标数据，获得像素单元；以及根据VR视频数据和所述像素单元绘制图像。2.根据权利要求1所述的沉浸式VR视频渲染方法，其中，所述获得相关参数包括：根据头显设备的规格和屏幕尺寸获得视场角度参数；根据所述视场角度参数计算所述透镜扭曲圆心位置；以及根据所述视场角度参数计算所述投射矩阵。3.根据权利要求1所述的沉浸式VR视频渲染方法，其中，所述获得相关参数包括：所述根据头显设备的规格获得眼距参数；以及根据所述眼距参数计算所述摄像机矩阵。4.根据权利要求1所述的沉浸式VR视频渲染方法，其中，通过调节所述摄像机矩阵和所述投影矩阵达到双目模式的效果。5.根据权利要求1所述的沉浸式VR视频渲染方法，其中，所述根据相关参数和所述三维模型的原始坐标数据获得第一坐标数据包括以下步骤：通过方程式(1)–(4)计算双目模式下左右眼的摄像机矩阵：left_view_matrix＝translate(-half_eye_ipd,0,0)*mat4view(3)right_view_matrix＝translate(half_eye_ipd,0,0)*mat4view(4)left_view_matrix和right_view_matrix分别为左右眼的摄像机矩阵，mat4view表示摄像机矩阵，可根据陀螺仪的旋转角度直接生成，eye_ipd表示眼距参数；通过方程式(5)计算双目模式下的投射矩阵mat4projection：其中，fovleft，fovright，fovup，fovdown，far,near表示双目模式下的视场角度参数；设定模型矩阵mat4model为单位矩阵；通过方程式(6)计算第一坐标数据其中，表示第一坐标数据，表示原始坐标数据，mat4model表示所述模型矩阵，mat4projection表示投射矩阵，将左右眼的摄像机矩阵left_view_matrix和right_view_matrix分别代入到方程式(6)中，获得第一坐标数据6.根据权利要求1所述的沉浸式VR视频渲染方法，其中，所述基于所述透镜扭曲的圆心位置对所述第一坐标数据做透镜扭曲，获得第二坐标数据包括以下步骤：根据下方程式(7)和(8)获得扭曲参数：K1,K2(7)根据...

【专利技术属性】
技术研发人员：王焯，唐泳滔，赵若熹，张家齐，祖浩焱，
申请(专利权)人：黑帆科技有限公司，
类型：发明
国别省市：美国,US