一种头部姿态补偿方法及装置制造方法及图纸

本发明专利技术涉及一种头部姿态补偿方法，根据已渲染至少两个图像帧的显示时间预测待显示图像帧的渲染完成时间t1；根据t1计算待显示图像帧开始显示时间t2；根据t2计算第一时间，预测第一时间头部姿态Q，根据头部姿态Q渲染待显示图像帧；根据已完成的任一显示周期的开始时间a计算待显示周期的开始时间t；根据t和显示周期T计算第二时间，获取第二时间头部姿态Q’，根据Q和Q’计算头部姿态补偿矩阵；根据姿态补偿矩阵对待显示图像帧做姿态补偿计算，根据姿态补偿后的顶点坐标与待显示图像帧的顶点坐标计算校正系数；根据校正系数计算头部姿态补偿后的显示图像帧。对待显示图像帧的头部姿态进行精确补偿，降低使用VR系统时遇到的拖影现象和眩晕感。

Head posture compensation method and device

The invention relates to a head pose compensation method, according to the time prediction to be displayed image frame rendering time T1 has finished rendering at least two image frames; according to the T1 calculation to be displayed image frame began to display the time T2; according to the T2 calculation of the first time, the first time the head pose Q forecast, according to the head pose to render Q display the image frame; according to any completed display cycle start time a calculation to display cycle start time t; according to T and T display cycle calculation of second time, second time for head pose Q 'calculation of head attitude compensation matrix according to Q and Q'; according to the attitude compensation matrix of the display image frame posture the calculation of compensation according to the vertex coordinates and attitude compensation to be displayed after the vertex coordinates of image frames to calculate the correction coefficient; correction coefficient is calculated according to the display head pose after compensation. Image frame. Accurate compensation of the head pose of the display image frame is used to reduce the phenomenon of ghosting and vertigo when using the VR system.

【技术实现步骤摘要】
一种头部姿态补偿方法及装置
本专利技术涉及虚拟现实
，具体涉及一种头部姿态补偿方法及装置。
技术介绍
虚拟现实技术通过计算机实时生成携带最新头部姿态信息的待显示图像帧，然后显示在显示屏上(显示图像帧)，最后显示图像帧通过VR光学系统投射到人眼，给用户一种身临其境的沉浸体验。待显示图像帧和显示图像帧之间由于延时latency的存在，会引入感知头部姿态误差，另外常见的VR光学系统是单透镜光学系统，还会引入很大的畸变和色差。因此在虚拟现实技术中，存在一种异步时间扭曲技术(AsynchronousTimeWarptechnology,ATW),ATW技术能够在硬件扫描待显示图像帧之前，对图像施加头部姿态补偿以形成一幅新的待显示图像帧，新的待显示图像帧所携带的头部姿态通常将更加接近真实头部姿态，给予用户更好的虚拟现实体验。另外针对单镜片VR光学系统的光学畸变和色差，在对图像施加姿态补偿的同时，通常还会施加畸变色差补偿，让用户实际观看到的图像无畸变无色差。现有技术的异步时间扭曲和畸变色差补偿采用GPU实现，需要GPU支持高优先任务抢占，任务抢占影响GPU吞吐率，提高了对GPU整体性能需求；同时，需要利用GPU将EyeBuffer渲染到FrameBuffer上，再由显示硬件扫描到显示器上，增加一次GPU的额外读写操作；畸变色差补偿和头部姿态补偿分阶段完成，增加了VR系统的显示延时。
技术实现思路
本专利技术要解决的技术问题在于，针对现有技术的上述缺陷，提供一种头部姿态补偿方法，克服由于VR系统延时、VR系统丢帧、头部姿态预测算法引入的预测误差、行扫描硬件延时等因素所带来的感知头部姿态误差的缺陷。本专利技术解决其技术问题所采用的技术方案是：提供一种头部姿态补偿方法，包括：步骤1：根据已渲染的至少两个图像帧的显示时间和待显示图像帧准备开始渲染时间t0，预测待显示图像帧的渲染完成时间t1；步骤2：根据所述预测的待显示图像帧的渲染完成时间t1计算待显示图像帧的开始显示时间t2，所述待显示图像帧的开始显示时间t2加显示周期T为所述待显示图像帧的结束显示时间t3；步骤3：根据所述待显示图像帧的开始显示时间t2和结束显示时间t3计算第一时间，预测所述第一时间的头部姿态Q，根据所述第一时间的头部姿态Q渲染所述待显示图像帧；步骤4：获取所述待显示图像帧和所述第一时间的头部姿态Q，根据待显示图像帧完成渲染的时间或所述待显示图像帧完成渲染之后的任一时间c和已完成的任一显示周期的开始时间a计算待显示周期的开始时间t；步骤5：根据所述待显示周期的开始时间t和所述显示周期T计算第二时间，获取所述第二时间的头部姿态Q’，根据所述第一时间的头部姿态Q和所述第二时间点的头部姿态Q’计算头部姿态补偿矩阵；步骤6：将所述待显示图像帧切分为M行、N列的网格块，根据所述姿态补偿矩阵对所述待显示图像帧的M行、N列的网格块做姿态补偿计算，根据所述姿态补偿后的网格块的顶点坐标与所述待显示图像帧的网格块的顶点坐标计算校正系数；步骤7：根据所述待显示图像帧和所述校正系数计算头部姿态补偿后的显示图像帧。步骤1根据已渲染的至少两个图像帧的显示时间和待显示图像帧准备开始渲染时间t0预测待显示图像帧的渲染完成时间t1具体计算方法为：所述已渲染的至少两个图像帧的显示开始时间与显示完成时间的差值的均值，再与所述待显示图像帧准备开始渲染时间t0之和。步骤2根据所述预测的待显示图像帧的渲染完成时间t1计算所述待显示图像帧的开始显示时间t2具体计算方法为：所述预测的待显示图像帧的渲染完成时间t1与已完成的任一显示周期的开始时间a的差值除以所述显示周期T再加1，再与所述显示周期T的乘积，再与所述已完成的任一显示周期的开始时间a之和。步骤3中的根据所述待显示图像帧的开始显示时间t2和结束显示时间t3计算第一时间具体计算方法为：所述待显示图像帧的结束显示时间t3与所述待显示图像帧的开始显示时间t2的差值乘1/2，再与所述待显示图像帧的开始显示时间t2之和。步骤4中根据所述待显示图像帧完成渲染的时间或所述待显示图像帧完成渲染之后的任一时间c和已完成的任一显示周期的开始时间a计算待显示周期的开始时间t具体计算方法为：所述待显示图像帧完成渲染的时间或所述待显示图像帧完成渲染之后的任一时间c与已完成任一显示周期的开始时间a的差值除以所述显示周期T再加1，再与所述显示周期T的乘积，再与已完成的任一显示周期的开始时间a之和。步骤5中根据所述待显示周期的开始时间t和所述显示周期T计算第二时间具体计算方法为：所述显示周期T乘1/2，再与所述待显示周期的开始时间t之和。步骤5中的根据所述第一时间的头部姿态Q和所述第二时间点的头部姿态Q’计算头部姿态补偿矩阵具体计算方法为：所述第一时间的头部姿态Q转换为第一旋转矩阵，所述第二时间的头部姿态Q’转换为第二旋转矩阵，所述第一旋转矩阵的逆矩阵与所述第二旋转矩阵的乘积。步骤6中所述头部姿态补偿后的矩形块的顶点坐标与所述待显示图像帧的矩形块的顶点坐标根据二维映射算法计算校正系数。所述步骤6还包括：在[t-0.5T,t]之间计算所述待显示图像帧的左眼校正系数，在[t,t+0.5T]之间计算所述待显示图像帧的右眼校正系数。所述步骤7根据所述待显示图像帧和所述校正系数采用插值算法计算头部姿态补偿后的显示图像帧。所述步骤7根据所述待显示图像帧和所述校正系数采用插值算法计算头部姿态补偿后的显示图像帧具体计算方法为：根据所述校正系数计算所述显示图像帧中的像素点坐标对应在所述待显示图像帧中的像素点坐标；选取所述待显示图像帧中的像素点坐标相邻的至少四个像素点的像素值做插值计算，以生成所述显示图像帧中的像素点坐标的像素值，输出头部姿态补偿后的显示图像帧。步骤7根据所述待显示图像帧和所述校正系数计算头部姿态补偿后的输出图像帧由硬件电路完成。所述步骤7根据所述待显示图像帧和所述校正系数计算头部姿态补偿后的输出图像帧的硬件电路包括坐标运算器、数据提取器和插值运算器：坐标运算器根据所述校正系数计算所述显示图像帧中的像素点坐标对应在所述待显示图像帧中的像素点坐标；数据提取器选取所述待显示图像帧中的像素点坐标相邻的至少四个像素点的像素值；插值运算器根据所述数据提取器选取的至少四个像素点的像素值进行插值计算，以生成所述显示图像帧中的像素点坐标的像素值，输出头部姿态补偿后的显示图像帧。所述步骤6还包括：根据畸变色差补偿算法对所述待显示图像帧的M行、N列的网格块进行畸变色差补偿。本专利技术还提供一种图像显示方法，采用如权利要求1至14任一项所述的头部姿态补偿方法得到输出图像，并直接显示。本专利技术还提供一种头部姿态补偿装置，包括待显示图像帧渲染模块、头部姿态补偿矩阵生成模块、校正系数计算模块和图像帧计算模块；待显示图像帧渲染模块根据已渲染的至少两个图像帧的显示时间计算第一时间，并预测所述第一时间的头部姿态Q，根据所述第一时间的头部姿态Q渲染所述待显示图像帧；头部姿态补偿矩阵生成模块获取所述待显示图像帧和所述第一时间的头部姿态Q，根据待显示图像帧完成渲染的时间或所述待显示图像帧完成渲染之后的任一时间c和已完成的任一个显示周期的开始时间a计算第二时间，获取所述第二时间的头部姿态Q’，并根据所述第一时间的头部姿态Q本文档来自技高网...

【技术保护点】
一种头部姿态补偿方法，其特征在于，包括：步骤1：根据已渲染的至少两个图像帧的显示时间和待显示图像帧准备开始渲染时间t0，预测待显示图像帧的渲染完成时间t1；步骤2：根据所述预测的待显示图像帧的渲染完成时间t1计算所述待显示图像帧的开始显示时间t2，所述待显示图像帧的开始显示时间t2加显示周期T为所述待显示图像帧的结束显示时间t3；步骤3：根据所述待显示图像帧的开始显示时间t2和结束显示时间t3计算第一时间，预测所述第一时间的头部姿态Q，根据所述第一时间的头部姿态Q渲染所述待显示图像帧；步骤4：获取所述待显示图像帧和所述第一时间的头部姿态Q，根据待显示图像帧完成渲染的时间或所述待显示图像帧完成渲染之后的任一时间c和已完成的任一显示周期的开始时间a计算待显示周期的开始时间t；步骤5：根据所述待显示周期的开始时间t和所述显示周期T计算第二时间，获取所述第二时间的头部姿态Q’，根据所述第一时间的头部姿态Q和所述第二时间点的头部姿态Q’计算头部姿态补偿矩阵；步骤6：将所述待显示图像帧切分为M行、N列的网格块，根据所述头部姿态补偿矩阵对所述待显示图像帧的M行、N列的网格块进行姿态补偿计算，根据所述姿态补偿后的网格块的顶点坐标与所述待显示图像帧的网格块的顶点坐标计算校正系数；步骤7：根据所述待显示图像帧和所述校正系数计算头部姿态补偿后的显示图像帧。...

【技术特征摘要】
1.一种头部姿态补偿方法，其特征在于，包括：步骤1：根据已渲染的至少两个图像帧的显示时间和待显示图像帧准备开始渲染时间t0，预测待显示图像帧的渲染完成时间t1；步骤2：根据所述预测的待显示图像帧的渲染完成时间t1计算所述待显示图像帧的开始显示时间t2，所述待显示图像帧的开始显示时间t2加显示周期T为所述待显示图像帧的结束显示时间t3；步骤3：根据所述待显示图像帧的开始显示时间t2和结束显示时间t3计算第一时间，预测所述第一时间的头部姿态Q，根据所述第一时间的头部姿态Q渲染所述待显示图像帧；步骤4：获取所述待显示图像帧和所述第一时间的头部姿态Q，根据待显示图像帧完成渲染的时间或所述待显示图像帧完成渲染之后的任一时间c和已完成的任一显示周期的开始时间a计算待显示周期的开始时间t；步骤5：根据所述待显示周期的开始时间t和所述显示周期T计算第二时间，获取所述第二时间的头部姿态Q’，根据所述第一时间的头部姿态Q和所述第二时间点的头部姿态Q’计算头部姿态补偿矩阵；步骤6：将所述待显示图像帧切分为M行、N列的网格块，根据所述头部姿态补偿矩阵对所述待显示图像帧的M行、N列的网格块进行姿态补偿计算，根据所述姿态补偿后的网格块的顶点坐标与所述待显示图像帧的网格块的顶点坐标计算校正系数；步骤7：根据所述待显示图像帧和所述校正系数计算头部姿态补偿后的显示图像帧。2.如权利要求1所述的头部姿态补偿方法，其特征在于，其中步骤1根据已渲染的至少两个图像帧的显示时间和待显示图像帧准备开始渲染时间t0预测待显示图像帧的渲染完成时间t1具体计算方法为：所述已渲染的至少两个图像帧的显示开始时间与显示完成时间的差值的均值，再与所述待显示图像帧准备开始渲染时间t0之和。3.如权利要求1所述的头部姿态补偿方法，其特征在于，其中步骤2根据所述预测的待显示图像帧的渲染完成时间t1计算所述待显示图像帧的开始显示时间t2具体计算方法为：所述预测的待显示图像帧的渲染完成时间t1与已完成的任一显示周期的开始时间a的差值除以所述显示周期T再加1，再与所述显示周期T的乘积，再与所述已完成的任一显示周期的开始时间a之和。4.如权利要求1所述的头部姿态补偿方法，其特征在于，其中步骤3中的根据所述待显示图像帧的开始显示时间t2和结束显示时间t3计算第一时间具体计算方法为：所述待显示图像帧的结束显示时间t3与所述待显示图像帧的开始显示时间t2的差值乘1/2，再与所述待显示图像帧的开始显示时间t2之和。5.如权利要求1所述的头部姿态补偿方法，其特征在于，其中步骤4中根据所述待显示图像帧完成渲染的时间或所述待显示图像帧完成渲染之后的任一时间c和已完成的任一显示周期的开始时间a计算待显示周期的开始时间t具体计算方法为：所述待显示图像帧完成渲染的时间或所述待显示图像帧完成渲染之后的任一时间c与已完成任一显示周期的开始时间a的差值除以所述显示周期T再加1，再与所述显示周期T的乘积，再与已完成的任一显示周期的开始时间a之和。6.如权利要求1所述的头部姿态补偿方法，其特征在于，其中步骤5中根据所述待显示周期的开始时间t和所述显示周期T计算第二时间具体计算方法为：所述显示周期T乘1/2，再与所述待显示周期的开始时间t之和。7.如权利要求1所述的头部姿态补偿方法，其特征在于，所述步骤5中的根据所述第一时间的头部姿态Q和所述第二时间点的头部姿态Q’计算头部姿态补偿矩阵具体计算方法为：所述第一时间的头部姿态Q转换为第一旋转矩阵，所述第二时间的头部姿态Q’转换为第二旋转矩阵，所述第一旋转矩阵的逆矩阵乘以所述第二旋转矩阵的乘积。8.如权利要求1所述的头部姿态补偿方法，其特征在于，所述步骤6中所述头部姿态补偿后的网格块的顶点坐标与所述待显示图像帧的网格块的顶点坐标根据二维映射算法计算校正系数。9.如权利要求1所述的头部姿态补偿方法，其特征在于，所述步骤6还包括:在[t-0.5T,t]之间计算所述待显示图像帧的左眼校正系数，在[t,t+0.5T]之间计算所述待显示图像帧的右眼校正系数。10.如权利要求1所述的头部姿态补偿方法，其特征在于，其中所述步骤7根据所述待显示图像帧和所述校正系数采用插值算法计算头部姿态补偿后的显示图像帧。11.如权利要求10所述的头部姿态补偿方法，其特征在于，其中所述步骤7根据所述待显示图像帧和所述校正系数采用插值算法计算头部姿态补偿后的显示图像帧具体计算方法为：根据所述校正系数计算所述显示图像帧中的像素点坐标对应在所述待显示图像帧中的像素点坐标；选取所述待显示图像帧中的像素点坐标相邻的至少四个像素点的像素值做插值计算，以生成所述显示图像帧中的像素点坐标的像素值，输出头部姿态补偿后的显示图像帧。12.如权利要求1所述的头部姿态补偿方法，其特征在于，其中所述步骤7根据所述待显示图像帧和所述校正系数计算头部姿态补偿后的输出图像帧由硬件电路完成。13.如权利要求12所述的头部姿态补偿方法，其特征在于，其中所述步骤7根据所述待显示图像帧和所述校正系数计算头部姿态补偿后的输出图像帧的硬件电路包括：坐标运算器，用于根据所述校正系数计算所述显示图像帧中的像素点坐标对应在所述待显示图像帧中的像素点坐标；数据提取器，用于选取所述待显示图像帧中的像素点坐标相邻的至少四个像素点的像素值；插值运算器，用于根据所述数据提取器选取的至少四个像素点的像素值进行插值计算，以生成所述显示图像帧中的像素点坐标的像素值，输出头部姿态补偿后的显示图像帧。14.如权利要求1至13任一项所述的头部姿态补偿方法，其特征在于，所述步骤6还包括：根据畸变色差补偿算法对所述待显示图像帧的M行、N列的网格块进行畸变色差补偿。15.一种图像显示方法，其特征在于，采用如权利要求1至14任一项所述的头部姿态补偿方法得到输出图像，并直接显示。16.一种头部姿态补偿装置，其特征在于，包括：待显示图像帧渲染模块，用于根据已渲染的至少两个图像帧的显示时间计算第一时间，并预测所述第一时间的头部姿态Q，根据所述第一时间的头部姿态Q渲染所述待显示图像帧；头部姿态补偿矩阵生成模块，用于获取所述待显示图像帧和所述第一时间的头部姿态Q，根据待显示图像帧完成渲染的时间或所述待显示图像帧完成渲染之后的任一时间c和已完成的任一个显示周期的开始时间a计算第二时间，获取所述第二时间的头部姿态Q’，根据所述第一时间的头部姿态Q和所述第...

【专利技术属性】
技术研发人员：陈玉双，唐禹谱，肖丹灵，
申请(专利权)人：珠海全志科技股份有限公司，
类型：发明
国别省市：广东,44