基于时序控制的头戴设备虚实融合渲染系统及方法技术方案

本发明专利技术提供了一种基于时序控制的头戴设备虚实融合渲染系统及方法，包括：时序控制模块，用于获取软件系统信息、硬件设备信息和垂直信号，并生成第一预测时间和时序控制信息；其中，所述时序控制信息包括第二预测时间和时序控制信号；渲染模块，用于获取第一位姿信息和应用场景，并生成应用帧序列，其中，所述应用帧序列包括最近邻应用帧；以及用于获取所述第二位姿信息和所述最近邻应用帧，并生成矫正帧；显示模块，用于实时观测现实场景，并根据所述时序控制信号显示所述矫正帧，以使所述矫正帧与当前时刻的现实场景融合；其中，所述时序控制信号用于控制所述矫正帧的生成时间、显示时间和显示方式，以实现低延迟的虚实融合效果。果。果。

【技术实现步骤摘要】
基于时序控制的头戴设备虚实融合渲染系统及方法


[0001]本专利技术属于增强现实
，具体涉及基于时序控制的头戴设备虚实融合渲染系统及方法。

技术介绍

[0002]近年来，增强现实技术的用途越来越广泛。增强现实技术是一种实时地计算、观测现实场景的位置及角度时，并加上相应图像、视频、3D模型的技术，其最终可以在屏幕上把虚拟图像套在现实世界中，并使两者进行互动。
[0003]传统的增强现实技术中，通常为根据预测时间对渲染场景结合位姿信息进行渲染，从而生成屏幕上的虚拟图像，但是，存在无法精确控制虚拟图像的生成和显示的时间，由于时序控制的精准度无法保障，则会放大生成帧的误差，从而无法令虚拟图像体现低延迟，甚至会令虚拟图像产生抖动感。
[0004]并且，在矫正帧的生成过程中，若无法准确控制时序节点，则会引起矫正帧的生成与镜片层图像刷新之间的冲突。一方面会导致延迟量的产生，一方面也可能会导致刷新图像的扭曲与撕裂，影响融合效果。

技术实现思路

[0005]为了克服现有技术的不足，本专利技术提供基于时序控制的头戴设备虚实融合渲染系统及方法，以解决现有技术中的无法降低与控制虚拟图像的延迟量，以及虚拟图像产生抖动感的问题。
[0006]本专利技术其中一个实施例提供了一种基于时序控制的头戴设备虚实融合渲染系统，包括：
[0007]时序控制模块，用于获取软件系统信息、硬件设备信息和垂直信号，并生成第一预测时间和时序控制信息；其中，所述时序控制信息包括第二预测时间和时序控制信号；
[0008]渲染模块，用于获取第一位姿信息和应用场景，并生成应用帧序列，其中，所述应用帧序列包括最近邻应用帧；以及用于获取第二位姿信息和所述最近邻应用帧，并时序控制信号生成矫正帧；
[0009]显示模块，用于实时观测现实场景，并根据所述时序控制信号显示所述矫正帧，以使所述矫正帧与当前时刻的现实场景融合；
[0010]其中，所述时序控制信号用于控制所述矫正帧的生成时间、显示时间和显示方式。
[0011]在其中一个实施例中，所述渲染模块包括：
[0012]应用帧渲染模块，用于获取应用场景和根据所述第一预测时间获取所述第一位姿信息，生成应用帧；
[0013]帧共享缓存池，用于存储所述应用帧，形成所述应用帧序列；
[0014]其中，所述应用帧和矫正帧具有时间戳。
[0015]在其中一个实施例中，所述渲染模块还包括：
[0016]矫正帧渲染模块，用于根据所述第二预测时间获取所述第二位姿信息和所述帧共享缓存池所存储的最近邻应用帧，并根据时序控制信号生成所述矫正帧。
[0017]在其中一个实施例中，所述显示模块包括：
[0018]屏幕帧缓存区，用于根据所述时序控制信息和所述垂直信号对所述矫正帧执行缓存上屏或直接上屏；
[0019]设备显示屏幕，用于根据所述时序控制信号进行显示所述矫正帧。
[0020]在其中一个实施例中，所述显示模块还包括：
[0021]垂直信号区，用于实时获取所述设备显示屏幕的显示动态，并生成垂直信号发送给所述屏幕帧缓存区和时序控制模块，以使所述设备显示屏幕对所述矫正帧进行显示。
[0022]在其中一个实施例中，所述垂直信号为上一时刻设备显示屏幕的屏幕刷新信号；
[0023]所述垂直信号包括预设显示格式和上一时刻的矫正帧显示的时间戳；
[0024]所述预设显示格式包括设备显示屏幕的显示刷新频率以及显示刷新方式。
[0025]在其中一个实施例中，还包括：
[0026]设备位姿预测模块，用于获取预测时间段内的位姿信息；
[0027]应用软件逻辑模块，用于存储应用场景和预设逻辑；
[0028]其中，所述预设逻辑配置为根据第一预测时间和第一位姿信息对所述应用场景执行预设渲染轨迹，以使生成所述应用帧序列。
[0029]在其中一个实施例中，所述预测时间段包括第一预测时间和第二预测时间；
[0030]所述第一位姿信息包括第一预测时间内的位姿信息序列；
[0031]所述第二预测时间为预测当前时刻的时间；
[0032]所述第二位姿信息为预测当前时刻的位姿信息。
[0033]本专利技术其中一个实施例还提供了一种基于时序控制的头戴设备虚实融合渲染方法，包括以下步骤：
[0034]获取软件系统信息和、硬件设备信息和垂直信号，并生成第一预测时间和时序控制信息，其中，所述时序控制信息包括第二预测时间和时序控制信号；
[0035]根据所述第一预测时间获取第一位姿信息，并基于所述第一位姿信息和应用场景，生成应用帧序列；其中，所述应用帧序列包括最近邻应用帧；
[0036]根据所述第二预测时间获取第二位姿信息，并根据所述时序控制信号针对所述最近邻应用帧生成矫正帧；
[0037]根据时序控制信号进行显示所述矫正帧，以使所述矫正帧与当前时刻的现实场景融合；
[0038]其中，所述时序控制信号用于控制所述矫正帧的生成时间、显示时间和显示方式。
[0039]在其中一个实施例中，所所述软件系统信息和硬件设备信息包括配置信息、逻辑信息、执行信息和屏幕刷新信息中的一种或多种；
[0040]所述屏幕刷新信息包括显示模块的显示刷新频率以及显示刷新方式。
[0041]以上实施例所提供的基于时序控制的头戴设备虚实融合渲染系统或者电机具有以下有益效果：
[0042]1、通过时序控制模块生成的时序控制信息，精确控制所述矫正帧模块和显示模块的工作状态，以使实现矫正帧低延迟的显示效果，以及增强虚实融合的作用，通过时序控制
信息对矫正帧渲染模块进行创建和初始化，以使矫正帧模块确定所述矫正帧的上屏模式，实现快速降低延迟的效果，并通过时序控制信号精确控制矫正帧渲染模块的工作时序，以确保矫正帧根据预设显示格式进行显示，避免了读写冲突，提高工作的精确性，并实现低延迟的显示效果。
[0043]2、通过时序控制模块获取软硬件信息以及屏幕刷新信息，从而生成精确的预测时间以及时序控制路线，根据预测时间和时序控制路线实现对矫正帧的生成和显示进行精确控制，以实现低延迟的虚实融合效果，从而降低屏幕设备上所显示的虚拟图像(矫正帧)被人眼观测时所体验到的延迟感，并在满足核心降低延迟感的需求的同时，保障了虚拟图像的显示质量，进而共同给予佩戴使用者高质量的虚实融合体验。
附图说明
[0044]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
[0045]图1为本专利技术实施例提供的基于时序控制的头戴设备虚实融合渲染系统的工作原理示意图；
[0046]图2为图1中的基于时序控制的头戴设备虚实融合渲染系统的工作流程示意图；...

【技术保护点】

【技术特征摘要】
1.一种基于时序控制的头戴设备虚实融合渲染系统，其特征在于，包括：时序控制模块，用于获取软件系统信息、硬件设备信息和垂直信号，并生成第一预测时间和时序控制信息；其中，所述时序控制信息包括第二预测时间和时序控制信号；渲染模块，用于获取第一位姿信息和应用场景，并生成应用帧序列，其中，所述应用帧序列包括最近邻应用帧；以及用于获取第二位姿信息和所述最近邻应用帧，并时序控制信号生成矫正帧；显示模块，用于实时观测现实场景，并根据所述时序控制信号显示所述矫正帧，以使所述矫正帧与当前时刻的现实场景融合；其中，所述时序控制信号用于控制所述矫正帧的生成时间、显示时间和显示方式。2.如权利要求1所述的基于时序控制的头戴设备虚实融合渲染系统，其特征在于，所述渲染模块包括：应用帧渲染模块，用于获取应用场景和根据所述第一预测时间获取所述第一位姿信息，生成应用帧；帧共享缓存池，用于存储所述应用帧，形成所述应用帧序列；其中，所述应用帧和矫正帧具有时间戳。3.如权利要求2所述的基于时序控制的头戴设备虚实融合渲染系统，其特征在于，所述渲染模块还包括：矫正帧渲染模块，用于根据所述第二预测时间获取所述第二位姿信息和所述帧共享缓存池所存储的最近邻应用帧，并根据时序控制信号生成所述矫正帧。4.如权利要求1所述的基于时序控制的头戴设备虚实融合渲染系统，其特征在于，所述显示模块包括：屏幕帧缓存区，用于根据所述时序控制信息和所述垂直信号对所述矫正帧执行缓存上屏或直接上屏；设备显示屏幕，用于根据所述时序控制信号进行显示所述矫正帧。5.如权利要求4所述的基于时序控制的头戴设备虚实融合渲染系统，其特征在于，所述显示模块还包括：垂直信号区，用于实时获取所述设备显示屏幕的显示动态，并生成垂直信号发送给所述屏幕帧缓存区和时序控制模块，以使所述设备显示屏幕对所述矫正帧进行显示。6.如权利要求5所述的基于时序控制的...

【专利技术属性】
技术研发人员：徐宁浩，张高明，丛林，
申请(专利权)人：杭州易现先进科技有限公司，
类型：发明
国别省市：