一种基于高速线扫描的三维场景绘制延时测量系统及方法技术方案

本发明专利技术公开了一种基于高速线扫描的三维场景绘制延时测量系统及方法，针对嵌入式设备中的三维场景绘制，端到端的三维场景绘制延时被分成四个部分，对于最为关键的帧跳变部分延时，使用刷新频率可高达26KHz的工业线阵相机来进行图像的采集和延时的计算，由于线扫描的频率远高于屏幕刷新的频率，这就提高了延时测量的精确度。对于线阵相机扫描获得的图像，使用灰度质心法和平均图像差异法来对跳变帧进行侦测。系统充分利用了嵌入式设备和高频线扫描设备的硬件特性，实验表明，本发明专利技术能够高效、精确地完成延时测量任务，实现对亚毫秒级图像生成延时的测量。

A delay measurement system and method for 3D scene rendering based on high speed line scanning

The invention discloses a three-dimensional scene rendering delay measurement system and method based on high-speed line scanning. For three-dimensional scene rendering in embedded equipment, the end-to-end three-dimensional scene rendering delay is divided into four parts. For the most critical frame skipping part delay, the industrial line array camera with refresh frequency up to 26khz is used for image acquisition and delay calculation, Because the frequency of line scan is much higher than that of screen refresh, the accuracy of delay measurement is improved. For the image scanned by linear camera, gray centroid method and average image difference method are used to detect the jump frame. The system makes full use of the hardware characteristics of the embedded device and the high-frequency line scanning device. The experiment shows that the invention can complete the delay measurement task efficiently and accurately, and realize the measurement of the sub millisecond level image generation delay.

【技术实现步骤摘要】
一种基于高速线扫描的三维场景绘制延时测量系统及方法
本专利技术涉及三维场景绘制中的一种延时测量技术，尤其是涉及了一种基于高速线扫描的三维场景绘制延时测量系统及方法。技术背景在三维场景绘制系统中，严格的延时要求对于提供令人愉悦的沉浸式体验至关重要，是影响真实感与实时性的最重要因素。人眼和检测端子需要感知具有动作-光子(MTP，motiontophoton)低稳延时的准确、平滑的运动，这个延时即用户动作(例如头部旋转、手部控制等)发生到眼睛里显示对应于新视场(FOV，fieldofview)的图像两个事件之间的时间差。对于人眼而言，高MTP值会向前庭眼反射发送冲突信号，这是一种可能导致晕动症的神经信号。对于图像检测端子而言，低MTP值意味着三维场景绘制系统能够更好地模拟实际环境，因为真实环境下目标的动作是瞬时反应到光信号上的。实时绘制技术的主要研究方向即降低该值，将MTP的上限设定为15-20毫秒是目前相关领域较为认可的共识。尽管场景绘制系统的几乎所有组件(渲染器、显示器和跟踪器)都取得了巨大进步，但这些系统的整体性能仍然难以衡量。传统衡量系统性能的重点一直集中在帧速率上，但帧速率实际上只反映了场景绘制算法的性能。研究表明在现代计算机场景绘制-显示系统中，帧速率和MTP之间不存在明显的线性关系。更合理的指标应当是与MTP近似等效的端到端延时：即从用户动作发生到场景显示更新所经历的时间。为了带来理想的仿真体验，场景绘制系统中通常要使用头戴式设备(HMD，headmounteddevice)或视场呈现设备覆盖用户或视觉检测端子的视场，并对对象运动做出响应，以相应地生成新视场下的场景。而为了摆脱连线对对象动作的约束，这些系统往往采用嵌入式的实现方式，场景的仿真、图像的生成都被集成到一个可以随对象运动的系统上进行。针对场景绘制系统的开发，研究者们不时会用到端到端延时测量方法以进行质量控制，但这些方法既复杂又缺乏稳定性，其有效性一般被限制在所测量系统的单一情况。一个很小的变化，例如用户与虚拟场景相对位置的改变，就可能对测量效果产生很大影响。考虑到HMD-嵌入式系统是未来用于仿真的场景绘制系统的主要形式，对嵌入式系统场景绘制应用设计一种具有针对性的、适用于一般情况的、符合精度要求的端到端延时测量方法十分必要。
技术实现思路
本专利技术的目的在于针对现有技术的不足，提供一种基于高速线扫描的三维场景绘制延时测量系统及方法，本专利技术实现了嵌入式设备的三维场景绘制系统的端到端延时测量。本专利技术具体的技术方案如下：一种基于高频线扫描的三维场景绘制延时测量系统，包括：显示器，用于显示三维场景；嵌入式设备，与显示器相连，用于运行三维场景绘制程序，生成的三维场景通过显示器进行显示；高频线扫描设备，与嵌入式设备相连，用于接收嵌入式设备的GPIO端口发出的触发信号，并立即拍摄显示器的显示内容，拍摄结果缓存到与之关联的主机；主机，与高频线扫描设备相连，对拍摄结果进行处理，检测显示内容的变化。进一步的，所述嵌入式设备采用NVIDIAJetsonXavier。进一步的，所述高频线扫描设备采用Basler线阵相机。本专利技术的另一目的是提供一种基于高速线扫描的三维场景绘制延时测量方法，包括以下步骤：(1)三维场景绘制程序运行在嵌入式设备中，生成的三维场景通过与之相连的显示器进行显示；(2)用户动作导致场景视点发生变化，并同步触发高频线扫描设备工作，触发命令通过嵌入式设备的GPIO端口发出；(3)高频线扫描设备收到触发命令后，立即拍摄显示器的显示内容，拍摄结果缓存到与之关联的主机；(4)主机对拍摄结果进行处理，检测显示内容的变化；三维场景绘制-响应管线中的时间流为：t1时刻，用户动作发生后绘制程序开始响应；t2时刻，嵌入式设备的GPIO端口发出对高频线扫描设备的触发信号；t3时刻，高频线扫描设备拍摄显示器的显示内容的第一帧图像；t4时刻，采得的帧发生跳变，即显示器显示内容发生跳变；测得的端到端延时结果即为t1到t4的延时。进一步的，所述用户动作为键盘事件。进一步的，在t1到t2过程中，三维场景绘制程序通过调用内核模块来控制GPIO信号，因此t1到t2的延时进一步分为绘制程序和内核模块的通信延时、内核模块操作GPIO信号的响应延时，忽略GPIO端口对内核模块的响应延时，而绘制程序和内核模块的通信延时可以通过在绘制程序和内核模块分别调用系统时钟，从而得出相应时间差。进一步的，在t2到t3的延时大小由高频线扫描设备的性能决定，其数值等于相机的曝光时间加上内存采图时间(readouttime)，而这两个时间在高频线扫描设备参数确定后即可查阅得到。进一步的，在t3到t4过程中，高频线扫描设备拍摄显示器显示内容，采得的图像数据包括像素值及每一帧的精确时间戳，采用灰度质心法和传统视频镜头检测的平均图像差异法，进行跳变帧的检测，由跳变帧和初始帧的时间戳之差得到t3到t4的延时。本专利技术的有益效果是：相比较已有的延时测量系统，充分利用了嵌入式系统开发包以及高频线扫描设备的硬件特性，高效的同步机制使得延时数值是通过测量数据直接获得(而非估计)，这一点能够保证延时的精确性；支持用户视点的各种变化，如旋转、平移等。事实上，因为相机只拍摄显示器的显示内容，视点的变换方式对于该方法没有任何影响。附图说明图1为延时测量系统的系统描述图，其中NVIDIAJetsonXavier就是绘制三维场景的嵌入式设备，Basler线阵相机是实验使用的高频线扫描设备；图2为延时测量系统工作时的时间流，通过t1、t2、t3、t4四个同步点将总延时分为四个部分，分别测量；图3为三维场景绘制程序控制GPIO信号的工作模式。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的系统和方法的例子。如图1所示，本专利技术提供一种基于高频线扫描的三维场景绘制延时测量系统，包括：显示器，用于显示三维场景；嵌入式设备，与显示器相连，用于运行三维场景绘制程序，生成的三维场景通过显示器进行显示；高频线扫描设备，与嵌入式设备相连，用于接收嵌入式设备的GPIO端口发出的触发信号，并立即拍摄显示器的显示内容，拍摄结果缓存到与之关联的主机；主机，与高频线扫描设备相连，对拍摄结果进行处理，检测显示内容的变化。其中，所述嵌入式设备可以采用NVIDIAJetsonXavier。所述高频线扫描设备可以采用Basler线阵相机。与前述系统的实施例相对应，本申请还提供了一种基于高速线扫描的三维场景绘制延时测量方法的实施例。该方法包括以下步骤：(1)三维场景绘制程序运行在嵌入式设备中，生成的三维场景通过与之相连的显示器进行显示；(2)用户动作(键盘事件)导致场景视点发生变化，并同步触发高频线扫描设备工作，触发命令通过嵌入式设备的GPIO端口发出；(3)高频线扫描设备收到触发命令后，立即拍摄显示器的显示内容，拍摄结果缓存到与之关联的主机；(4)主机对拍摄结果进行处理，检测显示内容的变化；如图2所示，三维场景绘制-响应本文档来自技高网...

【技术保护点】
1.一种基于高频线扫描的三维场景绘制延时测量系统，其特征在于，包括：显示器，用于显示三维场景；嵌入式设备，与显示器相连，用于运行三维场景绘制程序，生成的三维场景通过显示器进行显示；高频线扫描设备，与嵌入式设备相连，用于接收嵌入式设备的GPIO端口发出的触发信号，并立即拍摄显示器的显示内容，拍摄结果缓存到与之关联的主机；主机，与高频线扫描设备相连，对拍摄结果进行处理，检测显示内容的变化。

【技术特征摘要】
1.一种基于高频线扫描的三维场景绘制延时测量系统，其特征在于，包括：显示器，用于显示三维场景；嵌入式设备，与显示器相连，用于运行三维场景绘制程序，生成的三维场景通过显示器进行显示；高频线扫描设备，与嵌入式设备相连，用于接收嵌入式设备的GPIO端口发出的触发信号，并立即拍摄显示器的显示内容，拍摄结果缓存到与之关联的主机；主机，与高频线扫描设备相连，对拍摄结果进行处理，检测显示内容的变化。2.根据权利要求1所述的一种基于高频线扫描的三维场景绘制延时测量系统，其特征在于，所述嵌入式设备采用NVIDIAJetsonXavier。3.根据权利要求1所述的一种基于高频线扫描的三维场景绘制延时测量系统，其特征在于，所述高频线扫描设备采用Basler线阵相机。4.一种基于高速线扫描的三维场景绘制延时测量方法，其特征在于，包括以下步骤：(1)三维场景绘制程序运行在嵌入式设备中，生成的三维场景通过与之相连的显示器进行显示；(2)用户动作导致场景视点发生变化，并同步触发高频线扫描设备工作，触发命令通过嵌入式设备的GPIO端口发出；(3)高频线扫描设备收到触发命令后，立即拍摄显示器的显示内容，拍摄结果缓存到与之关联的主机；(4)主机对拍摄结果进行处理，检测显示内容的变化；三维场景绘制-响应管线中的时间流为：t1时刻，用户动作发生后绘制程序开始响应；t2时刻，嵌入式设备的GPIO端口发出对高频线扫描设备的触发信号；t3时刻，高频线扫描设备拍摄显示器的显示内容的第一帧图像；t4时刻，采得的帧发生跳变，即显示器显示内容发生跳变；测得的端到端延...

【专利技术属性】
技术研发人员：唐本靖，杜惠杰，杜渐，张兴，任重，
申请(专利权)人：浙江大学，北京仿真中心，
类型：发明
国别省市：浙江,33