测量和使用处理设备的输入接口和输出接口之间的延迟的装置制造方法及图纸

本发明专利技术公开了一种用于测量处理设备的输入接口和输出接口之间的端到端和部分延迟的方法。本发明专利技术使用由处理设备通过输出接口输出的校准输出的生成器和被配置为捕获校准输出并通过输入接口将其发送到处理设备的处理单元的传感器。校准输出的有利装置是由屏幕输出并由光学传感器捕获的特定纹理。特定纹理包括具有限定数量的像素以及暗和亮像素的限定比例和位置的基本图案。根据本发明专利技术的某些方面，基于定义处理设备的硬件和/或软件配置的多个参数和/或其操作条件来执行延迟的校准。在特定实施例中，可以实时执行处理设备的延迟的校准例程和/或补偿例程。

【技术实现步骤摘要】
【国外来华专利技术】测量和使用处理设备的输入接口和输出接口之间的延迟的装置
本专利技术应用于人机交互(HCI)领域。具体而言，本专利技术的关注点在于人机接口(MMI)的端到端延迟的测量和校准。
技术介绍
MMI包括连接到处理设备的输入接口和输出接口中的一个或多个。输入接口已经从简单的键盘演变为多种形式，例如包括2D或3D鼠标或指针、操纵杆、触摸板或触摸屏、麦克风或照相机。输出接口包括显示器、视频投影仪、扬声器或头戴式耳机、信号传输设备，等等。人类可以与之交互的处理设备也多样化：除了传统台式机、膝上型计算机、服务器计算机或TV、游戏机、平板电脑、智能电话之外，它们现在还包括机器人，例如人形机器人，以及飞行器、汽车或家用电器。交互可以在本地进行或借助多个机器通过网络在远处进行。交互可以涉及单个人或多个人或生物。用户在处理运行在处理设备上的应用时的体验将高度取决于MMI的质量。质量不仅取决于易用性，还取决于输出接口对输入接口的输入如何反应。这个质量参数受到处理链将输入转换为输出所花费的时间的显著影响。这个时间被称为端到端延迟。在鼠标命令到光标移动的显示的简单回路中只有一个人的本地系统中，延迟可能低至几毫秒(ms)或高达几十毫秒。已知50毫秒的延迟会降低用户体验。而且，将不好地感知延迟的变化(即，抖动)。这对于专业应用(例如空中交通管制或飞机引航)而言尤其烦人，但对于如视频游戏的交互密集型消费者应用也是如此。因此，应用程序开发人员试图找到弥补延迟和/或抖动的方法。要做到这一点，有必要测量这些因素。通过使用诸如照相机的外部采集设备来检测光标在屏幕上的移动，所述移动由鼠标控制，这已经针对鼠标到显示回路经典地完成了。该过程需要处理设备和相机的同步，这不容易以足够的精度实现。本专利技术通过提供一种装置(arrangement)来解决现有技术的这个问题，其中延迟的测量使用由处理设备和采集设备共享的单个时钟。
技术实现思路
为此目的，本专利技术公开了一种被配置为校准输入接口和输出接口之间的处理设备的延迟的装置，所述装置包括：由处理设备通过输出接口输出的校准输出的生成器；传感器，被配置为捕获校准输出并通过输入接口将其发送到处理设备的处理单元。有利地，传感器是光学传感器。有利地，输入接口是适于从计算机鼠标接收数据集的计算机设备的端口。有利地，校准输出是被配置为在处理设备的屏幕上相对于光学传感器移动的二维周期性图像。有利地，二维周期性图像包括基本图案，每个基本图案包括至少N个两种不同颜色的像素，每个基本图案中的至少n个像素具有亮阴影(brightshade)的第一颜色，与等于或高于预设阈值的第二颜色的其他像素形成对比。有利地，通过考虑光学传感器的像素的数量、光学传感器的像素的图像的尺寸和屏幕的分辨率来确定像素的数量N。有利地，n高于或等于传感器的跟踪算法所需的第一颜色的像素的最小数量，并且低于或等于定义在它们的边界处的特征点的第一颜色的像素的最大数量，所述特征点通过基本图案的一个像素在校准输出的移动方向上的平移而保持不变。有利地，N等于9并且n等于2。有利地，第一颜色的n个像素中的至少两个像素是对角连续的(diagonallycontiguous)。本专利技术还公开了在本专利技术的装置中使用的或存储在计算机介质上的二维周期性图像。本专利技术还公开了一种包括输入接口和输出接口的处理设备，所述处理设备被配置为操作基于所述处理设备对输入命令的执行补偿输入接口处输入的输入命令与输出接口处输出的输出之间的延迟的例程，所述补偿延迟的例程被配置为接收由校准例程产生的参数集合，所述校准例程使用传感器与在输出接口处的校准输出的生成器之间的交互的结果。有利地，首先执行校准例程以产生参数表，并且补偿例程进一步被配置为基于参数表从计算中接收参数集合。有利地，基于参数表的计算使用处理设备的硬件和软件设置中的一个或多个的设置，并且校准例程和补偿例程被链接，以便实时地执行延迟的补偿。本专利技术还公开了一种软件开发工具包，该软件开发工具包被配置为开发交互式应用程序，该软件开发工具包包括在处理设备的输入接口处输入的输入命令与处理设备的输出接口之间的延迟建模器，其中所述延迟建模器被配置为执行测量和补偿延迟中的一个或多个，基于所述输入接口被配置为接收由传感器与校准输出的生成器的交互所产生的输入来测量延迟。有利地，本专利技术的软件开发工具包的软件开发工具包被进一步配置为基于所述延迟在处理设备的环境的一个或多个硬件和软件段之间的分段来执行测量和补偿延迟中的一个或多个。得益于本专利技术，提供了测量、校准和补偿延迟和抖动的简单的方法。本专利技术的具体装置是使用光学传感器的装置。本专利技术的装置对于许多其他输入接口和输出接口(如音频接口)也有效。在一些实施例中，校准允许实时补偿延迟和抖动。附图说明通过对各种实施例和以下附图的描述，将更好地理解本专利技术，并且其各种特征和优点将变得显而易见：-图1表示用于测量延迟的现有技术的装置；-图2表示用以说明本专利技术的概念的交互回路中的事件流水线图；-图3a和3b表示根据本专利技术测量延迟的两种装置；-图4a、4b和4c表示在本专利技术的多个实施例中用于测量延迟的装置中的二维周期性图像的不同视图；-图5a、5b、5c、5d和5e示出了所谓的“纱窗效应”的一些方面；-图6a、6b、6c和6d表示具有一些缺点的基本图案；-图7a和7b表示具有根据本专利技术生成校准输出的一些优点的基本图案；-图8表示在本专利技术的多个实施例中测量的延迟的分布；-图9表示根据本专利技术的某些方面实时补偿延迟的过程的流程图。具体实施方式图形用户界面的端到端延迟(或滞后)通常被定义为用户动作(例如输入设备或人肢体的移动)与相应的屏幕上视觉反馈(例如，光标移动、物体位移)之间的持续时间。所有交互式系统都有一些延迟，这些延迟是由输入和输出设备、网络、事件操控和处理引入的。延迟很难测量，仅偶尔会在输入或输出设备数据表、交互式系统规格或MMI实验报告中报告。延迟及其被称为延迟抖动的随时间的变化长期以来一直为人们所知，影响人类的表现和定性感知。已知大约50毫秒的延迟会影响基于鼠标的指向任务的性能，并且可能会注意到20-40毫秒以上的延迟抖动。在直接触摸交互中，效果更加明显，已经表明可以感知到低至2毫秒的延迟，并且性能受到20毫秒的影响。图1表示用于测量延迟的现有技术的装置。将对图的左侧部分的照片的信任给予提取它的出版物(“DesigningforLow-LatencyDirect-TouchInput”，AlbertNg等人，UIST'12)测量端到端延迟是最常见的过程。外部相机110被用于记录输入设备120(或手指)和在屏幕上的相关的响应。然后执行对视频的分析以匹配两个相关的事件，以计数它们之间经过的帧130的数量。可以使用不同的设备变体来测量延迟，例如由Teather、Pavlovych、Stuerzlinger和MacKenzie在“Effectoftrackingtechnology，latencyandspatialjitteronobjectmovement”(Proceedingsof3DUI'09，IEEE(2009)，43-50)中公开的那些。其他设置是可能的，但是现有技术的不同设置共有共同的特征和限制。关于共同的特征，现有技术的方法使用本文档来自技高网...

【技术保护点】
1.一种被配置为校准输入接口和输出接口之间的处理设备的延迟的装置，所述装置包括：‑将由所述处理设备通过所述输出接口(310a，310b)作为输出事件输出的校准输出(410b)的生成器；‑传感器(330a，330b)，被配置为捕获所述校准输出并通过所述输入接口将其作为输入事件发送到所述处理设备的处理单元；其中，根据借助所述处理设备的时钟的单个时间基准测量所述输出事件和所述输入事件的发生时间。

【技术特征摘要】
【国外来华专利技术】2015.10.19 EP 15306665.91.一种被配置为校准输入接口和输出接口之间的处理设备的延迟的装置，所述装置包括：-将由所述处理设备通过所述输出接口(310a，310b)作为输出事件输出的校准输出(410b)的生成器；-传感器(330a，330b)，被配置为捕获所述校准输出并通过所述输入接口将其作为输入事件发送到所述处理设备的处理单元；其中，根据借助所述处理设备的时钟的单个时间基准测量所述输出事件和所述输入事件的发生时间。2.根据权利要求1所述的装置，其中，所述传感器是光学传感器。3.根据权利要求2所述的装置，其中，所述输入接口是适于从计算机鼠标接收数据集的所述计算机设备的端口。4.根据权利要求3所述的装置，其中，所述校准输出是被配置为在所述处理设备的屏幕上相对于所述光学传感器移动的二维周期性图像(410b)。5.根据权利要求4所述的装置，其中，所述二维周期性图像包括基本图案(410a)，每个基本图案包括至少N个两种不同颜色的像素，每个基本图案中的至少n个像素(412a)具有亮阴影的第一颜色，与等于或高于预设阈值的第二颜色的其他像素(411a)形成对比。6.根据权利要求5所述的装置，其中，通过考虑所述光学传感器的像素的数量、所述光学传感器的像素的图像的尺寸和所述屏幕的分辨率来确定像素的数量N。7.根据权利要求5或6中的一项所述的装置，其中，n高于或等于所述传感器的跟踪算法所需的所述第一颜色的像素的最小数量，并且低于或等于定义在基本图案的边界处的特征点的所述第一颜色的像素的最大数量，所述特征点通过所述基本图案的一个像素在所述校准输出的移动方向上的平移而保持不变。8.根据权利要求5至7中的一项所述的装置，其中，N等于9并且n等于2。9.根据权利要求5至8中的一项所述的装置，其中，所述第一颜色的n个像素中的至少两个像素是对角连续的。10.一种包括基本图案(410a)的二维周期性图像(410b)，每个基本图案包括至少N个两种不同颜色的像素，每个基本图案中的至少n个像素(412a)具有亮阴影的第一颜色，与等于或高于预设阈值的第二颜色的其他像素(411a)形成对比。11.根据权利要求10所述的二维周期性图像，其中，n高于或等于所述传感器的跟踪算法所需的所述第一颜色的像素的最小数量，并且低于或等于定义在基本...

【专利技术属性】
技术研发人员：S·孔韦尔西，G·卡西耶，N·鲁塞尔，S·于奥，M·法尔切，
申请(专利权)人：国立民用航空学院，里尔大学，法国国家信息与自动化研究所，
类型：发明
国别省市：法国,FR