交互式显示器制造技术

一种控制交互式显示器(2)的方法，包括：接收随时间的位置数据，其中，该位置数据表示输入对象(3)相对于交互式显示器(2)的位置。估计该输入对象(3)的速度和加速度，并且基于估计的速度和加速度预测输入对象(3)的未来位置。该预测的未来位置用于更新显示器(2)。

interactive display

A method for controlling an interactive display (2) includes receiving position data over time, which represents the position of the input object (3) relative to the interactive display (2). The speed and acceleration of the input object (3) are estimated, and the future position of the input object (3) is predicted based on the estimated speed and acceleration. The predicted future location is used to update the display (2).

【技术实现步骤摘要】
【国外来华专利技术】交互式显示器本专利技术涉及用于操作交互式显示器的方法和包括交互式显示器的装置。移动电话、平板电脑、个人电脑(PC)、汽车娱乐系统、大型公用电器和许多其他设备通常配备有交互式显示器。这些设备将显示屏(诸如LCD、oLED、等离子或电泳显示器)与输入系统(诸如触摸输入或笔输入系统)组合。输入系统识别输入对象(诸如接触或紧邻显示屏的用户手指或触笔)的存在。设备可以通过执行一个或多个功能来响应这样的输入，该功能可以包括改变显示屏上显示的内容。一些设备试图基于来自用户的连续输入(诸如当用手指或触笔书写或绘图时，或者当在屏幕上拖动屏幕上的对象时)来实时更新显示器。这种实时连续输入的用户体验通常不能令人满意，因为正在移动的输入对象与响应于该移动的屏幕内容更新之间存在明显的时间滞后(例如，大于50毫秒)。这种滞后可能使某些活动(诸如手写)不舒服或难以准确地执行。对于使用具有慢刷新速率的显示技术的设备(诸如电泳显示器(电子纸))而言，滞后尤其成问题。已知通过基于输入对象的先前位置预测其未来位置并基于该预测预先更新显示来尝试降低这种滞后。微软公司的US9,189,147B2描述了利用启发式技术使用基于触笔的可能方向的预测来绘制笔划墨迹的延伸，以确定可能的输入结果(例如，字符或其他对象)。英伟达公司的US2015/062021A1描述了使用触摸事件的X-Y位置、尺寸和压力以基于平均速度、预测方向和线曲率的计算来确定预测线。本专利技术的专利技术人已经意识到可以改进这些方法。根据第一方面，本专利技术提供一种控制交互式显示器的方法，该方法包括：接收表示输入对象相对于交互式显示器的随时间的一系列位置的位置数据；估计输入对象的速度和加速度；基于输入对象的估计速度和估计加速度来预测输入对象的未来位置；以及基于所预测的未来位置来更新显示器。根据另一方面，本专利技术提供一种装置，包括：交互式显示器；位置传感器，用于生成表示输入对象相对于交互式显示器的随时间的一系列位置的位置数据；以及处理系统，被配置为：确定表示输入对象的速度的速度数据和表示输入对象的加速度的加速度数据；基于表示输入对象的速度的数据和表示输入对象的加速度的数据来预测输入对象的未来位置；并且基于所预测的未来位置来更新显示器。因此，本领域技术人员将会看到，根据本专利技术，除了诸如输入对象的位置和速度的其他信息之外，估计并使用输入对象的加速度以确定应当如何更新显示器。专利技术人已经认识到，即使在一个笔划内某些输入(诸如手写)也可以涉及输入对象的速度的显著变化，并且通过使用加速度，可以获得更准确的预测。这进而会获得主观上更好的用户体验。优选地根据位置数据来估计速度。应当理解，速度和方向可以彼此分开确定。还应当理解，加速度可以是标量或矢量，并且可以是输入对象的完整加速度或特定方向(诸如输入对象的运动方向)上的加速度分量。表示输入对象的速度的数据可以是等于速度估计的二进制值，或者其可以是这种值的任何其他合适的表示--同样适用于表示输入对象的加速度的数据。数据可以存储在装置的存储器中--例如，存储在RAM中。速度和加速度估计可以各自是单个值，替代地，可以确定多个速度和/或加速度值。在一组实施例中，根据位置数据来估计输入对象的加速度。这可以基于一系列位置中的一些或全部(例如，直到固定计数的最近位置，或者过去与固定时间窗内的时间相关的那些位置)来计算。加速度的分量可以在两个正交轴上计算--例如，x轴和y轴，这些轴可以对应于矩形显示屏的轴线。这可以通过根据位置数据计算每个轴上的位置的二阶导数来完成。在将位置数据用于估计输入对象的速度和/或加速度之前，可以对位置数据进行平滑和/或去噪。这种平滑和/或去噪可以使用任何适当的技术来完成--例如，通过将递归贝叶斯滤波器或平滑(诸如卡尔曼滤波器)应用于位置数据。在另一组实施例中，根据使用运动传感器获取的加速度数据来估计输入对象的加速度。在这种情况下，能够非常精确地确定估计加速度，其中该值基本上由传感器直接测量，而不是根据位置数据推断。运动传感器优选地与位置传感器分离。输入对象可以包括运动传感器。例如，加速度计可以内置在触笔或笔中，或者可以由人类用户佩戴或携带。输入对象可以包括输出(诸如无线通信单元)，用于将与输入对象的加速度有关的信息发送到装置。可以使用适当的回归技术预测未来位置。可以使用以下任何一个或多个来预测：双指数平滑、高斯过程回归、神经网络、多层感知器、随机森林和支持向量回归。处理系统可以配置为通过将速度数据和加速度数据输入到多个算法中的每一个(例如，实现来自前述所列内容的相应技术或其他技术的算法)，并且通过处理估计未来位置的多个算法的输出，来预测输入对象的未来位置。算法可以实现不同的相应建模技术。多个算法中的第一算法可以处理跨越第一时间间隔的速度数据和/或加速度数据，并且多个算法中的第二算法可以处理跨越比第一时间间隔长的第二时间间隔的速度数据和/或加速度数据。已经发现，当输入对象沿长笔划移动时(例如，当用户正在绘制图稿时)以及当输入对象沿短笔划移动时(例如，在手写期间)，使用至少一个相对短期模型和至少一个相对长期模型来提供输入对象的可靠运动跟踪。每个算法可以输出相应的位置估计。处理系统可以使用空间平均处理或任何其他合适的处理来分析多个位置估计，以估计未来位置。一组优选实施例使用高斯过程回归，其可以附加地输出置信度量。该置信度量可以有利地用于更新显示器和/或用于验证过程，如下所述。预测技术可以取决于通过分析历史输入数据而获取的训练数据。对未来位置的预测可以取决于来自一个或多个其他传感器的另外的数据，诸如输入对象或交互式显示器中的压力或力传感器(其可以测量输入对象和交互式显示器之间的力的分量)和/或倾斜传感器(其可以确定输入对象和交互式显示器之间的角度)。已经发现这可以实现更高质量的预测。使用与交互式显示器的位置传感器分离的传感器来预测输入对象的未来位置的构思本身是新颖的。因此，根据另一方面，本专利技术提供一种控制交互式显示器的方法，该方法包括：接收表示输入对象相对于交互式显示器的随时间的一系列位置的位置数据；从一个或多个传感器接收另外的数据；基于位置数据和另外的数据两者来预测输入对象的未来位置；以及根据所预测的未来位置来更新显示器。根据另一方面，本专利技术提供一种装置，包括：交互式显示器；位置传感器，用于生成表示输入对象相对于交互式显示器的随时间的一系列位置的位置数据；以及处理系统，被配置为：基于位置数据和另外的数据两者来预测输入对象的未来位置；以及基于所预测的未来位置来更新显示器。在本专利技术的任何方面的一些实施例中，另外的数据可以涉及或表示输入对象的位置、运动、动量或状态。另外的数据可以包括表示输入对象的加速度和/或旋转和/或取向的数据。这样的数据可以从一个或多个传感器生成，这些传感器可以与用于生成位置数据的位置传感器分离。传感器可以例如形成输入对象和/或交互式显示器的一部分，并且可以包括以下中的一个或多个：加速度计、陀螺仪、罗盘、压力传感器、电磁线圈、天线、RF发射器、RF接收器和光传感器。在一些实施例中，另外的数据可以间接地涉及输入对象的状态。另外的数据可以包括表示除输入对象之外的对象的位置、运动、动量或状态的数据。然而，该其他对象可以以某种方式(诸如通过物理连本文档来自技高网...

【技术保护点】
1.一种控制交互式显示器的方法，所述方法包括：接收位置数据，所述位置数据表示输入对象相对于所述交互式显示器的随时间的一系列位置；估计所述输入对象的速度和加速度；基于所述输入对象的估计速度和估计加速度来预测所述输入对象的未来位置；以及基于所预测的未来位置来更新所述显示器。

【技术特征摘要】
【国外来华专利技术】2016.10.28 GB 1618288.31.一种控制交互式显示器的方法，所述方法包括：接收位置数据，所述位置数据表示输入对象相对于所述交互式显示器的随时间的一系列位置；估计所述输入对象的速度和加速度；基于所述输入对象的估计速度和估计加速度来预测所述输入对象的未来位置；以及基于所预测的未来位置来更新所述显示器。2.一种装置，包括：交互式显示器；位置传感器，用于生成位置数据，所述位置数据表示输入对象相对于所述交互式显示器的随时间的一系列位置；以及处理系统，被配置为：确定表示所述输入对象的速度的速度数据和表示所述输入对象的加速度的加速度数据；基于所述速度数据和所述加速度数据来预测所述输入对象的未来位置；并且基于所预测的未来位置来更新所述显示器。3.根据权利要求2所述的装置，其中，所述速度数据根据所述位置数据来确定。4.根据权利要求2或3所述的装置，其中，所述加速度数据根据所述位置数据来确定。5.根据权利要求2至4中任一项所述的装置，其中，使用从由以下组成的组中选择的一种或多种技术来预测所述未来位置：双指数平滑、高斯过程回归、神经网络、多层感知器、随机森林和支持向量回归。6.根据权利要求2至5中任一项所述的装置，其中，所述处理系统配置为通过将所述速度数据和所述加速度数据输入到多个算法中的输出相应位置估计的每一个算法、并通过处理由所述多个算法输出的所述位置估计来估计所述未来位置，从而预测所述未来位置。7.根据权利要求2至6中任一项所述的装置，其中，所述未来位置取决于来自一个或多个其他传感器的另外的数据。8.根据权利要求7所述的装置，其中，所述未来位置附加地取决于来自所述输入对象或所述交互式显示器中的压力或力传感器的数据。9.根据权利要求2至8中任一项所述的装置，确定表示所述输入对象的加加速度的加加速度数据，并且所述加加速度数据还用于预测所述输入对象的所述未来位置。10.根据权利要求2至9中任一项所述的装置，其中，所述处理系统配置为在更新周期中基于所述速度数据和加速度数据来预测一个或多个未来位置的集合，其中，在所述更新周期的每次更新中预测的未来位置的数量是可变的。11.根据权利要求10所述的装置，其中，所述处理系统配置为基于所述位置数据来计算每次更新预测多少未来位置。12.根据权利要求2至11中任一项所述的装置，其中，所述处理系统配置为计算所预测的一个或多个未来位置的置信度量。13.根据权利要求2至12中任一项所述的装置，其中，所述处理系统配置为将验证过程应用于所预测的一个或多个未来位置，以针对一个或多个验证标准来评估所述一个或多个未来位置。14.根据权利要求13所述的装置，其中，所述处理系统配置为使得：如果在更新周期中验证失败，则所述处理系统将针对该更新周期预测减少数量的未来位置。15.根据权利要求2至14中任一项所述的装置，被配置为显示表示所述输入对象的随时间的实际位置和预测位置的一个或多个线段。16.根据权利要求2至15中任一项所述的装置，其中，处理系统被配置为将平滑操作应用于所述位置数据和预测的一个或多个未来位置，然后基于平滑的数据更新所述显示器。17.根据权利要求2至16中任一项所述的装置，其中，所述交互式显示器包括电泳面板。18.一种控制交互式显示器的方法，所述方法包括：接收位置数据，所述位置数据表示输入对象相对于所述交互式显示器的随时间的一系列位置；从一个或多个传感器接收另外的数据；基于所述位置数据和所述另外的数据两者，预测所述输入对象的未来位置；以及基于所预测的未来位置来更新所述显示器。19.一种装置，包括：交互式显示器；位置传感器，用于生成位置数据，所述位置数据表示输入对象相对于所述交互式显示器的随时间的一系列位置；以及处理系统，被配置为：基于所述位置数据和另外的数据两者，预测所述输入对象的未来位置；以及基于所预测的未来位置来更新所述显示器。20.根据权利要求19所述的装置，其中，...

【专利技术属性】
技术研发人员：S·H·德维克，M·T·H·桑德斯马克，M·H·万贝格，
申请(专利权)人：雷马克伯有限公司，
类型：发明
国别省市：挪威,NO