以减小的等待时间提供对输入的视觉响应的方法技术

一种用于在计算设备中以减小的等待时间提供对输入的视觉响应的方法，该方法包括计算针对第一图形用户界面元件的替代的中间数据集，每一个替代的中间数据集包括对于产生图形用户界面元件的视觉表示有用的数据。多个替代的中间数据集和针对第二图形用户界面元件的中间数据集存储在存储器中。该方法创建索引，该索引标识针对第一图形用户界面元件的该多个替代的中间数据集中的第一个替代的中间数据集，以便在形成最终像素图像中使用。该索引、针对图形用户界面元件的第一个替代的中间数据集、和针对第二图形用户界面元件的中间数据用来创建用于向用户显示的第一最终像素图像，该第一最终像素图像包括第一和第二图形用户界面元件。响应于用户输入，索引被修改来包括针对第一图形用户界面元件的多个替代的中间数据集的第二个的标识，并且所修改的索引用于创建用于向用户显示的最终像素图像。

【技术实现步骤摘要】
【国外来华专利技术】本申请要求于2014年2月4日申请的美国临时专利申请No.61/935,674的优先权，且是该临时专利申请的非临时申请，其全部公开通过引用纳入本申请。本申请涉及诸如在2013年10月4日提交的题为“Hybrid Systems And Methods For Low-Latency User Input Processing And Feedback”的美国专利申请No.14/046,823、2013年3月15日提交的题为“Low-Latency Touch Sensitive Device”的美国专利申请No.13/841,436、2013年10月4日提交的题为“Hybrid Systems And Methods For Low-Latency User Input Processing And Feedback”的美国专利申请No.14/046,819、2013年3月15日提交的题为“Fast Multi-Touch Stylus”的美国专利申请No.61/798,948、2013年3月15日提交的题为“Fast Multi-Touch Sensor With User-Identification Techniques”的美国专利申请No.61/799,035、2013年3月15日提交的题为“Fast Multi-Touch Noise Reduction”的美国专利申请No.61/798,828、2013年3月15日提交的题为“Active Optical Stylus”的美国专利申请No.61/798,708、2012年10月5日提交的题为“Hybrid Systems And Methods For Low-Latency User Input Processing And Feedback”的美国专利申请No.61/710,256、2013年7月12日提交的题为“Fast Multi-Touch Post Processing”的美国专利申请No.61/845,892、2013年7月12日提交的题为“Reducing Control Response Latency With Defined Cross-Control Behavior”的美国专利申请No.61/845,879、2013年9月18日提交的题为“Systems And Methods For Providing Response To User Input Using Information About State Changes And Predicting Future User Input”的美国专利申请No.61/879,245、2013年9月21日提交的题为“Systems And Methods For Providing Response To User Input Using Information About State Changes And Predicting Future User Input”的美国专利申请No.61/880,887、2013年11月1日提交的题为“Fast Multi-Touch Post Processing”的美国专利申请No.14/069,609、2013年10月7日提交的题为“Touch And Stylus Latency Testing Apparatus”的美国专利申请No.61/887,615、2014年1月16日提交的题为“Fast Multi-Touch Update Rate Throttling”的美国专利申请No.61/928,069、2014年1月22日提交的题为“Dynamic Assignment Of Possible Channels In A Touch Sensor”的美国专利申请No.61/930,159和2014年1月27日提交的题为“Decimation Strategies For Input Event Processing”的美国专利申请No.61/932,047中披露的快速多触摸传感器以及其他界面之类的用户界面。那些申请的完整公开内容以引用的方式并入本文中。此申请包括受版权保护的材料。版权所有者不反对任何人对本专利公开进行影印，就像它出现在专利和商标局文件或记录中，但在别的方面保留所有版权。
本专利技术总体涉及用户输入的领域，尤其涉及给予低等待时间用户体验的用户输入系统。附图说明下列对如附图所示的各实施例的更加较具体的描述，本公开的前述的及其他目标、特征，和优点将变得显而易见，在附图中，各个图中的附图标记表示相同部分。附图不一定按比例绘制，而是着重于所公开实施例的原理。图1示出触摸用户界面中的拖动等待时间在100ms、50ms、10ms和1ms时的效果的演示。图2示出收件箱的用户界面元件的示例，其中该元件具有对触摸用户交互的低等待时间、低保真响应以及对触摸用户交互的高等待时间、高保真响应。图3示出滑动双态元件(toggle element)的用户界面的示例。光标310(由含有“十字”字符的框所表示)可被拖动到目标320(第二个空框，在右边)以激活UI元件。使用低等待时间和高等待时间系统两者来启用此元件以便提供触摸交互，其中加速了移动的元件310，因此提供低等待时间体验。图4示出用于等待时间感知研究的原型(prototype)高性能触摸系统的基本架构的说明性实施例。图5示出使用图4的原型设备的等待时间感知研究的结果。图6示出按钮的用户界面元件的示例，其中该元件具有对触摸用户交互的低等待时间、低保真响应以及对触摸用户交互的高等待时间、高保真响应。图7示出可变尺寸框的用户界面元件的示例，其中该元件具有对触摸用户交互的低等待时间、低保真响应以及对触摸用户交互的高等待时间、高保真响应。图8示出滚动列表的用户界面元件的示例，其中该元件具有对触摸用户交互的低等待时间、低保真响应以及对触摸用户交互的高等待时间、高保真响应。图9示出低等待时间输入设备的基本构架和信息流的说明性实施例。图10示出用于音量控制的UI。当拖动滑动件时，工具提示(tooltip)出现，显示当前设置的数字表示。使用提供触摸交互的低等待时间和高等待时间系统两者来启用此元件，其中加速了移动的元件，因此提供低等待时间体验。图11示出与本混合反馈用户界面系统中的笔输入的UI的实施例相比的现有技术系统中的笔输入的系统的响应。在此混合系统中，墨水笔划对笔输入有低等待时间响应，以及对笔用户输入有高等待时间响应。图12示出本系统的实施例，其中数据流过经过系统的组件的两个重叠路径以支持高与低等待时间反馈。图13示出本领域公知的编程范式，称为模型视图控制器(Model View Controller)。图14示出系统的架构的实施例，该系统的架构支持开发和运行对用户输入有混合的高与低等待时间响应的应用。图15是示出根据现有技术的GUI视图和中间数据的分级结构的框图。图16是示出中间数据的执行的时间线视图。图17是示出GUI视图和中间数据的分级结构的框图。图18-19是示出根据本公开系统和方法的实施例的GUI视图和中间数据的分级结构的框图本文档来自技高网...

【技术保护点】
一种用于在计算设备中以减小的等待时间提供对输入的视觉响应的方法，所述方法包括以下步骤：计算针对第一图形用户界面元件的多个替代的中间数据集，每一个替代的中间数据集包括对于产生所述图形用户界面元件的视觉表示有用的数据；将针对所述第一图形用户界面元件的所述多个替代的中间数据集存储在存储器中；将针对第二图形用户界面元件的至少一个中间数据集存储在所述存储器中；创建索引，所述索引标识针对所述第一图形用户界面元件的所述多个替代的中间数据集中的第一个替代的中间数据集，以便在形成最终像素图像中使用；使用所述索引，针对所述图形用户界面元件的所述第一个替代的中间数据集和针对第二图形用户界面元件的中间数据来创建用于向用户显示的第一最终像素图像，所述第一最终像素图像包括所述第一和第二图形用户界面元件；接收来自用户输入设备的用户输入；响应于所述用户输入，修改所述索引以包括针对所述第一图形用户界面元件的所述多个替代的中间数据集中的第二个替代的中间数据集的标识；使用所修改的索引，针对所述第一图形用户界面元件的所述第二个替代的中间数据集和针对所述第二图形用户界面元件的中间数据来创建用于向用户显示的最终像素图像，所述最终像素图像包括所述第一和第二图形用户界面元件。...

【技术特征摘要】
【国外来华专利技术】2014.02.04 US 61/935,6741.一种用于在计算设备中以减小的等待时间提供对输入的视觉响应的方法，所述方法包括以下步骤：计算针对第一图形用户界面元件的多个替代的中间数据集，每一个替代的中间数据集包括对于产生所述图形用户界面元件的视觉表示有用的数据；将针对所述第一图形用户界面元件的所述多个替代的中间数据集存储在存储器中；将针对第二图形用户界面元件的至少一个中间数据集存储在所述存储器中；创建索引，所述索引标识针对所述第一图形用户界面元件的所述多个替代的中间数据集中的第一个替代的中间数据集，以便在形成最终像素图像中使用；使用所述索引，针对所述图形用户界面元件的所述第一个替代的中间数据集和针对第二图形用户界面元件的中间数据来创建用于向用户显示的第一最终像素图像，所述第一最终像素图像包括所述第一和第二图形用户界面元件；接收来自用户输入设备的用户输入；响应于所述用户输入，修改所述索引以包括针对所述第一图形用户界面元件的所述多个替代的中间数据集中的第二个替代的中间数据集的标识；使用所修改的索引，针对所述第一图形用户界面元件的所述第二个替代的中间数据集和针对所述第二图形用户界面元件的中间数据来创建用于向用户显示的最终像素图像，所述最终像素图像包括所述第一和第二图形用户界面元件。2.如权利要求1所述的方法，其特征在于，所述多个替代的中间数据集包括多个替代的绘图指令集。3.如权利要求2所述的方法，其特征在于，使用所述第一个替代的中间数据集来创建用于向用户显示的第一最终像素图像的步骤包括执行第一个替代的绘图指令集。4.如权利要求1所述的方法，其特征在于，所述多个替代的中间数据集包括多个替代的像素数据集。5.如权利要求4所述的方法，其特征在于，使用所述第一个替代的中间数据集来创建用于向用户显示的第一最终像素图像的步骤包括将渲染的像素表示集复制到像素缓冲区。6.如权利要求1所述的方法，其特征在于，所述多个替代的中间数据集包括多个替代的所述第一图形用户界面元件的视图的属性集，所述视图的属性影响所述第一图形用户界面元件的视觉外观。7.如权利要求1所述的方法，其特征在于，所述多个替代的中间数据集包括多个替代的向量数据集。8.如权利要求1所述的方法，其特征在于，所述多个替代的中间数据集包括多个替代的栅格数据集。9.如权利要求1所述的方法，其特征在于，所述多个替代的中间数据集包括多个替代的显示列表。10.如权利要求1所述的方法，其特征在于，所述第一用户界面元件是按钮，所述第一个替代的中间数据集包括处于非按压状态的所述按钮的表示，且所述第二个替代的中间数据集包括处于按压状态的所述按钮的表示。11.如权利要求1所述的方法，其特征在于，所述第一用户界面元件是窗口，所述第一个替代的中间数据集包括处于非最大化状态的所述窗口的表示，且所述第二个替代的中间数据集包括处于最大化状态的所述窗口的表示。12.如权利要求1所述的方法，其特征在于，所述第一个替代的中间数据集包括当没有被另一个用户界面元件影响时的所述第一用户界面元件的表示，并且所述第二个替代的中间数据集包括当被其他用户界面元件影响时的所述第一用户界面元件的表示。13.如权利要求1所述的方法，其特征在于，所述第一用户界面元件有多个替代的视觉状态，并且所述第二用户界面元件有单一的视觉状态。14.如权利要求1所述的方法，其特征在于，所述第一和第二用户界面元件各自拥有多个替代的视觉状态。15.如权利要求1所述的方法，其特征在于，所述第一用户界面元件是按钮，所述第一个替代的中间数据集包括处于禁用状态的所述按钮的表示，且所述第二个替代的中间数据集包括处于启用状态的所述按钮的表示。16.如权利要求1所述的方法，其特征在于，进一步包括多于两个的替代的中间数据集。17.如权利要求1所述的方法，其特征在于，所述第二个替代的中间数据集包括对于第三图形用户界面元件的替代的指令的指针。18.如权利要求17所述的方法，其特征在于，所述第三图形用户界面元件是所述第一图形用户界面元件的子代。19.如权利要求1所述的方法，其特征在于，所述第一个替代的中间数据集和所述第二个替代的中间数据集中的至少一个包括当所述用户进行滚动时的所述第一用户界面元件的表示。20.如权利要求1所述的方法，其特征在于，所述第一个替代的中间数据集和所述第二个替代的中间数据集中的至少一个包括当所述用户进行摇摄时的所述第一用户界面元件的表示。21.如权利要求1所述的方法，其特征在于，所述第一个替代的中间数据集和所述第二个替代的中间数据集中的至少一个包括当所述第一用户界面元件被拖动时的所述第一用户界面元件的表示。22.如权利要求1所述的方法，其特征在于，所述计算多个替代的中间数据集的步骤由图形处理单元执行。23.如权利要求1所述的方法，其特征在于，所述计算多个替代的中间数据集的步骤由中央处理单元执行。24.如权利要求1所述的方法，其特征在于，所述创建索引的步骤由图形处理单元执行。25.如权利要求1所述的方法，其特征在于，所述创建索引的步骤由中央处理单元执行。26.如权利要求1所述的方法，其特征在于，所述使用所述索引的步骤由图形处理单元执行。27.如权利要求1所述的方法，其特征在于，所述使用所述索引的步骤由中央处理单元执行。28.如权利要求1所述的方法，其特征在于，所述第一用户界面元件是滚动视图的可见区域，所述第一个替代的中间数据集包括所述滚动视图的下一区域的表示，并且所述第二个替代的中间数据集包括所述滚动视图的先前区域的表示。29.如权利要求1所述的方法，其特征在于，所述替代的中间数据集包括从由下列各项组成的组中选择的至少一项的表示：处于非按压状态的按钮、处于按压状态的按钮、处于选中状态的控件、处于未选中状态的控件、处于启用状态的按钮、处于禁用状态的按钮、处于启用状态的元件、处于非启用状态的元件、处于悬停状态的元件、处于未悬停状态的元件、处于展开状态的元件、处于非展开状态的元件、具有焦点的元件、不具有焦点的元件、处于可见状态的元件、和处于不可见状态的元件。30.如权利要求1所述的方法，其特征在于，所述替代的中间数据集包括在显示器的不同区域中的表示。31.如权利要求1所述的方法，其特征在于，所述替代的中间数据集包括不同形状或尺寸的所述用户界面元件的表示。32.如权利要求1所述的方法，其特征在于，所述替代的中间数据集包括所述用户界面元件的先前状态。33.如权利要求1所述的方法，其特征在于，所述替代的中间数据集包括所述用户界面元件的可能的未来状态。34.一种用于在计算设备中以减小的等待时间提供对输入的视觉响应的方法，所述方法包括以下步骤：渲染针对第一图形用户界面元件的多个替代的中间数据集，每一个替代的中间数据集表示所述图形用户界面元件的替代的视觉表示；将针对所述第一图形用户界面元件的所述多个替代的中间数据集存储在存储器中；将针对第二图形用户界面元件的至少一个中间数据集存储在所述存储器中；创建索引，所述索引标识针对所述第一图形用户界面元件的所述多个替代的中间数据集中的第一个替代的中间数据集，以便在形成最终像素图像中使用；使用所述索引，针对所述图形用户界面元件的所述第一个替代的中间数据集和针对第二图形用户界面元件的中间数据来创建用于向用户显示的第一最终像素图像，所述第一最终像素图像包括所述第一和第二图形用户界面元件；接收来自用户输入设备的用户输入；响应于所述用户输入，修改所述索引以包括针对所述第一图形用户界面元件的所述多个替代的中间数据集中的第二个替代的中间数据集的标识；使用所修改的索引，针对所述第一图形用户界面元件的所述第二个替代的中间数据集和针对所述第二图形用户界面元件的中间数据来创建用于向用户显示的最终像素图像，所述最终像素图像包括所述第一和第二图形用户界面元件。35.如权利要求34所述的方法，其特征在于，使用所述第一个替代的中间数据集来创建用于向用户显示的第一最终像素图像的步骤包括将渲染的像素表示集复制到像素缓冲区。36.如权利要求34所述的方法，其特征在于，所述多个替代的中间数据集包括多个替代的向量数据集。37.如权利要求34所述的方法，其特征在于，所述多个替代的中间数据集包括多个替代的栅格数据集。38.如权利要求34所述的方法，其特征在于，所述第一用户界面元件是按钮，所述第一个替代的中间数据集包括处于非按压状态的所述按钮的表示，且所述第二个替代的中间数据集包括处于按压状态的所述按钮的表示。39.如权利要求34所述的方法，其特征在于，所述第一用户界面元件是窗口，所述第一个替代的中间数据集包括处于非最大化状态的所述窗口的表示，且所述第二个替代的中间数据集包括处于最大化状态的所述窗口的表示。40.如权利要求34所述的方法，其特征在于，所述第一个替代的中间数据集包括当没有被另一个用户界面元件影响时的所述第一用户界面元件的表示，并且所述第二个替代的中间数据集包括当被其他用户界面元件影响时的所述第一用户界面元件的表示。41.如权利要求34所述的方法，其特征在于，所述第一用户界面元件有多个替代的视觉状态，并且所述第二用户界面元件有单一的视觉状态。42.如权利要求34所述的方法，其特征在于，所述第一和第二用户界面元件各自拥有多个替代的视觉状态。43.如权利要求34所述的方法，其特征在于，所述第一用户界面元件是按钮，所述第一个替代的中间数据集包括处于禁用状态的所述按钮的表示，且所述第二个替代的中间数据集包括处于启用状态的所述按钮的表示。44.如权利要求34所述的方法，其特征在于，进一步包括多于两个的替代的中间数据集。45.如权利要求34所述的方法，其特征在于，所述第二个替代的中间数据集包括对于第三图形用户界面元件的替代的指令的指针。46.如权利要求45所述的方法，其特征在于，所述第三图形用户界面元件是所述第一图形用户界面元件的子代。47.如权利要求34所述的方法，其特征在于，所述第一个替代的中间数据集和所述第二个替代的中间数据集中的至少一个包括当所述用户进行滚动时的所述第一用户界面元件的表示。48.如权利要求34所述的方法，其特征在于，所述第一个替代的中间数据集和所述第二个替代的中间数据集中的至少一个包括当所述用户进行摇摄时的所述第一用户界面元件的表示。49.如权利要求34所述的方法，其特征在于，所述第一个替代的中间数据集和所述第二个替代的中间数据集中的至少一个包括当所述第一用户界面元件被拖动时的所述第一用户界面元件的表示。50.如权利要求34所述的方法，其特征在于，所述计算多个替代的中间数据集的步骤由图形处理单元执行。51.如权利要求34所述的方法，其特征在于，所述计算多个替代的中间数据集的步骤由中央处理单元执行。52.如权...

【专利技术属性】
技术研发人员：D·威格多，S·L·桑德斯，R·J·J·柯斯塔，C·福林斯，
申请(专利权)人：触觉实验室股份有限公司，
类型：发明
国别省市：美国;US