捕获并处理与原生应用的用户界面的交互制造技术

公开了包括在计算机存储介质上编码的计算机程序的用于评估与应用的用户界面的交互的方法、系统和装置。在一个方面中，一种方法包括接收用于与原生应用的用户会话的帧丛束。每个帧丛束可以包括针对一个或多个时间点中的每个指定由原生应用用来在该时间点处生成原生应用的用户界面的每个呈现对象的呈现位置、以及针对一个或多个呈现对象指定被执行以生成呈现对象的视觉表示的一个或多个绘制操作的数据。基于由帧丛束指定的数据来生成回放数据，所述回放数据呈现与被执行以生成每个呈现对象的视觉表示的绘制操作相对应的用户界面的视觉变化。

【技术实现步骤摘要】
【国外来华专利技术】捕获并处理与原生应用的用户界面的交互
技术介绍
本说明书涉及数据处理以及捕获/评估与原生应用的用户界面的交互。用户界面促进与各种资源和应用的用户交互。例如，用户界面通常包括各种交互式要素，其使得用户能够输入数据(例如，使用文本框)、作出数据选择(例如，使用单选按钮、复选框或下拉菜单)、导航至应用页面(例如，通过与嵌入式链接交互)、以及改变用户界面的视觉方面(例如，旋转设备、重新设置窗口大小、滚动至应用页面的其它部分、或者使用缩放控制)。用户对于给定应用的满意度可以取决于与该应用的用户界面交互的的用户体验。
技术实现思路
总体上，本说明书中所描述主题的一个创新方面可以以方法来体现，所述方法包括接收用于与原生应用的用户会话的帧丛束(framebundle)。每个帧丛束可以包括数据，该数据针对一个或多个时间点中的每个指定由原生应用用来在该时间点处生成该原生应用的用户界面的每个呈现对象的呈现位置。每个呈现对象可以是在用户界面的一部分内生成其自身的视觉表示的对象。每个帧丛束还可以针对一个或多个呈现对象包括被执行以生成呈现对象的视觉表示的一个或多个绘制操作的本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n接收用于与原生应用的用户会话的多个帧丛束，每个帧丛束包括指定以下的数据：/n对于一个或多个时间点中的每个：/n由所述原生应用用来在所述时间点处生成所述原生应用的用户界面的每个呈现对象的呈现位置，每个呈现对象是在所述用户界面的一部分内生成其自身的视觉表示的对象；以及/n针对一个或多个呈现对象，被执行以生成所述呈现对象的所述视觉表示的一个或多个绘制操作；以及/n基于由所述多个帧丛束指定的数据，生成回放数据，所述回放数据呈现与被执行以生成每个呈现对象的所述视觉表示的所述绘制操作相对应的所述用户界面的视觉变化。/n

【技术特征摘要】
【国外来华专利技术】20180330 US 62/650,8411.一种方法，包括：
接收用于与原生应用的用户会话的多个帧丛束，每个帧丛束包括指定以下的数据：
对于一个或多个时间点中的每个：
由所述原生应用用来在所述时间点处生成所述原生应用的用户界面的每个呈现对象的呈现位置，每个呈现对象是在所述用户界面的一部分内生成其自身的视觉表示的对象；以及
针对一个或多个呈现对象，被执行以生成所述呈现对象的所述视觉表示的一个或多个绘制操作；以及
基于由所述多个帧丛束指定的数据，生成回放数据，所述回放数据呈现与被执行以生成每个呈现对象的所述视觉表示的所述绘制操作相对应的所述用户界面的视觉变化。


2.根据权利要求1所述的方法，其中，每个呈现对象包括视图或图层中的一个，以及其中每个帧丛束包括指定每个视图或图层的层级表示的数据。


3.根据权利要求1所述的方法，其中，生成所述回放数据包括：基于用来生成所述呈现对象的所述绘制操作来重建每个呈现对象的所述视觉表示。


4.根据权利要求1所述的方法，其中，所述原生应用的工具代码生成每个帧丛束，包括使得每个呈现对象的每个图层将其自身绘制到离屏绘制上下文并且存储指定被执行以在所述离屏绘制上下文中绘制每个呈现对象的每个图层的绘制操作的数据。


5.根据权利要求4所述的方法，其中，所述绘制上下文是基于便携式文档格式(PDF)的绘制上下文，并且指定每个绘制操作的数据被存储在PDF文档中。


6.根据权利要求4所述的方法，其中，针对每个给定呈现对象，所述工具代码使得所述原生应用在其上运行的操作系统的绘制库在所述视图被绘制到所述离屏绘制上下文之前向所述离屏绘制上下文绘制用于所述呈现对象的起始标记以及在所述呈现对象已经被绘制到所述离屏绘制上下文之后绘制用于所述呈现对象的结束标记。


7.根据权利要求6所述的方法，其中，所述工具代码将在所述起始标记和所述结束标记之间的所述离屏绘制上下文的每个绘制操作指配给所述给定呈现对象。


8.根据权利要求1所述的方法，其中：
每个帧丛束包括指定在一个或多个呈现对象的呈现期间发生的一个或多个用户界面事件的数据；以及
生成所述回放数据包括在所述一个或多个呈现对象的呈现期间重建所述一个或多个用户界面事件。


9.一种系统，包括：
数据存储；以及
一个或多个计算机，所述一个或多个计算机与所述数据存储交互并且实行使得所述一个或多个计算机执行操作的指令，所述操作包括：
接收用于与原生应用的用户会话的多个帧丛束，每个帧丛束包括指定以下的数据：
对于一个或多个时间点中的每个：
由所述原生应用用来在所述时间点处生成所述原生应用的用户界面的每个呈现对象的呈现位置，每个呈现对象是在所述用户界面的一部分内生成其自身的视觉表示的对象；以及
针对一个或多个呈现对象，被执行以生成所述呈现对象的所述视觉表示的一个或多个绘制操作；以及
基于由所述多个帧丛束指定的数据，生成回放数据，所述回放数据呈现与被执行以生成每个呈现对象的所述视觉表示的所述绘制操作相对应的所述用户界面的视觉变化。


10.根据权利要求9所述的系统，其中，每个呈现对象包括视图或图层中的一个，以及其中每个帧丛束包括指定每个视图或图层的层级表示的数据。


11.根据权利要求9所述的系统，其中，生成所述回放数据包括：基于用来生成所述呈现对象的所述绘制操作来重建每个呈现对象的所述视觉表示。


12.根据权利要求9所述的系统，其中，所述原生应用的工具代码生成每个帧丛束，包括使得每个呈现对象的每个图层将其自身绘制到离屏...

【专利技术属性】
技术研发人员：马修·马斯特拉奇，
申请(专利权)人：完整故事有限公司，
类型：发明
国别省市：美国;US