对用户界面交互进行编码/解码制造技术

对用户界面交互进行编码和解码的方法(600)包括接收由与用户相关联的支持助理的装置(102)捕获的来自用户的查询(132)。该查询包括与应用(140)交互的用户意图。该方法包括针对应用获得分类动作(142)的集合。分类动作的集合中的每个分类动作与一个或多个参数(144)相关联，并且表示用户与应用交互的用户意图的高级别描述。对于分类动作的集合中的每个相应分类动作，该方法包括选择执行与应用的一个或多个低级别交互的、与相应分类动作相关联的相应脚本(402)并执行相应脚本以表示与应用交互的用户意图。

【技术实现步骤摘要】
【国外来华专利技术】

本公开涉及对用户界面交互和相关联的移动应用场境进行编码和/或解码。

技术介绍

1、支持语音的环境(例如，家庭、工作场所、学校、汽车等)允许用户向基于计算机的系统大声说出查询或命令，该基于计算机的系统应对并回答查询和/或基于命令执行功能。可以使用分布在环境的各种房间或区域的连接的麦克风装置的网络来实现支持语音的环境。支持语音的环境可以由虚拟助理程序或应用控制。为了响应一些查询或命令，虚拟助理可以经由零方(0p)交互、第一方(1p)交互或第三方(3p)交互来履行或实现逻辑。0p交互是由虚拟助理本身执行的交互(即通过在虚拟助理应用内实现的代码或逻辑)。1p交互是与和虚拟助理分开的另一个应用的交互，但该另一个应用包括专门被设计用于操作虚拟助理应用或与虚拟助理应用协作的代码或逻辑。相比之下，3p交互是与和虚拟助理分开的另一个应用的交互，该另一个应用不具有被设计用于操作虚拟助理应用或与虚拟助理应用协作的代码或逻辑。

技术实现思路

1、本公开的一个方面提供了一种对用户界面交互进行编码和解码的方法。计算机实现的方法在由数据处本文档来自技高网...

【技术保护点】

1.一种计算机实现的方法（600），所述计算机实现的方法在由数据处理硬件（710）执行时使所述数据处理硬件（710）执行包括以下的操作：

2.如权利要求1所述的方法（600），其中获得所述分类动作（142）的集合包括针对所述分类动作（142）的集合中的每个相应分类动作（142）：

3.如权利要求2所述的方法（600），其中生成所述一个或多个场境注释（220）包括对与所述应用（140）的用户界面（146 ）UI的捕获的屏幕截图相对应的图像数据执行光学字符辨识OCR或图案辨识。

4.如权利要求2所述的方法（600），其中生成所述一个或多个场境注释（220）...

【技术特征摘要】
【国外来华专利技术】

1.一种计算机实现的方法（600），所述计算机实现的方法在由数据处理硬件（710）执行时使所述数据处理硬件（710）执行包括以下的操作：

2.如权利要求1所述的方法（600），其中获得所述分类动作（142）的集合包括针对所述分类动作（142）的集合中的每个相应分类动作（142）：

3.如权利要求2所述的方法（600），其中生成所述一个或多个场境注释（220）包括对与所述应用（140）的用户界面（146 ）ui的捕获的屏幕截图相对应的图像数据执行光学字符辨识ocr或图案辨识。

4.如权利要求2所述的方法（600），其中生成所述一个或多个场境注释（220）包括解析与所述应用（140）相关联的可访问性树（148）。

5.如权利要求1至4中任一项所述的方法（600），其中执行所述一个或多个低级别交互（206）包括在所述应用（140）的用户界面（146） ui处致动所述应用（140）的所述ui上的预定位置处的用户输入。

6.如权利要求1至5中任一项所述的方法（600），其中选择所述相应脚本（402）基于所述应用（140）的标识和所述应用（140）的版本。

7.如权利要求1至6中任一项所述的方法（600），其中选择所述相应脚本（402）包括向所述相应脚本（402）传递与所述相应分类动作（142）相关联的所述一个或多个参数（144）。

8.如权利要求1至7中任一项所述的方法（600），其中当接收来自所述用户的所述查询（132）时，所述应用（140）处于由所述支持助理的装置（102）执行的图形用户界面（107） gui的前台。

9.如权利要求1至8中任一项所述的方法（600），其中所述支持助理的装置（102）执行：

10.如权利要求9所述的方法（600），其中所述数字助理应用（110）缺少执行所述分类动作（142）的集合中的每个相应分类动作（142）的所述相应脚本（402）的准许。

11.如权利要求10所述的方法（600），其中所述支持助理的装置（102）的操作系统执行所述分类动作（...

【专利技术属性】
技术研发人员：任根洙，伊利亚·福曼，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：