由帮助信息动态推断用于软件应用的语音命令制造技术

在电子设备(100)中，一种方法包括分析与软件应用(214)相关联的帮助信息(160,1002)，以识别与软件应用的操作的实例相关联的可视元素的操纵序列。该方法进一步包括基于可视元素的操纵序列，生成语音命令集(1802)并且存储该语音命令集。该方法进一步包括接收来自用户的语音输入(162)，确定该语音输入表示语音命令集中的语音命令，并且基于语音命令，执行可视元素的模拟的操纵序列(370)，以启动软件应用的操作的实例，模拟的操作序列基于可视元素的操作序列。

Dynamic inference from help information for voice commands for software applications

In electronic devices (100), a method involves analyzing assistance information associated with software application (214) (1601002) to identify operation sequences of visual elements associated with operation instances of software applications. The method further includes the manipulation sequence based on the visual elements, generating the speech command set (1802) and storing the voice command set. The method further includes receiving a voice input from a user (162), determine the speech input representation of speech command set of voice commands, and based on the voice command and manipulation of the visual elements of the simulation execution sequence (370), for instance startup software application operation, operation sequence based on the simulation of operation sequence of visual elements.

【技术实现步骤摘要】
【国外来华专利技术】由帮助信息动态推断用于软件应用的语音命令
本公开通常涉及电子设备的用户操作，更具体地说，涉及用于在电子设备处启动操作的用户语音命令。
技术介绍
通常，用户通过操纵呈现给用户的各种可视元素，诸如电子设备的外壳上的物理按钮或开关或经由电子设备的显示屏呈现的虚拟按钮和其他虚拟用户可选元素，与电子设备进行交互。然而，为便于更有效交互，对于经由用户发出的语音命令实现非接触控制，已经进行了尝试。实现该目标的持久障碍是通过电子设备上的一个或多个软件应用，将语音发音精确的转换成适当的交互序列。一种常见方法是提供用于典型的语音命令的语义特定应用编程接口(APIs)。然而，由于在可用的大量软件之间缺少标准化，该方法通常将使用语音命令的用户能力限定到在电子设备上安装的软件应用的非常小的子集。另一常见方法是将预定语音命令手动地映射到一系列操纵事件。该方法受到类似的限制，因为在大规模，特别是假定有大量软件应用以及它们的不同版本上实现是不实际的。这些规模和一致性问题由此妨碍对能够支持多个软件应用的电子设备普遍采用语音控制。附图说明通过参考附图，本领域的技术人员可以更好地理解本公开，并且其多个特征和优点将对本领域本文档来自技高网...

【技术保护点】
在电子设备(100)中，一种方法，包括：分析与软件应用(214)相关联的帮助信息(160,1002)以识别与所述软件应用的操作的实例相关联的可视元素的操纵序列(1084,1924)；基于所述可视元素的操纵序列，生成语音命令集(1802)；以及存储所述语音命令集。

【技术特征摘要】
【国外来华专利技术】2015.01.30 US 14/609,9731.在电子设备(100)中，一种方法，包括：分析与软件应用(214)相关联的帮助信息(160,1002)以识别与所述软件应用的操作的实例相关联的可视元素的操纵序列(1084,1924)；基于所述可视元素的操纵序列，生成语音命令集(1802)；以及存储所述语音命令集。2.如权利要求1所述的方法，其中，分析所述帮助信息包括：响应于对与所述软件应用相关联的所识别的可视元素的操纵，识别对将由所述软件应用启动的操作的动作的可视引用；以及识别与所述动作相关联的术语；以及其中，生成所述语音命令集包括：基于所识别的术语，生成所述语音命令集中的至少一个语音命令。3.如权利要求2所述的方法，其中，识别与所述动作相关联的术语包括：获取与所识别的可视元素相关联的一个或多个描述性属性的集合(362)；以及基于所述一个或多个描述性属性的集合，识别与所述动作相关联的术语。4.如权利要求3所述的方法，其中，获取与所述可视元素相关联的所述一个或多个描述性属性的集合包括：从视图层次(236)获取所述一个或多个描述性属性的集合，所述视图层次具有一个或多个视图屏幕内的元素的文本表示(360)。5.如权利要求2所述的方法，其中，识别与所述动作相关联的术语包括：基于引用所述动作的帮助信息中的文本描述(1302)，识别与所述动作相关联的术语。6.如权利要求1所述的方法，进一步包括：接收来自用户的语音输入(162)；确定所述语音输入表示所述语音命令集中的语音命令；以及基于所述语音命令，执行可视元素的模拟操纵序列(370)，以启动所述软件应用的操作的实例，所述模拟操纵序列是基于所述可视元素的操纵序列。7.如权利要求1所述的方法，其中，分析所述帮助信息包括：将在所述帮助信息内呈现的所述软件应用的第一屏幕截图(1304)与所述软件应用的第一视图屏幕进行匹配；将由所述帮助信息引用的所述第一屏幕截图的第一图形元素与所述第一视图屏幕的第一可视元素进行匹配；以及将所述视图屏幕的第一可视元素识别为在所述可视元素的操纵序列中操纵的可视元素。8.如权利要求7所述的方法，其中，分析所述帮助信息进一步包括：将在所述帮助信息中呈现的所述软件应用的第二屏幕截图(1404)与所述软件应用的第二视图屏幕进行匹配；将由所述帮助信息引用的所述第二屏幕截图的第二图形元素与所述第二视图屏幕的第二可视元素进行匹配；将所述第二视图屏幕的所述第二可视元素识别为在所述可视元素的操纵序列中操纵的可视元素；以及基于所述帮助信息中的所述第一图形元素和所述第二图形元素之间的引用顺序，识别所述可视元素的所述操纵序列中的所述第一可视元素的操纵和所述第二可视元素的操纵之间的顺序。9.如权利要求1所述的方法，其中，分析所述帮助信息包括：将所述帮助信息中的第一用户操纵动作的文本描述(1302)与所述软件应用的第一视图屏幕的第一可视元素进行匹配；以及将所述视图屏幕的所述第一可视元素识别为在所述可视元素的所述操纵序列中操纵的可视元素。10.如权利要求1所述的方法，其中，分析与所述软件应用相关联的所述帮助信息以识别所述可视元素的操纵序列包括：将对可视元素的操纵识别为表示在所述帮助信息中引用的动作；以及通过编程的方式验证对所述可视元素的所述操纵导致在所述帮助信息中引用的所述动作。11.如权利要求1所述的方法，进一步包括：将所述语音命令集(1922)和所述可视元素的操纵序列(1924)的表示提供给远程联网系统(1902)，以分发给一个或多个其他电子设备。12.在电子设备(100)中，一种方法包括：基于与软件应用相关联的帮助信息(160,1002)，将所述软件应用(214)的视图屏幕(1304,1404)的第一可视元素识别为与由所述软件应用执行的操作的第一动作相关联；基于与所述软件应用相关联的帮助信息，将所述软件应用的视图屏幕(1304,1404)的第二可视元素识别为与所述操作的第二动作相关联；基于所述第一可视元素和所述第二可视元素，生成表示所述操作的语音命令集(1802)；以及存储所述语音命令集。13...

【专利技术属性】
技术研发人员：阿米特·库马尔·阿格拉沃尔，雷蒙德·B·埃西克，萨恰巴拉塔·劳特，
申请(专利权)人：谷歌技术控股有限责任公司，
类型：发明
国别省市：美国,US