经由自动化助理交互的文档创建和编辑制造技术

本文阐述的实施方式涉及允许用户创建、编辑和/或共享文档而不直接与文档编辑应用对接的自动化助理。用户可以向自动化助理提供输入，以便使得自动化助理与文档编辑应用对接并且创建文档。为了识别关于文档执行的特定动作和/或识别用于指导动作的文档内的特定子部分，自动化助理可以依赖于语义注释。当用户继续与自动化助理交互以编辑文档时，可以根据文档正如何改变和/或用户如何指涉文档来更新语义注释。这可以允许自动化助理更容易地履行可能缺少表达细节的文档相关请求。能缺少表达细节的文档相关请求。能缺少表达细节的文档相关请求。

【技术实现步骤摘要】
【国外来华专利技术】经由自动化助理交互的文档创建和编辑

技术介绍

[0001]人类可以参与与交互软件应用的人机对话，该交互软件应用在本文中被称为“自动化助理”(也被称为“数字智能体”、“聊天机器人”、“交互个人助理”、“智能个人助理”、“对话智能体”等)。例如，人类(当他们与自动化助理交互时可以被称为“用户”)可以使用口头自然语言输入(即，话语)和/或通过提供文本(例如，键入)自然语言输入来提供命令和/或请求，该口头自然语言输入在一些情况下可以被转换成文本并且然后被处理。
[0002]在一些实例中，可以利用自动化助理来执行离散动作，诸如打开音乐应用、调整智能家庭设备的设置以及许多其它任务。然而，对内容丰富文档(例如，要发布的文章)的编辑通常仍然保留具有专用监视器以及诸如键盘和鼠标的常见外围设备的桌面环境。尽管许多平板样式设备已经启用了用于编辑文档的其它手段，诸如经由触摸屏接口，但是可能需要将其全部灵巧性专用于每个编辑会话，以便编辑内容丰富文档。例如，向存储在云驱动器上的特定文档添加文本的段落可能需要用户：经由平板设备的前台应用访问特定文档、滚动到要编辑的特定段落以及手动地键入以编辑该段落。这能够需要大量的用户输入和客户端设备资源的大量使用来处理输入，以便在延长的持续时间内渲染特定文档等。另外地，经由平板设备执行的任何其它任务可能被延迟，因为用户在这段时间内不能与任何其它应用接涉。
[0003]此外，作为云应用存在的各种文档编辑应用可以允许多个不同用户通过桌面样式接口同时编辑文档。这种应用可以允许多个审阅者经由桌面样式接口同时审阅文档。然而，只要编辑和评论被限制到某些应用接口，就可能过度地延迟审阅周期。例如，一个审阅者可以在他们的电话上获得另一个用户已经向文档添加了评论的电子邮件通知。不幸的是，用户可能直到该用户能访问具有适当图形用户接口的台式计算机或其它设备，才能完全处理评论。此外，结果，用户可能不会被告知评论的任何实质，因此不能在访问评论之前准备对评论的响应。这些限制可以导致各种用户检查来自可能不启用编辑功能的接口的文档评论更新。这可能导致诸如功率和处理带宽的计算资源的不必要消耗。

技术实现思路

[0004]本文阐述的实施方式涉及一种自动化助理，其可以作为用于完成用于内容丰富文档的各种文档相关动作的模态来操作。内容丰富文档可以指涉合并到单个文档中的任何数据集。该数据集可以包括但不限于多个不同部分、主题、子主题、样式、电子表格中的单元格、演示中的幻灯片、图形和/或可以并入文档中的特征的任何组合。自动化助理可以操作以允许用户通过自动化助理与用户之间的一个或多个交互来编辑、评论和/或共享现有文档，或创建新文档。换句话说，用户不必需要在图形用户接口(GUI)的前台(foreground)中观看文档编辑程序，以便执行这种操作。相反，自动化助理例如可以允许用户通过口头交互和/或任何其它类型的交互——可选地不需要用户在提供口头交互时查看文档——来执行各种文档相关任务。这种文档相关任务可以通过允许自动化助理生成用户可以请求自动化助理访问和/或修改的单个文档的相应部分的语义注释来实现。例如，可以鉴于文档的语义
注释基于处理用户的口头话语的至少一部分来确定要执行的文档相关任务(例如，为了确定应该对文档的哪个部分执行文档相关任务)。以这种方式引用语义注释可以简化文档创建和/或文档审阅，否则这可能需要文档的延长图形渲染和/或指导与例如可经由桌面计算设备访问的文档编辑应用的用户交互。此外，当文档审阅用户能够通过提供对自动化助理的访问的任何设备快速审阅内容丰富文档时，可以减少文档的审阅时间和设备的功耗。这样的设备可以包括，但不限于，手表、蜂窝电话、平板计算机、家庭助理设备、和/或任何其它可以提供对自动化助理的访问的计算设备。
[0005]作为一个示例，用户可以是与一组研究者一起工作以审阅要提交以供发布的电子文档的研究者。在审阅过程期间，每个研究者可以根据不允许很多时间坐在计算设备前面审阅文档中的编辑和/或评论的休息的时间表来行进。为了对文档进行编辑和/或审阅评论，用户可以依靠自动化助理，该自动化助理可以通过用户设备的“生态系统”可访问。例如，当研究者正在审阅文档时，提供对文档的访问的文档应用可以向自动化助理发送与文档相关联的某些数据和从自动化助理接收与文档相关联的某些数据。
[0006]在某些实例中，文档可以是电子表格，并且当用户提供诸如“Assistant,add a column to my latest
‘
research
’
document and add a comment saying
‘
Could someone add this month
’
s data to this column？
’
(助理，将列添加到我的最新“研究”文档中并且添加“是否有人将本月的数据添加到该列？”的评论)”的口头话语时，可以致使对文档的特定编辑。用户可以向他们的手表的接口提供这种口头话语，该接口可以提供对自动化助理的访问，但是可以不包括用于编辑电子表格的本机文档编辑应用。响应于接收到口头话语，自动化助理可以处理对应于口头话语的音频数据并且确定要执行的一个或多个动作。
[0007]音频数据的处理可以涉及利用一个或多个经训练的机器学习模型、启发式过程、语义分析、和/或在处理来自用户的口头话语时可以采用的任何其它过程。作为处理的结果，自动化助理可以初始化经由口头话语由用户所指定的一个或多个动作的执行。在一些实施方式中，自动化助理可以使用应用编程接口(API)，以便使特定文档应用执行一个或多个动作。例如，响应于上述口头话语，经由用户的手表可访问的自动化助理可以生成响应于来自用户的口头话语而执行的一个或多个函数。例如，自动化助理可以使得执行一个或多个函数，以便确定在特定文档中应当添加附加列的位置。用于确定放置附加列的位置的函数可以是total_columns(most_recent(
‘
research
’
))，其可以识别包括在具有带有词项“research(研究)”的语义注释的最近访问的文档中的非空白列的总数。在一些实施方式中，可以基于用户与文档编辑应用和/或自动化助理之间的一个或多个先前交互来识别“total_columns”函数。可替换地或另外地，可以使用一个或多个经训练的机器学习模型来识别“total_columns”函数，该经训练的机器学习模型可以用于对待执行的一个或多个函数进行排名和/或评分，以便识别在响应用户时使用的附加信息。
[0008]例如，total_columns(most_recent(
‘
research
’
))函数可以返回值“16”，其可以由自动化助理用来生成要执行的用于将列(例如，“16+1”)添加到特定文档的另一函数。例如，自动化助理可以初始化函数的执行，诸如：action：new_column((16+1),most_recent(
‘
research...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种由一个或多个处理器实现的方法，所述方法包括：在计算设备的自动化助理接口处从用户接收指向自动化助理的用户输入，其中，所述用户输入包括对于所述自动化助理访问或修改文档的请求；响应于接收到所述用户输入，识别所述用户正在请求访问或修改的特定文档，其中，所述特定文档被存储在所述计算设备或另一计算设备处，其中，所述特定文档的对应名称的明确口述是从所述用户输入中省略的，以及其中，识别所述特定文档包括：处理数据，所述数据包括所述用户输入的自然语言内容和经由所述计算设备能访问的多个不同文档中的每个文档的内容；确定要对所述特定文档执行的一个或多个动作，其中，确定所述一个或多个动作是基于所述用户输入和与所述特定文档相关联地存储的所述特定文档的一个或多个语义注释，以及其中，所述一个或多个语义注释中的每个语义注释包括所述特定文档的整体中的相应子部分的语义解释；以及使得所述一个或多个动作被执行以根据所述用户输入来访问或修改所述特定文档。2.根据权利要求1所述的方法，其中，所述特定文档最初不是由所述用户创建，以及其中，所述特定文档是使用不同于所述自动化助理的文档应用来创建。3.根据权利要求1或权利要求2所述的方法，其中，所述数据还包括附加语义注释，并且所述附加语义注释中的每个附加语义注释包括所述多个不同文档的相应附加文档的另一相应子部分的另一语义解释。4.根据前述权利要求中任一项所述的方法，其中，所述计算设备的所述自动化助理接口包括麦克风，以及其中，所述用户输入是在被用于编辑所述特定文档的文档编辑程序在所述计算设备的图形用户接口的前台中不存在时被接收。5.根据前述权利要求中任一项所述的方法，其中，所述一个或多个语义注释包括特定语义注释，所述特定语义注释包括由附加用户创建的文档评论的语义解释，以及其中，所述一个或多个动作包括使得通知经由与所述附加用户相关联的单独计算设备的另一接口被提供给所述附加用户。6.根据前述权利要求中任一项所述的方法，还包括：在所述计算设备的所述自动化助理接口处接收所述用户输入之前：接收另一用户输入，所述另一用户输入包括对于所述自动化助理渲染由另一用户添加到所述特定文档的补充内容的描述的另一请求。7.根据权利要求6所述的方法，其中，经由所述用户输入提供的所述请求指导所述自动化助理访问或修改由所述另一用户添加到所述特定文档的所述补充内容。8.根据前述权利要求中任一项所述的方法，其中，使得所述一个或多个动作被执行包括：执行语音到文本处理以将所述用户输入的部分转换为文本数据，以及使得所述文本数据被并入到与所述一个或多个语义注释中的特定语义注释相对应的
所述特定文档的部分中。9.根据前述权利要求中任一项所述的方法，还包括：使用经训练的机器学习模型来生成所述一个或多个语义注释，所述经训练的机器学习模型是使用基于在所述用户与各种不同文档的其它部分之间的先前用户交互的训练数据来训练。10.一种由一个或多个处理器实现的方法，所述方法包括：在计算设备的自动化助理接口处接收与来自用户的口头话语相对应的请求；其中，所述计算设备提供对自动化助理的访问；基于所述请求来从特定文档的部分中识别自然语言内容，其中，在所述用户提供所述口头话语时，所述特定文档的所述部分在所述计算设备的图形用户接口的前台中不存在；基于来自所述特定文档的所述部分的所述自然语言内容来确定所述用户正在请求所述自动化助理执行的一个或多个特定动作；以及基于所述请求来使得...

【专利技术属性】
技术研发人员：维克托，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：