数字助手在通信中的使用制造技术

在设备(110)上操作的数字助手(350)被配置为通过监听语音和视频呼叫(205)并参与消息传送会话而作为主动参与者参加到在本地方(105‑1)和远程方(105‑N)之间的通信中。数字助手典型地可以通过使用关键词或短语(1205)的语音而被发起，并且然后使用语音或手势请求数字助手执行任务、提供信息和服务等。数字助手可以对请求做出响应并且采取适当的动作(1210)。在语音和视频呼叫中，与数字助手的交互(即，请求、响应和动作)可以被呼叫双方听到，就好像数字助手是呼叫中的第三方那样。在消息传送会话中，生成消息并且将其显示给每一个参与者，以使得他们可以看到与数字助手的交互，就好像它是参与者那样。

The use of digital assistant in communication

【技术实现步骤摘要】
数字助手在通信中的使用本申请是申请日为2015年06月17日、申请号为201580032959.6、专利技术名称为“数字助手在通信中的使用”的专利技术专利申请的分案申请。
技术介绍
用户经常想要或需要进行多任务以使得可以执行各种任务而同时使用诸如智能电话或计算机之类的设备与其他人通信。然而，在通信中尝试多任务经常可能引起不连贯的、结结巴巴的或令人困惑的交互。一些常规的解决方案已经通过将附加控件(例如，按钮)添加到通信应用中来试图解决在尝试多任务时的不连贯通信的问题。不幸的是，这样的附加控件经常会使通信应用用户界面(GUI)对于用户而言是拥挤的、更难以操作的和令人困惑的。此外，这样的解决方案的结局是使得用户更容易离开通信应用且不做任何事情去使远程方保持专注于正发生的事情。其它常规解决方案使用某种形式的数字助手，它们在各种各样的计算平台上可获得，但是在与另一方通信期间以有用方式利用它们的能力非常有限。本背景被提供来介绍针对以下概要和详细描述的简要上下文。本背景既不打算帮助确定所要求保护的主题的范围，也不打算被看作将所要求保护的主题限于用来解决以上提出的所有或任何缺点或问题的实现。
技术实现思路
诸如智能电话、个人计算机或游戏操控台之类的设备上所支持的数字助手被配置成通过监听语音和视频呼叫，并参与消息传送会话，而作为主动参与者参加到在本地和远程方之间的通信中。数字助手典型地可以使用关键词或短语通过语音而被发起，然后使用语音命令、自然语言请求或者在一些情况下使用手势来请求数字助手执行任务、提供信息和服务等。数字助手可以对请求做出响应并且采取适当的动作。在语音和视频呼叫中，与数字助手的交互(即，请求、响应和动作)可以由呼叫的双方听到，就好像数字助手是呼叫中的第三方那样。在消息传送会话中，生成消息并且将其显示给每一个参与者，以使得他们可以看到与数字助手的交互，就好像其是参与者那样。在各种说明性示例中，数字助手使用来自各种源的输入去维持对呼叫状态和其它上下文的感知，使得它被使能去采取看起来自然的动作而同时减少用户的负担。因而，在约翰(用户)和汤姆、理查德以及哈里的四路会议呼叫上，用户可以说“为我们安排会议”，而数字助手理解：词语“我们”是指这四个参与者。数字助手可以确认该请求并且口头地陈述其正发送出会议请求。陈述被注入呼叫的音频中以使得所有会议呼叫参与者可以听到数字助手说话。在语音呼叫中，与数字助手的交互在由设备的电话应用所支持的UI上被视觉地证实。在视频呼叫中，数字助手交互被截取(capture)到画中画(PIP)覆盖中，画中画覆盖被本地显示且插入外出的视频流中以使得所有呼叫参与者可以看到它。由数字助手对上下文进行使用的其它示例包括：在执行给定动作或任务时考虑到时刻、用户的位置、用户的日程安排、其他方的属性等。因而，取决于用户是在国外度假胜地的假期中，还是用户是工作时段期间处于办公室中(正好在所安排的、审查针对所提出建筑的建筑规划的会议之前)，数字助手可以采取不同的动作。例如，在度假情景中，数字助手可以在进行与亲戚的呼叫时通过在电子邮件或文本消息中将白天早前由用户拍摄的度假胜地的照片发送给亲戚而响应于用户的请求“发送我拍摄的图片”。在办公室情景中，当用户在进行与助手的呼叫时，数字助手可以发送需要用来在会议时演示的针对所提出建筑物的当前工地的照片。在通信期间，可以由数字助手执行各种各样的任务并且采取动作。这些包括例如与用户交互(其可以涉及数字助手要求澄清问题和/或跟进(followupwith)用户)、执行各种任务、提供服务、搜集信息(例如，通过访问搜索服务)、操作设备、以及执行各种其它功能，以在不管是语音、视频还是消息传送的通信会话期间帮助用户。此外，在一些情况下，运行在设备上的应用可以与数字助手交互。例如，用户可能想要使用文本消息应用与数字助手交互(例如，使用通常称为“过顶(over-the-top)消息传送应用”的应用，而不是由移动网络运营商提供的第一方文本传送应用)，其中数字助手可以表现得就像常规的消息传送参与者那样。这使能静默的交互以及提供便捷的方式来保持与数字助手的交互的记录。有利地，数字助手在通信中的当前使用使得能够以以下方式执行任务：使用流线型且简化的UI提供综合的特征集，而同时使得与数字助手的交互对于通信的其他方是可理解的。数字助手参与通信并且执行动作和任务，而不需要用户离开通信应用，以使得总体用户体验无缝地增强有附加功能性，而不会打断呼叫或通信或不得不致使呼叫或通信暂停。在真实世界场景中的成功的多任务也被使能，因为数字助手作为通信的受欢迎的第三方起作用，这样使得大幅地减少了对用户必须切换入和切换出各种应用和上下文的需要。提供本概要来以简化的形式介绍概念的选择，这些概念在下面的详细描述中被进一步描述。本概要既不打算标识所要求保护的主题的关键特征或必要特征，也不打算用作确定所要求保护的主题的范围时的帮助。此外，所要求保护的主题不限于解决在本公开的任何部分中指出的任何或所有缺点的实现。将领会到，以上描述的主题可以被实现为计算机控制的装置、计算机进程、计算系统或者制造品，诸如一个或多个计算机可读存储介质。这些和各种其它特征将从对以下详细描述的阅读以及对相关联的附图的审阅而显而易见。附图说明图1示出了其中具有通信能力的设备通过网络交互的说明性环境；图2示出了各种说明性通信类型，包括语音呼叫、消息传送通信和视频呼叫；图3示出了包括数字助手组件的说明性分层架构；图4和5示出了用户与数字助手之间的说明性界面；图6示出了对数字助手的说明性输入以及可以由数字助手执行的一般功能的说明性分类；图7、8和9示出了由数字助手显露的说明性用户界面(UI)的屏幕截图；图10示出了其中由话筒捕获的音频被分开以使得其由数字助手和电话/视频呼叫应用接收的说明性布置；图11示出了其中进入的音频被分开以使得其由数字助手和电话/视频呼叫应用接收的说明性布置；图12示出了在数字助手与语音呼叫的各方之间的音频交互的说明性转录本(transcript)；图13-18示出了在语音呼叫通信期间在各种点处由设备上的电话应用示出的说明性UI的屏幕截图；图19和20示出了在消息传送会话期间在各种点处由消息传送应用示出的说明性UI的屏幕截图；图21示出了在数字助手和视频呼叫的各方之间的音频交互的说明性转录本；图22、23和24示出了在视频呼叫通信期间在各种点处由设备上的视频呼叫应用示出的说明性UI的屏幕截图；图25示出了可以由数字助手在通信期间执行的功能的说明性分类；图26示出了其中不同设备上的数字助手可以彼此交互的说明性布置；图27示出了其中应用可以与数字助手交互的说明性布置；图28和29示出了由消息传送应用在与数字助手交互时显露的各种UI的屏幕截图；图30、31和32示出了在实现数字助手在通信中的当前使用时可以执行的说明性方法；图33是说明性计算机系统的简化框图，诸如可以部分地被使用来实现数字助手本文档来自技高网...

【技术保护点】
1.一种设备，包括：/n一个或多个处理器；/n显示器，所述显示器支持用户界面(UI)，所述UI用于与所述设备的用户交互；以及/n存储器设备，所述存储器设备存储计算机可读指令，所述计算机可读指令在由所述一个或多个处理器执行时使所述设备：/n在所述用户和不同于数字助手的远程方之间的活动的通信会话期间，将所述数字助手配置为利用所述设备上可操作的消息传送应用所支持的文本消息来与所述用户交互，其中所述数字助手读取由所述用户发送给所述数字助手的文本消息，并且所述数字助手向所述用户发送在用于所述消息传送应用的所述UI上出现的文本消息，/n从所述用户接收输入通信，其中所接收的输入是针对所述数字助手的用以执行任务或者搜集信息的请求，/n在所述用户输入了到所述数字助手的所述通信后，向所述远程方传送消息，以使得向所述远程方所传送的消息提供关于所述用户的输入通信的细节，/n在所述用户和所述远程方之间的所述活动的通信会话期间，确定响应于所述数字助手所读取的所述文本消息的动作，所述确定包括定位适用的上下文以及利用所定位的所述适用的上下文，以及/n响应于动作确定，通过所述消息传送应用向所述用户发送文本消息。/n

【技术特征摘要】
20140619 US 62/014,174;20140701 US 14/321,6041.一种设备，包括：
一个或多个处理器；
显示器，所述显示器支持用户界面(UI)，所述UI用于与所述设备的用户交互；以及
存储器设备，所述存储器设备存储计算机可读指令，所述计算机可读指令在由所述一个或多个处理器执行时使所述设备：
在所述用户和不同于数字助手的远程方之间的活动的通信会话期间，将所述数字助手配置为利用所述设备上可操作的消息传送应用所支持的文本消息来与所述用户交互，其中所述数字助手读取由所述用户发送给所述数字助手的文本消息，并且所述数字助手向所述用户发送在用于所述消息传送应用的所述UI上出现的文本消息，
从所述用户接收输入通信，其中所接收的输入是针对所述数字助手的用以执行任务或者搜集信息的请求，
在所述用户输入了到所述数字助手的所述通信后，向所述远程方传送消息，以使得向所述远程方所传送的消息提供关于所述用户的输入通信的细节，
在所述用户和所述远程方之间的所述活动的通信会话期间，确定响应于所述数字助手所读取的所述文本消息的动作，所述确定包括定位适用的上下文以及利用所定位的所述适用的上下文，以及
响应于动作确定，通过所述消息传送应用向所述用户发送文本消息。


2.根据权利要求1所述的设备，其中所述计算机可读指令在由所述一个或多个处理器执行时还使所述动作确定使用实质上与所述设备远程地操作的外部服务所提供的数据，或者所述动作确定至少部分地由所述外部服务做出。


3.根据权利要求1所述的设备，其中所述计算机可读指令在由所述一个或多个处理器执行时还使所述设备使得所述数字助手能够在执行动作之前请求来自所述用户的用文本消息的证实。


4.根据权利要求1所述的设备，其中所述动作包括以下中的一项或多项：寻找信息、回答问题、采购、进行预订、共享联系人信息、安排会议、发送消息、查看用户的日程表、安排提醒、玩游戏、记笔记、安排闹铃或唤醒提醒、向任务列表添加任务、与搜索服务交互、示出或共享电子邮件、示出或共享文件、发送到网站的链接或者发送到源的链接。


5.根据权利要求1所述的设备，其中所述计算机可读指令在由所述一个或多个处理器执行时还使所述设备使得所确定的动作能够被执行。


6.根据权利要求5所述的设备，其中所述数字助手全部或部分地执行所确定的动作。


7.根据权利要求1所述的设备，其中所发送的文本消息传递所执行的动作的结果。


8.一种操作于本地计算设备上的数字助手在由消息传送应用所支持的消息传送会话中交互而借助的方法，所述方法包括：
将所述数字助手配置为使用所述消息传送应用接收从本地方或者一个或多个远程方到所述消息传送会话的消息，以使得所述数字助手在消息传送应用用户界面(UI)上作为到所述消息传送会话的另一方而出现，其中所述消息传送会话包括所述本地方和所述一个或多个远程方；
在所述消息传送会话中，从所述本地方或者所述一个或多个远程方读取被发送给所述数字助手的所述消息，其中所述消息传送会话是所述本地方和所述一个或多个远程方之...

【专利技术属性】
技术研发人员：K·伍尔齐，L·金，P·哈尔沃森，S·乔里，R·豪金斯，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US