从设备数据提取情绪状态制造技术

表示性实施例公开了从由一个或多个设备和/或服务收集的上下文用户数据和公共使用数据提取情绪状态的机制。上下文数据和公共数据被组合成丰富数据集。对用户定制的情绪模型基于一个或多个机器学习技术从丰富数据集提取情绪状态。情绪状态被用来标识改变一个或多个设备和/或服务的操作的一个或多个动作以便实现情绪状态的变化、情绪状态与和用户的设备和/或服务交互之间的兼容性或两者。隐式和/或显式反馈被收集并被用来改变对情绪状态的预测和/或动作的选择。

Extracting Emotional State from Device Data

Representational embodiments disclose mechanisms for extracting emotional states from contextual user data and public use data collected by one or more devices and/or services. Context data and common data are combined into rich data sets. Customized emotional models are based on one or more machine learning techniques to extract emotional states from rich data sets. Emotional states are used to identify one or more actions that change the operation of one or more devices and/or services in order to achieve changes in emotional states, compatibility between emotional states and the interaction of devices and/or services with users, or both. Implicit and/or explicit feedback are collected and used to change predictions of emotional states and/or choice of actions.

【技术实现步骤摘要】
【国外来华专利技术】从设备数据提取情绪状态
本申请总体上涉及人类和机器交互。更具体地，本文公开的实施例从用户设备、环境传感器、在线源以及其他位置收集数据并从各种数据提取情绪状态并且使用情绪状态来定制系统与给定用户的交互。
技术介绍
人类与越来越多的数目的各种各样的机器交互。数字助理已经被精心制作为向用户提供及时的信息并且辅助各种各样的任务。移动设备和其他设备被精心制作为具有不仅包含文本和图形而且包含语音识别的用户接口。聊天机器人已经在一些情况下代替人类提供辅助和交互。人工智能已经被并入各种机器中以使它们更强且更有用。所有这些努力都是为了提高与机器的交互的方便性并且使它们对个体更有用。然而，尽管服务和系统以个性化和定制化的名义收集越来越多的数据量，但是机器在许多情况下仍然难以使用并且不能很好地为用户定制以使它们对用户来说更可接受。正是在这种上下文中提出本文的实施例。附图说明图1图示了从各种数据源提取情绪状态的系统的示例架构。图2图示了改进系统从收集的数据提取情绪状态的能力的示例学习循环。图3图示了从数据提取情绪状态并基于所提取的情绪状态来定制系统的操作的示例流程图。图4图示了从数据标识情绪状态并基于所提取的情绪状态来定制系统的操作的示例架构。图5图示了从数据标识情绪状态并基于所提取的情绪状态来定制系统的操作的另一示例架构。图6图示了从数据标识情绪状态并基于所提取的情绪状态来定制系统的操作的另一示例架构。图7图示了适合于实施本文中公开的系统等或者用于执行本文中公开的方法的表示性机器架构。具体实施方式下面的描述包括例示说明性实施例的说明性系统、方法、用户接口、技术、指令序列以及计算机器程序产品。在下面的描述中，为了解释的目的，阐述了许多具体细节以提供对本专利技术主题的各种实施例的理解。然而，对于本领域技术人员将明显的是，可以在没有这些具体细节的情况下实践本专利技术主题的实施例。总体上，未详细示出公知的指令实例、协议、结构以及技术。概述尽管已经做出通过设备和/或服务操作的个性化来增加用户满意度的努力，但是这些努力忽略了用户如何与设备和/或服务交互的改变，这些改变随着用户的情绪状态的改变而发生。因此，设备/服务操作的个性化已经在许多方面存在不足。从数据提取情绪状态是困难的技术问题。同样困难的是响应于所提取的情绪状态而改变设备/服务的操作并预测改变的操作对用户的影响。换言之，难以检测用户的情绪状态并且即使已知也没有设备/服务能够利用用户的情绪状态。本文公开的实施例从收集的数据提取用户的情绪状态。本文公开的其他实施例是基于所提取的情绪状态来定制设备/服务的交互的设备/服务。这样的定制化可以包括改变设备与用户的交互和/或启动被设计为改变所提取的情绪状态的动作。设备在用户的许可下收集各种各样的数据，其中的许多包含关于用户的情绪状态的暗示。例如，生物识别通常与情绪状态有关并且包括诸如心率、皮肤温度、呼吸等的数据，其可以由诸如手表、健身跟踪器、带或其他这样的设备的可穿戴设备来收集。通过文本、电子邮件、语音以及其他机制的沟通包含关于所使用的语言、沟通的计时、沟通的长度、句子的长度和结构等的情绪线索。情绪状态的视觉线索被包含在身体语言、眼睛接触等中。甚至用户如何与设备交互，诸如在键盘上打字的力度、墨水轨迹的平滑度和压力、触摸输入设备上的轻扣的压力和持续时间等包含情绪状态的线索。然而，甚至共同数据(即，具有来自不同用户的相同“值”的数据)也可以指示不同个体用户中的不同情绪状态。例如，一个用户可能自然地以比另一用户更大的手指力度敲击键盘，因此一个用户中的可能倾向于指示挫折的测量结果在另一用户中可能不指示相同情绪。因此，本文公开的实施例利用个人定制的情绪状态模型来从收集的数据提取情绪状态。使用任何数目的机器学习技术来推导情绪状态模型。可以通过使用收集的数据训练初始模型来建立初始模型。之后，与用户的交互和来自用户的反馈被用来优化模型并且使其随时间保持最新以说明用户的反应和期望的变化。一旦情绪状态已经从数据中被提取，情绪状态就用于选择要执行的至少一个动作。该选择可以由更集中式的系统或服务器来做出或者可以由本地设备做出。所选择的动作倾向于具有修改一个或多个系统的操作以使系统与用户交互的方式与用户的情绪状态更兼容、改变用户的情绪状态、或者两者的目标。(多个)所选择的动作可以由收集数据的设备/服务或不一定与收集的数据相关联的设备/服务来执行。例如，升高的心率可以由可穿戴设备检测到并且该信息与用户正在一个设备上阅读的电子邮件的内容组合时可以得出用户烦恼的推断。作为响应，系统可以改变用户所处的房间的温度，逐渐地改变音乐并调节设备的交互以去除外来干扰(低优先级通知、重新布置用户界面，等)一段时间以允许用户有一些时间来处理情绪。在该示例中，涉及数据收集的系统(即，设备)和未涉及数据收集的系统(即，音乐播放器和温度控制)两者都基于所提取的情绪状态而被调节。动作选择可以基于对用户个性化的模型，该模型已经例如通过基于规则/策略、其组合的机器学习过程或另一过程来创建。显式的和/或隐式的反馈被用来优化情绪状态模型和/或(多个)所选择的动作以便优化系统预测和/或合适地响应所提取的情绪状态的能力。描述图1图示了从各种数据源提取情绪状态的系统的示例架构100。在用户的许可下，通过各种设备和/或服务102收集关于用户的各种各样的数据。例如，搜索引擎和在线零售商保持对用户的搜索和浏览历史的跟踪。设备收集位置信息、生物识别(心率、皮肤温度、呼吸等)、移动历史、应用利用和/或各种各样的其他数据。服务和应用可以分析诸如文本、电子邮件、语音和其他机制的沟通以提取关于用户的信息，用户与之沟通的个体、沟通的音调、词语选择、句子长度、用户沟通的内容等。相机可以捕获身体语言、眼睛接触、眼睛跟踪、眼睛协同、面部标识等。传感器可以捕获关于用户的环境的信息(温度、照明、音乐播放、环境噪声水平等)、在键盘上打字的力度、墨水轨迹的平滑度和压力、触摸输入设备上的轻扣的压力和持续时间等。生物识别数据通过或者可以通过各种各样的设备和传感器来收集并且包括与生理特性(例如，指纹、面部特征、心率、血压等)和行为特性(人如何移动、动作、手势等)有关的数据。图1中表示的服务、数据源和/或设备102表示收集关于用户的信息并且可以是用于提取情绪状态的数据源的各种各样的设备、系统和/或服务。附加地，数据源也被表示。通过举例而非限制的方式，这样的设备和服务可以包括诸如手表、带、健身跟踪器、移动电话等的移动设备、诸如笔记本、平板电脑等的半移动设备、台式系统、服务器系统、作为所谓的“物联网”的一部分的“智能”设备(具有收集姿势数据的传感器数据的家具、监测健康的智能厕所、监测饮食模式的冰箱、定制的水温、诸如电光源和/或环境光源的照明和照明控制设备、环境音频和噪声生成器等)、云服务以及可以不在设备的传统定义内但是仍然具有并收集关于用户的数据的设备(诸如车辆)。从(多个)服务和/或(多个)设备102收集的数据通过网络104被发送到情绪系统106。网络104可以是单个网络、多个网络、私有网络、公共网络等的任何组合。附加地，如下面所解释的，情绪系统106可以是来自可以通过不同网络连接的多个用户、用户设备等的监控数据。例如，个体用户可以通过私有本文档来自技高网...

【技术保护点】
1.一种用于个性化与机器的用户交互的方法，包括：接收包括用户上下文数据和用户公共数据的数据，所述数据从多个数据源被接收；将所接收的所述数据组合以创建针对用户的、包括个人数据和上下文数据的丰富数据集；通过将所述丰富数据呈现给针对所述用户个性化的情绪状态模型来从所述丰富数据集提取情绪状态，所述情绪状态模型通过将机器学习算法应用到关于所述用户的收集的数据而被创建；基于所提取的所述情绪状态来标识至少一个动作，所述至少一个动作被设计为执行修改机器的操作和修改所述情绪状态中的至少一个；标识至少一个设备和至少一个信道以通过参与所述用户的一个或多个感觉来实现所述至少一个动作；对要通过所述至少一个信道被传输到至少一个设备的数据格式化以启动所述至少一个动作；接收指示关于所述至少一个动作如何由所述用户接收的显式或隐式反馈的数据；基于指示反馈的所述数据来更新所述情绪状态和所述情绪状态模型。

【技术特征摘要】
【国外来华专利技术】2016.10.12 US 15/291,3051.一种用于个性化与机器的用户交互的方法，包括：接收包括用户上下文数据和用户公共数据的数据，所述数据从多个数据源被接收；将所接收的所述数据组合以创建针对用户的、包括个人数据和上下文数据的丰富数据集；通过将所述丰富数据呈现给针对所述用户个性化的情绪状态模型来从所述丰富数据集提取情绪状态，所述情绪状态模型通过将机器学习算法应用到关于所述用户的收集的数据而被创建；基于所提取的所述情绪状态来标识至少一个动作，所述至少一个动作被设计为执行修改机器的操作和修改所述情绪状态中的至少一个；标识至少一个设备和至少一个信道以通过参与所述用户的一个或多个感觉来实现所述至少一个动作；对要通过所述至少一个信道被传输到至少一个设备的数据格式化以启动所述至少一个动作；接收指示关于所述至少一个动作如何由所述用户接收的显式或隐式反馈的数据；基于指示反馈的所述数据来更新所述情绪状态和所述情绪状态模型。2.根据权利要求1所述的方法，还包括：基于经更新的所述情绪状态和经更新的所述情绪状态模型中的至少一个来标识至少一个附加动作；标识至少一个设备和至少一个信道以通过参与所述用户的一个或多个感觉来实现所述至少一个附加动作；对要通过所述至少一个信道被传输到至少一个设备的数据格式化以启动所述至少一个附加动作；接收指示关于所述至少一个附加动作如何由所述用户接收的显式或隐式反馈的数据；基于关于所述至少一个附加动作的所述反馈来更新所述情绪状态和所述情绪状态模型。3.根据权利要求1所述的方法，其中将所接收的所述数据组合以创建针对用户的、包括个人数据和上下文数据的丰富数据集包括以下项中的至少一项：将来自所述多个数据源的所述数据的数据点进行时间对齐；减少来自所述多个数据源中的一个或多个数据源的数据点的数目；将来自所述多个数据源的所述数据的所述数据点进行聚集；将来自所述多个数据源中的一个或多个数据源的所述数据点进行归一化；以及改变来自所述多个数据源中的一个或多个数据源的所述数据点的格式。4.根据权利要求1所述的方法，还包括：从包括第二用户上下文数据和第二用户公共数据的第二多个数据源接收数据；将所接收的所述数据组合以创建针对第二用户的、包括针对所述第二用户的个人数据和上下文数据的丰富数据集；通过将所述丰富数据呈现给针对所述第二用户个性化的情绪状态模型来从所述丰富数据集提取第二情绪状态；除了基于所述情绪状态之外还基于所述第二情绪状态来标识所述至少一个动作；接收指示关于所述至少一个动作如何由所述第二用户接收的显式或隐式反馈的第二数据；以及基于指示反馈的所述第二数据来更新所述第二情绪状态。5.根据权利要求1、2、3或4所述的方法，其中所述用户上下文数据从至少一个第一设备被接收，并且其中所述至少一个动作通过不同于所述至少一个第一设备的至少一个第二设备来实现。6.根据权利要求5所述的方法，其中所述至少一个第二设备包括聊天机器人或数字助理。7.根据权利要求1、2、3或4所述的方法，其中所述至少一个动作包括以下项中的至少一项：使可穿戴设备振动；改变所述用户所处的环境的温度；改变所述用户所处的所述环境的照明；改变与所述用户的交互的模式；改变与所述用户的交互的频率；改变用于与所述用户沟通的句子的长度；改变正在播放的音乐；改变声音音调；以及改变词语选择。8...

【专利技术属性】
技术研发人员：N·奥索蒂奥，E·M·I·桑切斯，Y·朴，L·E·佩因，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US