在会话中提供情感关怀制造技术

本公开提供了用于在用户与电子对话代理之间的会话中提供情感关怀的方法和装置。可以在会话中接收第一组图像，第一组图像包括与用户相关联的一个或多个图像。可以获得用户的用户简档。可以至少基于用户简档中的情感信息从第一组图像生成第一组文本描述。可以至少基于第一组图像和第一组文本描述来创建第一存储记录。

Provide emotional care in conversation

The present disclosure provides a method and apparatus for providing emotional care in a conversation between a user and an electronic conversation agent. A first set of images, including one or more images associated with a user, may be received in a session. The user profile of the user can be obtained. A first set of text descriptions may be generated from the first set of images based at least on the emotional information in the user profile. A first storage record may be created based on at least the first set of images and the first set of text descriptions.

【技术实现步骤摘要】
【国外来华专利技术】在会话中提供情感关怀
技术介绍
人工智能(AI)聊天机器人变得越来越流行，并且正在越来越多的场景中得到应用。聊天机器人被设计用于模拟人类对话，并且可以通过文本、语音、图像等与用户聊天。通常，聊天机器人可以扫描由用户输入的消息内的关键词或对消息应用自然语言处理，并向用户提供具有最匹配的关键词或最相似的措辞模式的响应。
技术实现思路
提供本
技术实现思路
以便介绍概念的选择，其将在以下的具体实施方式中进一步描述。本
技术实现思路
并非旨在标识所保护主题的关键特征或必要特征，也不旨在用于限制所保护主题的范围。本公开内容的实施例提出了用于在用户和电子对话代理之间的会话中提供情感关怀的方法和装置。可以在会话中接收第一组图像，第一组图像包括与用户相关联的一个或多个图像。可以获得用户的用户简档。可以至少基于用户简档中的情感信息从第一组图像生成第一组文本描述。可以至少基于第一组图像和第一组文本描述来创建第一存储记录。应当注意，以上一个或多个方面包括以下详细描述以及权利要求中具体指出的特征。下面的说明书及附图详细阐述了所述一个或多个方面的某些说明性特征。这些特征仅仅指示可以实施各个方面的原理的多种方式，并且本公开旨在包括所有这些方面和其等同变换。附图说明以下将结合附图描述所公开的多个方面，这些附图被提供用以说明而非限制所公开的多个方面。图1示出了根据实施例的部署聊天机器人的示例性网络架构。图2示出了根据实施例的示例性聊天机器人系统。图3示出了根据实施例的示例性用户界面。图4示出了根据实施例的示例性情感分析模型。图5示出了根据实施例的用于语音编码的示例性过程。图6示出了根据实施例的用于图像编码的示例性残差学习块。图7示出了根据实施例的用于图像编码的示例性残差网络。图8示出了根据实施例的用于视频编码的示例性过程。图9示出了根据实施例的示例性情感曲线。图10示出了根据实施例的示例性用户简档。图11示出了根据实施例的示例性用户-话题转移模型。图12示出了根据实施例的用于建立纯聊天索引集的示例性过程。图13示出了根据实施例的示例性聊天窗口。图14示出了根据实施例的用于建立知识图谱和知识问题-答案(QA)对集合的示例性过程。图15A至图15D示出了根据实施例的示例性依存句法分析。图16示出了根据实施例的示例性聊天窗口。图17示出了根据实施例的用于从图像生成文本描述的示例性过程。图18示出了根据实施例的用于创建存储记录的示例性过程。图19示出了根据实施例的示例性聊天窗口。图20示出了根据实施例的示例性聊天窗口。图21示出了根据实施例的示例性聊天窗口。图22示出了根据实施例的用于执行隐式心理测试的示例性过程。图23示出了根据实施例的用于在用户与电子对话代理之间的会话中提供情感关怀的示例性方法的流程图。图24示出了根据实施例的用于在用户和电子对话代理之间的会话中提供情感关怀的示例性装置。图25示出了根据实施例的用于在用户与电子对话代理之间的会话中提供情感关怀的示例性装置。具体实施方式现在将参考多种示例性实施方式来讨论本公开。应当理解，这些实施方式的讨论仅仅用于使得本领域技术人员能够更好地理解并从而实施本公开的实施例，而并非教导对本公开的范围的任何限制。随着医疗技术和更好的生活环境的发展，近几十年来人们的平均寿命显著延长。以日本为例，男性/女性的平均寿命约为83至84岁。另外，65岁以上的日本人超过25％。很多其他国家在不久的将来也会遵循同样的趋势。这些老年人面临的一个挑战是他们如何以健康的生活方式度过退休后的20年或更长的时间。本公开的实施例提出利用电子对话代理向用户提供及时和有效的情感关怀。用户不仅包括老年人，还包括不同年龄段的其他人。在本文中，“情感关怀”可以指以各种方式向用户提供的情感交流或帮助，诸如情感聊天、提供与疾病、食物和药物相关的知识、通过进行心理或认知测试来监视用户的心理或认知状况、为用户创建和存储存储记录等。由本公开的实施例提供的情感关怀对于用户以健康的方式生活，特别是满足用户的各种情感需求是有益的。电子对话代理可以在与用户的会话中提供情感关怀。电子对话代理可以是例如聊天机器人。通常，聊天机器人可以与用户进行自动会话。在本文中，“会话”可以指两个聊天参与者之间的时间连续对话，并且可以包括对话中的消息和响应，其中，“消息”是指由用户输入的任何信息，例如来自用户的查询、用户对聊天机器人的问题的答案、用户的意见等，“响应”是指由聊天机器人提供的任何信息，例如聊天机器人对用户的问题的答案、聊天机器人的评论等。术语“消息”和术语“查询”也可以互换使用。图1示出了根据实施例的部署聊天机器人的示例性网络架构100。在图1中，网络110被应用于在终端设备120和聊天机器人服务器130之间进行互连。网络110可以是能够对网络实体进行互连的任何类型的网络。网络110可以是单个网络或各种网络的组合。在覆盖范围方面，网络110可以是局域网(LAN)、广域网(WAN)等。在承载介质方面，网络110可以是有线网络、无线网络等。在数据交换技术方面，网络110可以是电路交换网络、分组交换网络等。终端设备120可以是能够连接到网络110、访问网络110上的服务器或网站、处理数据或信号等的任何类型的电子计算设备。例如，终端设备120可以是台式计算机、笔记本电脑、平板电脑、智能电话、AI终端、可穿戴设备等。尽管在图1中仅示出了一个终端设备，但是应当理解，可以有不同数量的终端设备连接到网络110。终端设备120可以由用户使用。终端设备120可以包括可为用户提供自动聊天服务的聊天机器人客户端122。在一些情况下，聊天机器人客户端122可以与聊天机器人服务器130进行交互。例如，聊天机器人客户端122可以将用户输入的消息传送到聊天机器人服务器130，并且从聊天机器人服务器130接收与消息相关联的响应，并向用户提供响应。然而，应当理解，在其它情况下，聊天机器人客户端122也可以本地地生成对用户输入的消息的响应，而不是与聊天机器人服务器130进行交互。聊天机器人服务器130可以连接到或包含聊天机器人数据库132。聊天机器人数据库132可以包括可由聊天机器人服务器130用于生成响应的信息。应当理解，图1中所示的所有网络实体都是示例性的，根据具体的应用需求，网络架构100中可以涉及任何其它网络实体。图2示出了根据实施例的示例性聊天机器人系统200。聊天机器人系统200可以包括用于呈现聊天窗口的用户界面(UI)210。聊天窗口可以由聊天机器人用于与用户进行交互。聊天机器人系统200可以包括核心处理模块220。核心处理模块220被配置用于通过与聊天机器人系统200的其它模块的协作，在聊天机器人的运行期间提供处理能力。核心处理模块220可以获得由用户在聊天窗口中输入的消息，并将消本文档来自技高网...

【技术保护点】
1.一种用于在用户与电子对话代理之间的会话中提供情感关怀的方法，包括：/n在所述会话中接收第一组图像，所述第一组图像包括与所述用户相关联的一个或多个图像；/n获得所述用户的用户简档；/n至少基于所述用户简档中的情感信息从所述第一组图像生成第一组文本描述；以及/n至少基于所述第一组图像和所述第一组文本描述来创建第一存储记录。/n

【技术特征摘要】
【国外来华专利技术】1.一种用于在用户与电子对话代理之间的会话中提供情感关怀的方法，包括：
在所述会话中接收第一组图像，所述第一组图像包括与所述用户相关联的一个或多个图像；
获得所述用户的用户简档；
至少基于所述用户简档中的情感信息从所述第一组图像生成第一组文本描述；以及
至少基于所述第一组图像和所述第一组文本描述来创建第一存储记录。


2.根据权利要求1所述的方法，还包括：
基于所述第一存储记录在所述会话中提供响应。


3.根据权利要求1所述的方法，还包括：
将所述第一存储记录存储在存储记录数据库中，所述存储记录数据库包括多个存储记录。


4.根据权利要求3所述的方法，还包括：
在所述会话中接收消息；
从所述存储记录数据库检索与所述消息相关联的存储记录；以及
基于所检索的存储记录在所述会话中提供响应。


5.根据权利要求1所述的方法，其中，所述第一组文本描述包括对应于第一图像的第一文本描述和对应于第二图像的第二文本描述，以及
所述创建所述第一存储记录包括：
生成用于查询所述第一文本描述与所述第二文本描述之间的关系的问题；
在所述会话中提供所述问题；
在所述会话中接收指示所述关系的答案；以及
至少基于所述关系创建所述第一存储记录。


6.根据权利要求1所述的方法，还包括：
在所述会话中接收第二组图像；
至少基于所述用户简档中的所述情感信息从所述第二组图像生成第二组文本描述；以及
至少基于所述第二组图像和所述第二组文本描述创建第二存储记录。


7.根据权利要求6所述的方法，还包括：
生成用于查询所述第一存储记录和所述第二存储记录之间的关系的问题；
在所述会话中提供所述问题；
在所述会话中接收指示所述关系的答案；以及
至少基于所述第一存储记录、所述第二存储记录和所述关系创建联合存储记录。


8.根据权利要求1所述的方法，其中，所述第一组文本描述中的每一个是通过神经网络以逐词方式生成的。


9.根据权利要求8所述的方法，其中，在生成文本描述期间，基于以下中的至少一个来生成所述文本描述的下一词：所述用户简档中与所述文本描述的生成部分相关联的情感信息；以及通过对所述文本描述的所述生成部分执行情感分析获得的情感信息。


10.根据权利要求9所述的方法，其中，所述用户简档中的所述情感信息包括多个情感信息项，并且每个情感信息项包括以下中的至少一个：感兴趣的话题、对所述话题的意见和所述意见的情感类别。


11.根据权利要求8所述的方法，其中，在生成文本描述期间，所述文本描述的生成部分通过以下中的至少一个在语义上扩展：所述用户简档中的事实信...

【专利技术属性】
技术研发人员：吴先超，波村大悟，Y·王，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US