多模态虚拟机器人的内容生成的方法和系统技术方案

本发明专利技术提供一种多模态虚拟机器人的内容生成的方法，方法包括以下步骤：进入生成日记内容模式，并以多模态形式输出内容引导数据；内容引导数据通过一轮或多轮输出，并接收用户针对各引导数据所提供的应答数据；通过调用机器人能力接口，对应答数据进行语义理解和多模态解析，并对某轮引导数据的应答数据进行筛选以获得较优日记素材；对日记素材按照日记逻辑融合生成日记内容，并以单模态和/或多模态形式输出日记内容。本发明专利技术采用的多模态虚拟机器人的内容生成方法生成的日记的内容更加生动，更加丰富也更加有趣。另外，本发明专利技术具备内容引导功能以及自动生成日记内容的功能，因此使得没有自主创造日记能力的用户具备了创造生动日记的能力。

Methods and systems for the content generation of multimodal virtual robots

The present invention provides a method of content generated a multimodal virtual robot. The method comprises the following steps: to create a diary content model, and multimodal output in the form of content guide data; contents guide data through one or more rounds of output, and receives user response data for each guide data provided by calling the robot; ability to interface, a corresponding data semantic understanding and multimodal parsing, and for a round of data to guide the response data to obtain the optimum material for diary diary screening; material according to the diary logic fusion generation diary content, based on the single modal and / or multimodal output in the form of diary. The contents generated by the content generation method of the multimodal virtual robot are more vivid, richer and more interesting. Besides, the invention has the functions of content guidance and automatic generation of diary contents, so that users who do not create diary independently have the ability to create vivid diary.

【技术实现步骤摘要】
多模态虚拟机器人的内容生成的方法和系统
本专利技术涉及人工智能领域，具体地说，涉及一种多模态虚拟机器人的内容生成的方法和系统。
技术介绍
小学生或者初高中生，有通过写日记来表达、记录内心故事的需求和习惯。目前在人工智能技术结合日记写作的各种方案中，大多数只是简单地通过语音交互来进入/退出日记功能，而日记内容本身，全靠用户自己的语音输入。所以，目前急需一种能够利用多模态交互(含语音问答交互)的方式，帮助用户方便的创造生动有趣的日记内容的多模态虚拟机器人的内容生成方法和系统。
技术实现思路
为解决上述问题，本专利技术提供了一种多模态虚拟机器人的内容生成的方法，所述方法包括以下步骤：进入生成日记内容模式，并以多模态形式输出内容引导数据；所述内容引导数据通过一轮或多轮输出，并接收用户针对各引导数据所提供的应答数据；通过调用机器人能力接口，对所述应答数据进行语义理解和多模态解析，并对某轮引导数据的应答数据进行筛选以获得较优日记素材；对所述日记素材按照日记逻辑融合生成日记内容，并以单模态和/或多模态形式输出所述日记内容。根据本专利技术的一个实施例，所述应答数据包括以下一种或几种的组合：应答音频；或，应答文本；或，图片文件；以及或，视频文件。根据本专利技术的一个实施例，所述内容引导数据通过一轮或多轮输出，包括：所述多轮对话模式中，所述方法还包括以下步骤：调用云端问题库从中获取所述提问引导数据并进行输出，其中各个提问引导数据与一个交互话题相关联或者与所述一个交互话题相关的多个子话题相关联；基于针对某轮应答数据的文本语义进行筛选，在应答数据的语义结果不佳时，更新引导下一轮引导数据的话题选择。根据本专利技术的一个实施例，多模态虚拟机器人的内容生成的方法还包括：获取与日记关联的数据，作为所述日记素材，包括：实时记录用户音频数据；或，捕捉用户在场所中的图像；或，检测用户存储至相册中的图片。根据本专利技术的一个实施例，所述调用请求包含：当前用户发送的本地调用请求；和/或通过网络发送的远程调用请求。根据本专利技术的一个实施例，以单模态和/或多模态形式输出所述日记内容包括：本地输出所述日记内容数据；和/或通过互联网分发给其他用户。根据本专利技术的另一个方面，还提供一种多模态虚拟机器人的内容生成的系统，所述系统包括：进入与引导模块，其用于进入生成日记内容模式，并以多模态形式输出内容引导数据；单/多轮输出与接收模块，所述内容引导数据通过一轮或多轮输出，并接收用户针对各引导数据所提供的应答数据；解析与筛选模块，其用于通过调用机器人能力接口，对所述应答数据进行语义理解和多模态解析，并对某轮引导数据的应答数据进行筛选以获得较优日记素材；融合与输出模块，其用于对所述日记素材按照日记逻辑融合生成日记内容，并以单模态和/或多模态形式输出所述日记内容。根据本专利技术的一个实施例，所述单/多轮输出与接收模块，包括：所述多轮对话模式中，所述单/多轮输出与接收模块包括：云端调用模块，其用于调用云端问题库从中获取所述提问引导数据并进行输出，其中各个提问引导数据与一个交互话题相关联或者与所述一个交互话题相关的多个子话题相关联；筛选模块，其用于基于针对某轮应答数据的文本语义进行筛选，在应答数据的语义结果不佳时，更新引导下一轮引导数据的话题选择。根据本专利技术的一个实施例，多模态虚拟机器人的内容生成的系统还包括：获取模块，其用于获取与日记关联的数据，作为所述日记素材，包括：音频记录模快，其用于实时记录用户音频数据；或，图像捕捉模块，其用于捕捉用户在场所中的图像；或，检测模块，其用于检测用户存储至相册中的图片。本专利技术采用的多模态虚拟机器人的内容生成方法，一方面，由于生成的日记内容为融合了文字、语音、图像以及视频信息的多模态信息，所以使得日记的内容更加生动，更加丰富也更加有趣；另一方面，本专利技术具备虚拟机器人内容引导功能以及自动生成日记内容的功能，因此使得没有自主创造日记能力的用户具备了创造生动日记的能力。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。附图说明附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例共同用于解释本专利技术，并不构成对本专利技术的限制。在附图中：图1显示了根据本专利技术的一个实施例的多模态虚拟机器人的内容生成交互示意图；图2显示了根据本专利技术的一个实施例的多模态虚拟机器人的内容生成的模块框图；图3显示了根据本专利技术的一个实施例的多模态虚拟机器人输出内容引导数据的示意图；图4显示了根据本专利技术的一个实施例的多模态虚拟机器人的内容生成的结构框图；图5显示了根据本专利技术的一个实施例的多模态虚拟机器人的内容生成的模块工作框图；图6显示了根据本专利技术的一个实施例的多模态虚拟机器人的内容生成的应答文本处理流程图；图7显示了根据本专利技术的一个实施例的多模态虚拟机器人的内容生成的融合生成日记内容的流程图；图8显示了根据本专利技术的一个实施例的多模态虚拟机器人的内容生成的总体流程图；图9显示了根据本专利技术的一个实施例的多模态虚拟机器人的内容生成的另一流程图；以及图10进一步详细地显示了根据本专利技术的一个实施例在用户、安装了虚拟机器人的目标硬件设备以及云端服务器三方之间进行通信的流程图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，以下结合附图对本专利技术实施例作进一步地详细说明。为表述清晰，需要在实施例前进行如下说明：所述虚拟机器人为多模态交互机器人，使得多模态交互机器人成为交互过程中的一员，用户与该多模态交互机器人进行问答、聊天、游戏。所述虚拟形象为所述多模态交互机器人的载体，对所述多模态交互机器人的多模态输出进行表现。虚拟机器人(以虚拟形象为载体)为：所述多模态交互机器人与虚拟形象为载体的共同体，即：以确定的UI形象设计为载体；基于多模态人机交互，具有语义、情感、认知等AI能力；使用户享受流畅体验的个性化及智能化的服务机器人。在本实施例中，所述虚拟机器人包括：3D高模动画的虚拟机器人形象。所述云端服务器为，提供所述多模态交互机器人对用户的交互需求进行语义理解(语言语义理解、动作语义理解、情感计算、认知计算)的处理能力的终端，实现与用户的交互，以便完成日记内容的记录。图1显示了根据本专利技术的一个实施例的多模态虚拟机器人的内容生成交互示意图。如图1所示，包含用户101、目标硬件设备102、虚拟机器人103以及云端服务器104。其中，与虚拟机器人103交互的用户101可以为单个的人、另一个虚拟机器人以及实体的机器人，另一虚拟机器人以及实体机器人与虚拟机器人的交互过程与单个的人与虚拟机器人的交互过程类似，因此，在图1中仅展示的是用户(人)与虚拟机器人的多模态交互过程。另外，目标硬件设备102包括显示区域1021以及硬件设备1022。显示区域1021用于显示虚拟机器人103的形象，硬件设备1022与云端服务器104配合使用，用于多模态内容生成过程的数据处理。虚拟机器人103需要屏显载体来呈现。因此，显示区域1021包括：PC屏、投影仪、电视机、多媒体显示屏、全息投影、VR以及AR。本专利技术提出的多模态交互过程需要一定的硬件性能作为支撑，一般来说，选用有主机的本文档来自技高网...

【技术保护点】
一种多模态虚拟机器人的内容生成的方法，其特征在于，所述方法包括以下步骤：进入生成日记内容模式，并以多模态形式输出内容引导数据；所述内容引导数据通过一轮或多轮输出，并接收用户针对各引导数据所提供的应答数据；通过调用机器人能力接口，对所述应答数据进行语义理解和多模态解析，并对某轮引导数据的应答数据进行筛选以获得较优日记素材；对所述日记素材按照日记逻辑融合生成日记内容，并以单模态和/或多模态形式输出所述日记内容。

【技术特征摘要】
1.一种多模态虚拟机器人的内容生成的方法，其特征在于，所述方法包括以下步骤：进入生成日记内容模式，并以多模态形式输出内容引导数据；所述内容引导数据通过一轮或多轮输出，并接收用户针对各引导数据所提供的应答数据；通过调用机器人能力接口，对所述应答数据进行语义理解和多模态解析，并对某轮引导数据的应答数据进行筛选以获得较优日记素材；对所述日记素材按照日记逻辑融合生成日记内容，并以单模态和/或多模态形式输出所述日记内容。2.如权利要求1所述的多模态虚拟机器人的内容生成的方法，其特征在于，所述应答数据包括以下一种或几种的组合：应答音频；或，应答文本；或，图片文件；以及或，视频文件。3.如权利要求2所述的多模态虚拟机器人的内容生成的方法，其特征在于，所述内容引导数据通过一轮或多轮输出，包括：所述多轮对话模式中，所述方法还包括以下步骤：调用云端问题库从中获取所述提问引导数据并进行输出，其中各个提问引导数据与一个交互话题相关联或者与所述一个交互话题相关的多个子话题相关联；基于针对某轮应答数据的文本语义进行筛选，在应答数据的语义结果不佳时，更新引导下一轮引导数据的话题选择。4.如权利要求1-3任一项所述的多模态虚拟机器人的内容生成的方法，其特征在于，还包括：获取与日记关联的数据，作为所述日记素材，包括：实时记录用户音频数据；或，捕捉用户在场所中的图像；或，检测用户存储至相册中的图片。5.如权利要求I所述的多模态虚拟机器人的内容生成的方法，其特征在于，所述调用请求包含：当前用户发送的本地调用请求；和/或通过网络发送的远程调用请求。6.如权利要求1所述的多模...

【专利技术属性】
技术研发人员：黄钊，
申请(专利权)人：北京光年无限科技有限公司，
类型：发明
国别省市：北京,11