协作AI讲故事制造技术

本申请公开了协作AI讲故事。本公开的实施方式描述了AI系统，其提供可以与用户协作地交互的即兴讲故事AI代理。在一个实施方式中，实施讲故事设备可以使用i)自然语言理解(NLU)组件来处理人类语言输入(例如，数字化语音或文本输入)、ii)自然语言处理(NLP)组件以将人类语言输入解析为故事片段或序列、iii)用于存储/记录通过协作创建的故事的组件、iv)用于生成AI建议的故事元素的组件以及v)自然语言生成(NLG)组件以将AI生成的故事片段转换为可以呈现给用户的自然语言。

Collaborative AI storytelling

【技术实现步骤摘要】
协作AI讲故事
本公开的实施方式涉及人工智能(AI)系统，其提供可以与用户协作地交互的即兴讲故事AI代理。
技术实现思路
在一个示例中，一种方法包括：从用户接收对应于故事片段的人类语言输入；理解和解析接收的人类语言输入以识别对应于与存储的故事记录相关联的故事的第一故事片段；至少使用对应于故事的所识别的第一故事片段来更新存储的故事记录；至少使用所识别的第一故事片段或更新的故事记录，生成第二故事片段；将第二故事片段转换为要呈现给用户的自然语言；以及向用户呈现自然语言。在实施方式中，接收人类语言输入包括：在麦克风处接收有声输入并将接收的有声输入数字化；并且其中向用户呈现自然语言包括：将自然语言从文本转换为语音；并且至少使用扬声器播放语音。在实施方式中，理解和解析接收的人类语言输入包括将接收的人类语言输入解析为一个或更多个令牌片段，该一个或更多个令牌片段对应于故事记录的角色、设置或情节。在实施方式中，生成第二故事片段包括：针对包括多个带注释的故事片段的数据库内的故事片段执行搜索；对在数据库中搜索的多个带注释的故事片段中的每个进行评分；并且选择最高得分的故事片段作为第二故事片段。在实施方式中，生成第二故事片段包括：在给定更新的故事记录作为输入的情况下，实施序列到序列样式语言对话生成模型，其已经针对期望类型的叙述进行了预训练以构建第二故事片段。在实施方式中，生成第二故事片段包括：使用分类树来分类第二故事片段是否对应于情节叙述、角色扩展或设置扩展；并基于分类，使用情节生成器、角色生成器或设置生成器来生成第二故事片段。在实施方式中，生成的第二故事片段是建议的故事片段，该方法还包括：临时存储建议的故事片段；确定用户是否确认了建议的故事片段；以及如果用户确认了建议的故事片段，则用建议的故事片段更新存储的故事记录。在实施方式中，该方法还包括：如果用户未确认建议的故事片段，则从故事记录中移除建议的故事片段。在实施方式中，该方法还包括：检测环境条件，检测的环境条件包括：温度、一天中的时间、一年中的时间、日期、天气条件或位置，其中生成的第二故事片段包含检测的环境条件。在实施方式中，该方法还包括：显示对应于自然语言的增强现实或虚拟现实对象。在特定实施方式中，增强现实或虚拟现实对象的显示至少部分地基于检测的环境条件。在实施方式中，前述方法可以由执行存储在非暂时性计算机可读介质上的机器可读指令的处理器来实施。例如，前述方法可以在包括扬声器、麦克风、处理器和非暂时性计算机可读介质的系统中实施。这种系统可以包括智能扬声器、移动设备、头戴式显示器、游戏控制台或电视。如本文中所使用的，术语“增强现实”或“AR”通常指代由计算机生成的或数字信息(诸如视频、声音和图形)增强或补充的物理真实世界环境的视图。数字信息直接登记在用户的物理真实世界环境中，使得用户可以实时地与数字信息交互。数字信息可以采取图像、音频、触觉反馈、视频、文本等的形式。例如，数字对象的三维表示可以实时地覆盖在用户对真实世界环境的视图上。如本文中所使用的，术语“虚拟现实”或“VR”通常指代对用户在真实或虚构的环境中的存在进行的模拟，使得用户可以与其交互。所公开的方法的其他特征和方面将从结合附图的以下详细描述中变得明显，附图通过示例的方式说明了根据本公开的实施例的特征。
技术实现思路
并非旨在限制所要求保护的公开的范围，所公开的范围仅由所附权利要求限定。附图说明根据一个或更多个不同实施例参考以下附图详细描述本公开。提供附图仅用于说明的目的，并且仅描绘本公开的典型或示例实施例。图1A说明了包括与讲故事设备交互的用户的示例环境，其中可以根据本公开实施协作AI讲故事。图1B是说明图1A的讲故事设备的组件的示例架构的框图。图2说明了根据实施方式的故事生成软件的示例组件。图3说明了根据实施方式的可以由故事生成器组件实施的示例集束搜索和排名(rank)算法。图4说明了根据实施方式的可以由角色上下文转换器实施的角色上下文转换的示例实施方式。图5说明了根据实施方式的示例故事生成器序列到序列模型。图6是说明根据本公开的实施协作AI讲故事的示例方法的操作流程图。图7是说明根据本公开的利用确认循环实施协作AI讲故事的示例方法的操作流程图。图8说明了由多部分系统组成的故事生成器组件，其包括：i)分类器或决策组件，以判断“下一个建议的片段”是否应该是情节叙述、角色扩展或设置扩展；以及ii)用于这些片段类型中的每一个的生成系统。图9说明了可用于实施本文公开的方法的各种特征的示例计算组件。附图并不是详尽的，并且其不将本公开限制于所公开的精确形式。具体实施方式随着诸如VR和AR的新介质变得可供讲故事者使用，在讲故事中结合自动交互性的机会超出了现场人类表演者的媒介。目前，协作和表演的讲故事采取多个人类演员或代理即兴创作(诸如喜剧即兴创作小品组，甚至是与孩子一起玩扮演游戏)的形式。基于电子的讲故事的当前实施方式在呈现给用户的故事中几乎不允许即兴创作。尽管一些现有系统可以允许用户根据用户做出的选择来遍历多个分支情节中的一个(例如，在具有多个结尾的视频游戏的情况下)，可以遍历的各种情节线以及可供用户使用的选择都是预先确定的。因此，需要一种可以提供更好的讲故事即兴创作的系统，其包括在讲故事的场所中扮演人类代理中的一个或更多个的部分，以实时地在忙碌中创建故事。为此，本公开涉及人工智能(AI)系统，其提供可以与用户协作地交互的即兴讲故事AI代理。举例来说，即兴讲故事AI代理可以被实施为AR角色，其与孩子玩扮演游戏并且用它们创建故事，而不需要找到其他人类玩伴来参与。作为另一个示例，即兴讲故事代理可以被实施为单人即兴创作表演，其中系统提供附加输入以把即兴创作场景表演出来。通过实施提供即兴讲故事AI代理的AI系统，可以实现提供机器优于人类的优点的创造性讲故事的新模式。例如，对于没有兄弟姐妹的孩子，机器可以对孩子提供可能以其它方式不可获得的协作讲故事的出口。对于编剧来说，该机器可以提供一种写入助手，该写入助手不需要安排其自己的人类睡眠/工作时间表。根据下面进一步描述的实施方式，实施即兴讲故事设备可以使用i)自然语言理解(NLU)组件以处理人类语言输入(例如，数字化语音或文本输入)、ii)自然语言处理(NLP)组件以将人类语言输入解析为故事片段或序列、iii)用于存储/记录由协作创建的故事的组件、iv)用于生成AI建议的故事元素的组件以及v)自然语言生成(NLG)组件以将AI生成的故事片段转换为可以呈现给用户的自然语言。在涉及用户和讲故事设备之间的有声交互的实施方式中，该设备可以附加地实施语音合成组件，用于将NLG组件生成的文本自然语言转换为听觉语音。图1A说明了包括与讲故事设备200交互的用户150的示例环境100，其中可以根据本公开实施协作AI讲故事。图1B是说明讲故事设备200的组件的示例架构的框图。在示例环境100中，用户1本文档来自技高网...

【技术保护点】
1.一种非暂时性计算机可读介质，其具有存储在其上的可执行指令，当由处理器执行时，执行以下操作：/n从用户接收对应于故事的片段的人类语言输入；/n理解和解析接收的人类语言输入以识别对应于与存储的故事记录相关联的故事的第一故事片段；/n至少使用对应于所述故事的所识别的第一故事片段来更新所述存储的故事记录；/n至少使用所述所识别的第一故事片段或更新的故事记录，生成第二故事片段；/n将所述第二故事片段转换为要呈现给所述用户的自然语言；以及/n向所述用户呈现所述自然语言。/n

【技术特征摘要】
20180712 US 16/034,3101.一种非暂时性计算机可读介质，其具有存储在其上的可执行指令，当由处理器执行时，执行以下操作：
从用户接收对应于故事的片段的人类语言输入；
理解和解析接收的人类语言输入以识别对应于与存储的故事记录相关联的故事的第一故事片段；
至少使用对应于所述故事的所识别的第一故事片段来更新所述存储的故事记录；
至少使用所述所识别的第一故事片段或更新的故事记录，生成第二故事片段；
将所述第二故事片段转换为要呈现给所述用户的自然语言；以及
向所述用户呈现所述自然语言。


2.根据权利要求1所述的非暂时性计算机可读介质，其中接收所述人类语言输入包括：在麦克风处接收有声输入并将接收的有声输入数字化；并且其中向所述用户呈现所述自然语言包括：
将所述自然语言从文本转换为语音；以及
至少使用扬声器播放所述语音。


3.根据权利要求2所述的非暂时性计算机可读介质，其中理解和解析所述接收的人类语言输入包括将所述接收的人类语言输入解析为一个或更多个令牌片段，所述一个或更多个令牌片段对应于故事记录的角色、设置或情节。


4.根据权利要求2所述的非暂时性计算机可读介质，其中生成所述第二故事片段包括：
针对包括多个带注释的故事片段的数据库内的故事片段执行搜索；
对在所述数据库中搜索的所述多个带注释的故事片段中的每个进行评分；以及
选择最高得分的故事片段作为所述第二故事片段。


5.根据权利要求2所述的非暂时性计算机可读介质，其中生成所述第二故事片段包括：在给定所述更新的故事记录作为输入的情况下，实施序列到序列样式语言对话生成模型，所述序列到序列样式语言对话生成模型已经针对期望类型的叙述进行了预训练以构建所述第二故事片段。


6.根据权利要求2所述的非暂时性计算机可读介质，其中生成所述第二故事片段包括：
使用分类树来分类所述第二故事片段是否对应于情节叙述、角色扩展或设置扩展；以及
基于所述分类，使用情节生成器、角色生成器或设置生成器来生成所述第二故事片段。


7.根据权利要求2所述的非暂时性计算机可读介质，其中，生成的第二故事片段是建议的故事片段，其中所述指令在由所述处理器执行时还执行以下操作：
暂时地存储所述建议的故事片段；
确定所述用户是否确认了所述建议的故事片段；以及
如果所述用户确认了所述建议的故事片段，则利用所述建议的故事片段更新所述存储的故事记录。


8.根据权利要求7所述的非暂时性计算机可读介质，其中所述指令在由所述处理器执行时还执行以下操作：如果所述用户未确认所述建议的故事片段，则从所述故事记录中移除所述建议的故事片段。


9.根据权利要求1所述的非暂时性计算机可读介质，其中接收所述人类语言输入包括：在设备处接收文本输入；并且其中向所述用户呈现所述自然语言包括：向所述用户呈现文本。


10.根据权利要求2所述的非暂时性计算机可读介质，其中，所述生成的第二故事片段含有检测的环境条件，所述检测的环境条件包括：温度、一天中的时间、一年中的时间、日期、天气条件或位置。


11.根据权利要求10所述的非暂时性计算机可读介质，其中向所述用户呈现所述自然语言包括：显示对应于所述自然语言的增强现实或虚拟现实对象，其中所述增强现实或虚拟现实对象的显示是至少部分地基于所述检测的环境条件。

<...

【专利技术属性】
技术研发人员：E·V·多格特，E·德雷克，B·哈维，
申请(专利权)人：迪斯尼企业公司，
类型：发明
国别省市：美国;US