生成跨类型对话数据的方法和装置制造方法及图纸

本公开提供了生成跨类型对话数据的方法和装置，涉及人工智能领域，尤其涉及深度学习，自然语言处理领域，可应用智慧城市场景。具体实现方案为：获取包括不同类型对话片段的候选对话池；从候选对话池中随机选择一段对话作为起始对话，并从候选对话池中选择与起始对话的内容相似但类型不同的预定数目段候选对话；将起始对话中的最后一轮对话分别与预定数目段候选对话中每一轮对话计算语义匹配度；将语义匹配度最高的一轮对话确定为嫁接点，并将嫁接点以及嫁接点之后的对话确定为目标对话；将起始对话与目标对话拼接起来，得到跨类型对话。该实施方式能够在缺乏标注的情况下生成多种类型的跨类型对话数据。类型的跨类型对话数据。类型的跨类型对话数据。

【技术实现步骤摘要】
生成跨类型对话数据的方法和装置


[0001]本公开涉及人工智能领域，尤其涉及深度学习，自然语言处理领域，可应用智慧城市场景。

技术介绍

[0002]目前开源的中文数据集大多是任务型对话，闲聊型对话，知识型对话等单一类型对话数据集，这严重限制了当前端到端对话系统的性能，现有的生成跨类型对话数据的方式对数据集的标注要求较高，且生成的类型较为单一，例如仅能够生成闲聊转任务式等。
[0003]现有技术中生成闲聊转任务式的跨类型对话数据的方式需要通过两个开放域对话机器人生成闲聊对话，同时训练一个对话转换意图检测模型，对每轮生成的对话进行意图检测，一旦检测到匹配的意图，后续则拼接这个意图对应的任务型对话片段(或通过任务型对话机器人生成任务型对话)。这种方式只有在检测到意图时才能进行转换，依赖意图标注且能够被检测到的意图有限。此外该方式的应用场景有限，只包含电影，音乐，旅行三个场景。

技术实现思路

[0004]本公开提供了一种生成跨类型对话数据的方法、装置、设备、存储介质以及计算机程序产品。
[0005]根据本公开的第一方面，提供了一种生成跨类型对话数据的方法，包括：获取包括不同类型对话片段的候选对话池；从所述候选对话池中随机选择一段对话作为起始对话，并从所述候选对话池中选择与所述起始对话的内容相似但类型不同的预定数目段候选对话；将所述起始对话中的最后一轮对话分别与所述预定数目段候选对话中每一轮对话计算语义匹配度；将语义匹配度最高的一轮对话确定为嫁接点，并将所述嫁接点以及所述嫁接点之后的对话确定为目标对话；将所述起始对话与所述目标对话拼接起来，得到跨类型对话。
[0006]根据本公开的第二方面，提供了一种生成跨类型对话数据的装置，包括：获取单元，被配置成获取包括不同类型对话片段的候选对话池；选择单元，被配置成从所述候选对话池中随机选择一段对话作为起始对话，并从所述候选对话池中选择与所述起始对话的内容相似但类型不同的预定数目段候选对话；匹配单元，被配置成将所述起始对话中的最后一轮对话分别与所述预定数目段候选对话中每一轮对话计算语义匹配度；确定单元，被配置成将语义匹配度最高的一轮对话确定为嫁接点，并将所述嫁接点以及所述嫁接点之后的对话确定为目标对话；拼接单元，被配置成将所述起始对话与所述目标对话拼接起来，得到跨类型对话。
[0007]根据本公开的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第
一方面中任一项所述的方法。
[0008]根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面中任一项所述的方法。
[0009]根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现第一方面中任一项所述的方法。
[0010]本公开的实施例提供生成跨类型对话数据的方法和装置，多类型的对话数据使用统一框架，可以自由在任务式，闲聊，知识型之间灵活嫁接，可以自动在多场景下生成多种高质量跨类型对话数据的通用方案，此种方案可以在缺乏标注的情况下生成多种类型的跨类型对话数据方案。转换的节点灵活，不需要依赖数据标注；与salesbot不同，salesbot依赖对话中的意图标注，但对于本文中的方案，可以在完全没有对话标注的情况下进行对话生成。本文的方案可应用于通用场景，加入新场景时也无需进行人工干预；例如sales bot需要针对每个场景训练意图检测模型，但在本文的方案中可以不断向候选对话中加入新场景的数据集而无需过多的人工干预。
[0011]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0012]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0013]图1是本公开的一个实施例可以应用于其中的示例性系统架构图；
[0014]图2是根据本公开的生成跨类型对话数据的方法的一个实施例的流程图；
[0015]图3是根据本公开的生成跨类型对话数据的方法的一个应用场景的示意图；
[0016]图4是根据本公开的生成跨类型对话数据的方法的又一个实施例的流程图；
[0017]图5是根据本公开的生成跨类型对话数据的装置的一个实施例的结构示意图；
[0018]图6是适于用来实现本公开的实施例的电子设备的计算机系统的结构示意图。
具体实施方式
[0019]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0020]图1示出了可以应用本公开的生成跨类型对话数据的方法或生成跨类型对话数据的装置的实施例的示例性系统架构100。
[0021]如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0022]用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如人机交互类应用、网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
[0023]终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
[0024]服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的对话提供支持的后台对话服务器。后台对话服务器可以对接收到的问题等数据进行分析等处理，并将处理结果(例如回复数据)反馈给终端设备。
[0025]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种生成跨类型对话数据的方法，包括：获取包括不同类型对话片段的候选对话池；从所述候选对话池中随机选择一段对话作为起始对话，并从所述候选对话池中选择与所述起始对话的内容相似但类型不同的预定数目段候选对话；将所述起始对话中的最后一轮对话分别与所述预定数目段候选对话中每一轮对话计算语义匹配度；将语义匹配度最高的一轮对话确定为嫁接点，并将所述嫁接点以及所述嫁接点之后的对话确定为目标对话；将所述起始对话与所述目标对话拼接起来，得到跨类型对话。2.根据权利要求1所述的方法，其中，所述方法还包括：将所述跨类型对话中嫁接点处的连续三轮对话输入预先训练的流畅度判别模型，输出流畅得分；若流畅得分大于预定阈值，则将所述跨类型对话保存为样本数据。3.根据权利要求2所述的方法，其中，所述方法还包括：若流畅得分小于等于预定阈值，则识别所述目标对话中的关键实体；根据所述关键实体生成引导对话；在所述跨类型对话中将所述引导对话插入在所述嫁接点之前。4.根据权利要求1所述的方法，其中，所述方法还包括：若所述跨类型对话的对话轮数小于预定轮数，则将所述跨类型对话作为起始对话，重新从所述候选对话池中查找嫁接点和目标对话进行拼接，直到拼接后的跨类型对话的轮数大于等于预定轮数。5.根据权利要求1所述的方法，其中，所述获取包括不同类型对话片段的候选对话池，包括：通过开源对话数据集获取任务型对话、知识型对话、闲聊型对话；通过开放域对话机器人互聊生成闲聊型对话。6.根据权利要求1所述的方法，其中，所述从所述候选对话池中选择与所述起始对话的内容相似但类型不同的预定数目段候选对话，包括：确定所述起始对话的关键字；根据所述关键字在所述候选对话池中不同类型的对话的权重值计算所述起始对话与所述候选对话池中不同类型的对话之间的相关度得分，其中，所述权重值根据词频逆文档频率算法计算；选取相关度得分最高的预定数目段候选对话。7.一种生成跨类型对话数据的装置，包括：获取单元，被配置成获取包括不同类型对话片段的候选对话池；选择单元，被配置成从所述候选对话池中随机选择一段对话作为起始对话，并从所述候选对话池中选择与所述起始对话的内容相似但类型不同的预定数目段候选对话；匹配单元，被配置成将所述起始对话中的最后一轮对话分别与所述预定数目段候选对话中每一轮对话计...

【专利技术属性】
技术研发人员：董苏慧，张红阳，焦振宇，孙叔琦，常月，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：