对话摘要生成方法和装置、模型训练方法和设备制造方法及图纸

本公开涉及一种对话摘要生成方法和装置、模型训练方法和设备。该对话摘要生成方法包括：采用对比学习的方式对语义连贯性进行建模，确定对话主题信息，生成对话摘要生成模型；将目标对话内容输入对话摘要生成模型，得到目标对话内容的摘要信息。本公开能够隐式地学习对话内容的主题信息，并针对不同主题进行摘要的生成，而无需额外的标注。而无需额外的标注。而无需额外的标注。

【技术实现步骤摘要】
对话摘要生成方法和装置、模型训练方法和设备


[0001]本公开涉及对话摘要生成领域，特别涉及一种对话摘要生成方法和装置、模型训练方法和设备。

技术介绍

[0002]在线沟通已经成为我们日常工作和生活中不可或缺的一种交流方式。在信息爆炸的时代，最重要的是呈现对话内容中最显著的事实，而不是冗长的话语，这对于在线客服和会议总结很有用。给定一段对话内容，生成式对话摘要旨在将对话的内容进行总结重述，只呈现出对话中的重要内容。

技术实现思路

[0003]专利技术人通过研究发现：相关技术尝试利用对话的内在信息来解决对话摘要的挑战，例如对话的主题特征(即话题)、对话行为和对话阶段。尽管此类模型已经证明了对话相关的信息在生成对话摘要方面的有效性，但需要仍然存在以下问题：该方法往往需要额外的人工标注或先验算法来获得对话的话题特征，对话行为等信息，这往往会耗费很大的人力和机器资源。
[0004]鉴于以上技术问题中的至少一项，本公开提供了一种对话摘要生成方法和装置、模型训练方法和设备，能够隐式地学习对话内容的主题信息，并针对不同主题进行摘要的生成。
[0005]根据本公开的一个方面，提供一种对话摘要生成方法，包括：
[0006]采用对比学习的方式对语义连贯性进行建模，确定对话主题信息，生成对话摘要生成模型；
[0007]将目标对话内容输入对话摘要生成模型，得到目标对话内容的摘要信息。
[0008]在本公开的一些实施例中，所述采用对比学习的方式对语义连贯性进行建模，确定对话主题信息，生成对话摘要生成模型包括：
[0009]构建连贯性检测模型，通过学习语义连贯性建模对话内容中不同主题之间的切换关系，得到对话内容的主题分割信息；
[0010]构建子摘要生成模型，为对话内容的每个主题生成对应的子摘要；
[0011]构建全文摘要生成模型，为对话内容生成全文对话摘要。
[0012]在本公开的一些实施例中，所述采用对比学习的方式对语义连贯性进行建模，确定对话主题信息，生成对话摘要生成模型还包括：
[0013]采用交替参数更新的方式将对话语句连贯性检测模型、子摘要生成模型和全文摘要生成模型进行模型训练。
[0014]在本公开的一些实施例中，所述采用交替参数更新的方式将对话语句连贯性检测模型、子摘要生成模型和全文摘要生成模型进行模型训练包括：
[0015]在训练过程中，采用对话语句连贯性检测模型的目标函数、子摘要生成模型的目
标函数和全文摘要生成模型的目标函数依次更新参数，训练对话语句连贯性检测模型、子摘要生成模型和全文摘要生成模型；
[0016]在训练过程中，对话语句连贯性检测模型和子摘要生成模型作为辅助任务，用于提升全文摘要生成模型生成摘要的质量。
[0017]在本公开的一些实施例中，所述采用对比学习的方式对语义连贯性进行建模，确定对话主题信息，生成对话摘要生成模型还包括：
[0018]对对话内容进行预处理；
[0019]根据对话内容理解模型、子摘要生成模型和全文摘要生成模型的需求，构建相应的模型训练数据；
[0020]构建对话内容理解模型，对对话内容进行语义编码，并对对话内容理解模型进行训练。
[0021]在本公开的一些实施例中，所述对对话内容进行预处理包括：
[0022]将对话内容中不同说话者的说话内容添加说话人信息后，拼接在一起；
[0023]采用预训练模型的分词器将拼接后的对话内容进行分词，并保留第一预定数量的词作为模型的输入。
[0024]在本公开的一些实施例中，所述根据对话内容理解模型、子摘要生成模型和全文摘要生成模型的需求，构建相应的模型训练数据包括：
[0025]对于对话内容理解模型，根据对话内容中连续的对话语句构建的窗口作为正例模型训练数据，窗口内容的对话语句将顺序打乱后再重新拼接的数据作为负例模型训练数据；
[0026]对于子摘要生成模型，针对对话内容的每个主题，生成对应的正例模型训练数据和负例模型训练数据；
[0027]对于全文摘要生成模型，将全部对话内容作为模型输入，输出为完整的摘要。
[0028]在本公开的一些实施例中，所述构建连贯性检测模型，通过学习语义连贯性建模对话内容中不同主题之间的切换关系，得到对话内容的主题分割信息包括：
[0029]分别计算连贯性检测模型的正例模型训练数据和负例模型训练数据的连贯性得分；
[0030]随机选择选择第二预定数量的预定正负例对，基于对比学习计算相干损失；
[0031]基于边缘对比损失计算连贯性检测模型的目标函数。
[0032]在本公开的一些实施例中，所述构建子摘要生成模型，为对话内容的每个主题生成对应的子摘要包括：
[0033]将子摘要生成任务建模为序列到序列的学习问题；
[0034]确定子摘要生成任务中对话摘要片段和子摘要的不相关程度；
[0035]在训练阶段，随机选择选第三预定数量的预定正负例对进行训练；
[0036]根据基于对比学习的边际损失函数确定子摘要生成模型的目标函数。
[0037]在本公开的一些实施例中，所述构建全文摘要生成模型，为对话内容生成全文对话摘要包括：
[0038]将全文摘要生成任务建模为一个序列到序列的学习问题；
[0039]将全文摘要生成模型的训练目标设定为学习最优模型参数并最小化负对数似然
函数值；
[0040]确定全文摘要生成模型的目标函数。
[0041]根据本公开的另一方面，提供一种模型训练方法，包括：
[0042]采用对比学习的方式对语义连贯性进行建模，确定对话主题信息，生成对话摘要生成模型；
[0043]采用交替参数更新的方式对对话摘要生成模型进行模型训练，使得对话摘要生成模型根据输入的目标对话内容，输出目标对话内容的摘要信息。
[0044]在本公开的一些实施例中，所述采用对比学习的方式对语义连贯性进行建模，确定对话主题信息，生成对话摘要生成模型包括：
[0045]构建连贯性检测模型，通过学习语义连贯性建模对话内容中不同主题之间的切换关系，得到对话内容的主题分割信息；
[0046]构建子摘要生成模型，为对话内容的每个主题生成对应的子摘要；
[0047]构建全文摘要生成模型，为对话内容生成全文对话摘要。
[0048]在本公开的一些实施例中，所述采用交替参数更新的方式对对话摘要生成模型进行模型训练包括：
[0049]在训练过程中，采用对话语句连贯性检测模型的目标函数、子摘要生成模型的目标函数和全文摘要生成模型的目标函数依次更新参数，训练对话摘要生成模型，其中，对话摘要生成模型包括对话语句连贯性检测模型、子摘要生成模型和全文摘要生成模型；
[0050]在训练过程中，对话语句连贯性检测模型和子摘要生成模型作为辅助任务，用于提升全文摘要生成模型生成摘要的质量。
[0051]在本公开的一些实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对话摘要生成方法，其特征在于，包括：采用对比学习的方式对语义连贯性进行建模，确定对话主题信息，生成对话摘要生成模型；将目标对话内容输入对话摘要生成模型，得到目标对话内容的摘要信息。2.根据权利要求1所述的对话摘要生成方法，其特征在于，所述采用对比学习的方式对语义连贯性进行建模，确定对话主题信息，生成对话摘要生成模型包括：构建连贯性检测模型，通过学习语义连贯性建模对话内容中不同主题之间的切换关系，得到对话内容的主题分割信息；构建子摘要生成模型，为对话内容的每个主题生成对应的子摘要；构建全文摘要生成模型，为对话内容生成全文对话摘要。3.根据权利要求2所述的对话摘要生成方法，其特征在于，所述采用对比学习的方式对语义连贯性进行建模，确定对话主题信息，生成对话摘要生成模型还包括：采用交替参数更新的方式将对话语句连贯性检测模型、子摘要生成模型和全文摘要生成模型进行模型训练。4.根据权利要求3所述的对话摘要生成方法，其特征在于，所述采用交替参数更新的方式将对话语句连贯性检测模型、子摘要生成模型和全文摘要生成模型进行模型训练包括：在训练过程中，采用对话语句连贯性检测模型的目标函数、子摘要生成模型的目标函数和全文摘要生成模型的目标函数依次更新参数，训练对话语句连贯性检测模型、子摘要生成模型和全文摘要生成模型；在训练过程中，对话语句连贯性检测模型和子摘要生成模型作为辅助任务，用于提升全文摘要生成模型生成摘要的质量。5.根据权利要求2
‑
4中任一项所述的对话摘要生成方法，其特征在于，所述采用对比学习的方式对语义连贯性进行建模，确定对话主题信息，生成对话摘要生成模型还包括：对对话内容进行预处理；根据对话内容理解模型、子摘要生成模型和全文摘要生成模型的需求，构建相应的模型训练数据；构建对话内容理解模型，对对话内容进行语义编码，并对对话内容理解模型进行训练。6.根据权利要求5所述的对话摘要生成方法，其特征在于，所述对对话内容进行预处理包括：将对话内容中不同说话者的说话内容添加说话人信息后，拼接在一起；采用预训练模型的分词器将拼接后的对话内容进行分词，并保留第一预定数量的词作为模型的输入。7.根据权利要求5所述的对话摘要生成方法，其特征在于，所述根据对话内容理解模型、子摘要生成模型和全文摘要生成模型的需求，构建相应的模型训练数据包括：对于对话内容理解模型，根据对话内容中连续的对话语句构建的窗口作为正例模型训练数据，窗口内容的对话语句将顺序打乱后再重新拼接的数据作为负例模型训练数据；对于子摘要生成模型，针对对话内容的每个主题，生成对应的正例模型训练数据和负例模型训练数据；对于全文摘要生成模型，将全部对话内容作为模型输入，输出为完整的摘要。
8.根据权利要求6所述的对话摘要生成方法，其特征在于，所述构建连贯性检测模型，通过学习语义连贯性建模对话内容中不同主题之间的切换关系，得到对话内容的主题分割信息包括：分别计算连贯性检测模型的正例模型训练数据和负例模型训练数据的连贯性得分；在训练阶段，随机选择选择第二预定数量的预定正负例对，基于对比学习计算相干损失；基于边缘对比损失计算连贯性检测模型的目标函数。9.根据权利要求6所述的对话摘要生成方法，其特征在于，所述构建子摘要生成模型，为对话内容的每个主题生成对应的子摘要包括：将子摘要生成任务建模为序列到序列的学习问题；确定子摘要生成任务中对话摘要片段和子摘要的不相关程度；在训练阶段，随机选择选第三预定数量的预定正负例对进行训练；根据基于对比学习的边际损失函数确定子摘要生成模型的目标函数。10.根据权利要求6所述的对话摘要生成方法，其特征在于，所述构建全文摘要生成模型，为对话内容生成全文对话摘要包括：将全文摘要生成任务建模为一个序列到序列的学习问题；将全文摘要生成模型的训练目标设定为学习最优模型参数并最小化负对数似然函数值；确定全文摘要生成模型的目标函数。11.一种模型训练方法，其特征在于，包括：采用对比学习的方式对语义连贯性进行建模，确定对话主题信息，生成对话摘要生成模型；采用交替参数更新的方式对对话摘要生成模型进行模型训练，使得对话摘要生成模型根据输入的目标对话内容，输出目标对话内容的摘要信息。12.根据权利要求11所述的模型训练方法，其特征在于，所述采用对比学习的方式对语义连贯性进行建模，确定对话主题信息，生成对话摘要生成模型包括：构建连贯性检测模型，通过学习语义连贯性建模对话内容中不同主题之间的切换关系，得到对话内容的主题分割信息；构建子摘要生成模型，为对话内容的每个主题生成对应的子摘要；构建全文摘要生成模型，为对话内容生成全文对话摘要。13.根据权利要...

【专利技术属性】
技术研发人员：邹炎炎，张海楠，陈宏申，丁卓冶，龙波，
申请(专利权)人：北京京东世纪贸易有限公司，
类型：发明
国别省市：