【技术实现步骤摘要】
一种融入常识知识的生成式对话摘要方法
本专利技术涉及自然语言处理领域，具体涉及一种融入常识知识的生成式对话摘要方法。
技术介绍
基于自然语言处理—自动文本摘要(AutomaticSummarization)[1](题目：Constructingliteratureabstractsbycomputer:techniquesandprospects，作者：ChrisDPaice，年份：1990年，文献引自InformationProcessing&Management)领域下的生成式对话摘要(AbstractiveDialogueSummarization)，即给定一段多人对话的文字记录，生成一段简短的、包含对话关键信息的文本描述，如图1，展示了一个多人对话及其对应的标准摘要。对于对话摘要，现有工作大多集中于生成式(Abstractive)方法，即允许最终摘要包含原文没有的新颖的词汇和短语。例如Liu等人[2][题目：Automaticdialoguesummarygenerationforcustomerservice，作者：ChunyiLiu，年份：2019年，文献引自Proceedingsofthe25thACMSIGKDDInternationalConferenceonKnowledgeDiscovery&DataMining]针对客服对话摘要任务，采用多步生成方式生成对话摘要，Liu等人[3][题目：Topic-awarepointer-generatornetworksforsum...
【技术保护点】
1.一种融入常识知识的生成式对话摘要方法，其特征在于，包括：/n步骤一、获取常识知识库ConceptNet与对话摘要数据集SAMSum；包含的常识知识以元组的形式存在，即元组知识，表示为：/nR＝(h，r，t，w)，/n其中，R表示一个元组知识；h表示头实体；r表示关系；t表示尾实体；w表示权重，表示关系的置信度；知识R表示了头实体h和尾实体t拥有关系r，并且权重为w；/n所述对话摘要数据集SAMSum分为训练、开发和测试三部分；/n步骤二、利用获取的常识知识库ConceptNet为对话摘要数据集SAMSum引入元组知识，构建异构对话图；具体过程为：/n步骤三、构建对话异构神经网络模型；所述对话异构神经网络模型包括节点编码器、图编码器和解码器；/n步骤三一、构造节点编码器，利用双向长短时神经网络获取节点初始化表示
【技术特征摘要】
1.一种融入常识知识的生成式对话摘要方法，其特征在于，包括：
步骤一、获取常识知识库ConceptNet与对话摘要数据集SAMSum；包含的常识知识以元组的形式存在，即元组知识，表示为：
R＝(h，r，t，w)，
其中，R表示一个元组知识；h表示头实体；r表示关系；t表示尾实体；w表示权重，表示关系的置信度；知识R表示了头实体h和尾实体t拥有关系r，并且权重为w；
所述对话摘要数据集SAMSum分为训练、开发和测试三部分；
步骤二、利用获取的常识知识库ConceptNet为对话摘要数据集SAMSum引入元组知识，构建异构对话图；具体过程为：
步骤三、构建对话异构神经网络模型；所述对话异构神经网络模型包括节点编码器、图编码器和解码器；
步骤三一、构造节点编码器，利用双向长短时神经网络获取节点初始化表示和词语初始化表示
步骤三二、构造图编码器，利用异构图神经网络更新节点表示，并添加节点位置编码信息和更新词语表示
步骤三三、构造解码器；
步骤四、训练步骤三中构造的对话异构神经网络模型，通过训练的对话异构神经网络模型从一段对话中生成最终对话摘要。
2.根据权利要求1所述一种融入常识知识的生成式对话摘要方法，其特征在于，所述步骤二利用获取的常识知识库ConceptNet为对话摘要数据集SAMSum引入元组知识，构建异构对话图；具体过程为：
步骤二一、对于一段对话，根据对话中的词语从ConceptNet中获取的相关元组知识，排除噪音知识，得到与给定对话相关的元组知识集合；
步骤二二、对于步骤二一获取到的相关元组知识中，假设存在句子A和句子B，词语a属于A，词语b属于B，简化元组知识，如果a和b的尾实体h一致，那么将句子A和B连接到尾实体h；得到句子一知识图；
步骤二三、根据“说话人说的一句话”建立说话人与句子之间的边关系，得到说话人-句子图；
步骤二四、将句子-知识图和说话人-句子图融合为异构对话图；所述异构对话图在说话人和句子之间存在两种边，即从说话人到句子的“speak-by”边，从句子到说话人的“rev-speak-by”边；在句子和元组知识之间存在两种边，即从知识到句子的“know-by”边，从句子到元组知识的“rev-know-by”边；异构对话图存在三类节点，即说话人、句子和常识知识。
3.根据权利要求2所述一种融入常识知识的生成式对话摘要方法，其特征在于，所述步骤三一构造节点编码器；利用双向长短时神经网络获取节点初始化表示和词语初始化表示具体过程为：
对于构造的异构对话图，其中每一个节点vi包含|vi|个单词，单词序列为其中，wi，n表示节点vi的第n个单词，n∈[1，|vi|]；使用双向长短时神经网络对单词序列生成前向隐层序列和后向隐层序列其中，前向隐层状态后向隐层状态xn为wi，n的词向量表示；将前向隐层状态的最后一个隐层表示与后向隐层状态的第一个隐层表示拼接得到节点的初始化表示其中，；表示向量拼接；同时得到节点中每一个词语的初始化表示
4.根据权利要求1或2所述一种融入常识知识的生成式对话摘要方法，其特征在于，所述步骤三二构造图编码器，利用异构图神经网络更新节点表示，并添加节点位置编码信息和更新词语表示具体过程为：
给定一个目标节点t，得到其邻居节点s∈N(t)，其中N(t)表示t的邻居节点集合，s表示其中一个邻居节点；给定一个边e＝(s，t)，表示从邻居节点s指向目标节点t的一条边，定义：
(1)节点类型映射函数为：
其中，τ表示节点类型映射函数；v表示给定节点；V表示节点集合；表示节点类型集合；在步骤二构造的异构对话图中，一共包含说话人、句子、常识知识三种节点类型；
(2)边关系类型映射函数为：
其中，表示边类型映射函数；e表示给定边；E表示边集合；表示边类型集合；
在异构对话图中，一共包含四种类型的边：speak-by，rev-speak-by，know-by，rev-know-by；对于给定边e＝(s，t)，s和t分别拥有来自上一层的表示和将和映射为和其中，表示与层数有关的映射函数，表示与类型有关的映射函数；l表示图网络的第l层，表示邻居节点s在l层的键值表示，表示节点t在l层的查询表示；
计算和之间的权重：
其中，表示与层数和边类型有关的可学习参数；T表示转置；α(s，e，t)表示和之间的权重；
在得到每一个邻居节点s与目标节点t之间的权重后，对所有权重进行归一化：
其中，Softmax为归一化函数，ATT(l)(s，e，t)为最终归一化之后的分数；
将每一个邻居节点s表示映射为：
其中，为与类型和层数有关的映射函数；
在得到之后，计算得到最终消息向量：
其中，为与类型和层数有关的可学习参...
【专利技术属性】
技术研发人员：冯骁骋，冯夏冲，秦兵，刘挺，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙江;23
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。