一种基于参与者意图的对话摘要生成方法技术

本发明专利技术属于自然语言处理技术领域，具体涉及一种基于参与者意图的对话摘要生成方法。为了使生成的摘要更加全面完整，本方法包括以下步骤：构建对话摘要模型的训练数据集；分析并语义表示对话参与者意图，构建基于意图增强的伪释义数据集；构建基于意图注意力的对话摘要模型；训练对话摘要模型，最后将一个新对话文本送入摘要模型生成摘要。该方法不仅能够缩小对话文本和结构化文本之间的格式和语言风格差距，还可以有效凝练对话参与者意图，提升模型对对话中角色和语言信息变换的深层理解，生成高质量对话摘要。成高质量对话摘要。成高质量对话摘要。

【技术实现步骤摘要】
一种基于参与者意图的对话摘要生成方法


[0001]本专利技术属于自然语言处理
，具体涉及一种基于参与者意图的对话摘要生成方法。

技术介绍

[0002]随着互联网通信技术的发展，文本信息过载的问题日益严重，人们更加依赖网络在线会议、问诊、交流等，使得互联网上留下了海量不同类型的对话文本，对话文本与结构化的叙事文本不同，有着多角色交互、对话超长、话题跳转等特点，导致对话参与者或非参与者很难捕捉对话中的关键信息和各角色的意图，因此迫切需要摘要技术来帮助他们来快速了解对话的核心内容。
[0003]目前的大多数工作是从对话特征、融合外部知识、数据增强的方法出发来提升模型生成对话摘要的质量，但是这些方法生成的摘要仍存在着对话参与者核心观点、关键信息丢失的情况，其原因在于模型对对话参与者意图识别不准确，对对话意图凝练不全面。因而，现有的通过PLMS注入对话特征来增强模型对对话理解的方法难以生成全面完整的摘要。

技术实现思路

[0004]针对上述问题本专利技术提供了一种基于参与者意图的对话摘要生成方法。
[0005]为了达到上述目的，本专利技术采用了下列技术方案：
[0006]一种基于参与者意图的对话摘要生成方法，包括以下步骤：
[0007]步骤1，构建对话摘要模型的训练数据集；
[0008]步骤2，分析并语义表示对话参与者意图，构建基于意图增强的伪释义数据集；
[0009]步骤3，构建基于意图注意力的对话摘要模型；
[0010]步骤4，训练对话摘要模型，将新对话文本送入模型生成摘要。
[0011]进一步，所述步骤1中构建对话摘要模型的训练数据集，具体步骤为：
[0012]步骤1.1，从开源的对话摘要数据集网站下载对话数据集；
[0013]步骤1.2，预处理对话数据集，提取对话数据集中的对话数据和摘要数据，去除对话数据集中特殊符号，得到对话C和摘要S的训练数据集{C；S}。
[0014]再进一步，所述步骤2中分析并语义表示对话参与者意图，构建基于意图增强的伪释义数据集，具体步骤为：
[0015]步骤2.1，分析预处理后的对话数据集中的对话参与者话语意图，使用预训练模型Sentence
‑
Bert提取参与者意图特征；
[0016]步骤2.2，基于步骤2.1的结果构造意图增强的分割块集合U；
[0017]步骤2.3，将摘要S分成句子，并将每个句子分别与意图增强的分割块集合U和对话C配对，构成意图增强的伪释义数据集{U,C,S
i
}。
[0018]再进一步，所述步骤2.1中使用预训练模型Sentence
‑
Bert提取参与者意图特征，
具体步骤为：
[0019]步骤2.1.1，用S
‑
Bert对每句话进行语义特征表示作为参与者意图的语义表示，具体实现如下：
[0020]{O1,O2,
…
,O
k
}＝SBert(d1,d2,
…
,d
k
)
ꢀꢀ
(1)
[0021]式中，d
i
表示对话中的一段话语，O
i
表示参与者意图的语义表示，i＝1,2,3...k；
[0022]步骤2.1.2，计算不同意图特征表示之间的相似度，应用于所有句子对以生成相似度矩阵，公式如下：
[0023][0024]式中，表示词x在句子O
i
中的出现频率，sim(O
i
,O
j
)表示一对句子O
i
、O
j
之间的余弦相似度；
[0025]步骤2.1.3，经过排序、确定分割边界和聚合操作将参与者意图相近的话语聚合为意图分割片段，即对话C划分为多个意图分割块b
i
：C
intent
＝{b1,b2,
…
,b
n
}。
[0026]再进一步，所述步骤2.2中基于步骤2.1的结果构造意图增强的分割块，具体步骤为：
[0027]步骤2.2.1，将意图分割块b
i
与摘要S计算Rouge
‑
1值，基于步骤2.1的结果，当n＝1时，将意图分割块b1作为意图增强的分割块；当n>1时，将意图分割块b
i
(1＜i≤n)分别与摘要S进行ROUGE关联度计算，具体通过Rouge
‑
1评价指标中的F1值评估意图分割块b
i
与摘要S的关联度：
[0028][0029][0030][0031]式中，n
‑
gram是n元组，{b
i
}表示意图分割块，{S}表示摘要，Count
match
(n
‑
gram)表示意图分割块和摘要中同时出现n
‑
gram的个数，Count(n
‑
gram)表示摘要中出现的n
‑
gram个数；
[0032]步骤2.2.2、选取F1值不为0的m个意图分割块b
i
构成意图增强的分割块，如果ROUGE值都为0，则将意图分割块b1作为意图增强的分割块，即构成意图增强的分割块集合U＝{u1,
…
,u
m
}。
[0033]进一步，所述步骤3中构建基于意图注意力的对话摘要模型，具体步骤为：
[0034]步骤3.1，利用基于Transformer的预训练模型BART的Encoder部分实现意图增强的分割块u
i
和对话C的编码，意图增强的分割块u
i
＝{x
0,i
,x
1,i
,
…
,x
n,i
}中的token、x
j,i
和对话C＝{x0,x1,
…
,x
n
}中的token、x
j
分别经过编码器进行编码，以编码器的隐层状态分别作
为编码表示：
[0035]{h
0,i
,h
1,i
,
…
,h
n,i
}＝E({x
0,i
,x
1,i
,
…
,x
n,i
})
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0036]{h1,h2，
…
,h
n
}＝E({x1,x2，
…
,x
n
})
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0037]式中，E表示编码器，x
0,i
是在意图分增强的割块的开始添加的特殊to本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于参与者意图的对话摘要生成方法，其特征在于，包括以下步骤：步骤1，构建对话摘要模型的训练数据集；步骤2，分析并语义表示对话参与者意图，构建基于意图增强的伪释义数据集；步骤3，构建基于意图注意力的对话摘要模型；步骤4，训练对话摘要模型，将新对话文本送入模型生成摘要。2.根据权利要求1所述的一种基于参与者意图的对话摘要生成方法，其特征在于，所述步骤1中构建对话摘要模型的训练数据集，具体步骤为：步骤1.1，从开源的对话摘要数据集网站下载对话数据集；步骤1.2，预处理对话数据集，提取对话数据集中的对话数据和摘要数据，去除对话数据集中特殊符号，得到对话C和摘要S的训练数据集{C；S}。3.根据权利要求2所述的一种基于参与者意图的对话摘要生成方法，其特征在于，所述步骤2中分析并语义表示对话参与者意图，构建基于意图增强的伪释义数据集，具体步骤为：步骤2.1，分析预处理后的对话数据集中的对话参与者话语意图，使用预训练模型Sentence
‑
Bert提取参与者意图特征；步骤2.2，基于步骤2.1的结果构造意图增强的分割块集合U；步骤2.3，将摘要S分成句子，并将每个句子分别与意图增强的分割块集合U和对话C配对，构成意图增强的伪释义数据集{U,C,S
i
}。4.根据权利要求3所述的一种基于参与者意图的对话摘要生成方法，其特征在于，所述步骤2.1中使用预训练模型Sentence
‑
Bert提取参与者意图特征，具体步骤为：步骤2.1.1，用S
‑
Bert对每句话进行语义特征表示作为参与者意图的语义表示，具体实现如下：{O1,O2,
…
,O
k
}＝SBert(d1,d2,
…
,d
k
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)式中，d
i
表示对话中的一段话语，O
i
表示参与者意图的语义表示，i＝1,2,3...k；步骤2.1.2，计算不同意图特征表示之间的相似度，应用于所有句子对以生成相似度矩阵，公式如下：式中，表示词x在句子O
i
中的出现频率，sim(O
i
,O
j
)表示一对句子O
i
、O
j
之间的余弦相似度；步骤2.1.3，经过排序、确定分割边界和聚合操作将参与者意图相近的话语聚合为意图分割片段，即对话C划分为多个意图分割块b
i
：C
intent
＝{b1,b2,
…
,b
n
}。5.根据权利要求4所述的一种基于参与者意图的对话摘要生成方法，其特征在于，所述步骤2.2中基于步骤2.1的结果构造意图增强的分割块集合U，具体步骤为：步骤2.2.1，将意图分割块b
i
与摘要S计算Rouge
‑
1值，基于步骤2.1的结果，当n＝1时，将意图分割块b1作为意图增强的分割块；当n>1时，将意图分割块b
i
(1＜i≤n)分别与摘要S进行ROUGE关联度计算，具体通过Rouge
‑
1评价指标中的F1值评估意图分割块b
i
与摘要S的关联度：
式中，n
‑
gram是n元组，{b
i
}表示意图分割块，{S}表示摘要，Count
match
(n
‑
gram)表示意图分割块和摘要中同时出现n
‑
gram的个数，Count(n
‑
gram)表示摘要中出现的n
‑
gram个数；步骤2.2.2、选取F1值不为0的m个意图分割块b
i
构成意图增强的分割块，如果ROUGE值都为0，则将意图分割块b1作为意图增强的分割块，即构成意图增强的分割块集合U＝{u1,
…
,u
m
}。6.根据权利要求1所述的一种基于参与者意图的对话摘要生成方法，其特征在于，所述步骤3中构建基于意图注意力的对话摘要模型，具体步骤为：步骤3.1，利用基于Transformer的预训练模型BART的Encoder部分实现意图增强的分割块u
i
和对话C的编码，意图增强的分割块u
i
＝{x
0,i
,x
1,i
,
…
,x
n,i
}中的token、x
j,i
和对话C＝{x0,x1,
…
,x
n
}中的token、x
j
分别经过编码器进行编码，以编码器的隐层状态分别作为编码表示：{...

【专利技术属性】
技术研发人员：杨陟卓，张伟，
申请(专利权)人：山西大学，
类型：发明
国别省市：