【技术实现步骤摘要】
本专利技术涉及一种基于注意力机制的关键问题生成方法、系统及存储介质，属于人工智能。
技术介绍
1、随着深度学习、自然语言处理技术的飞速发展，通过大量标注数据训练得到的语言模型，能够快速高效的完成对文本数据的理解分析，具备情感分析、语言翻译、文本分类、信息抽取、文本生成的能力，通过数据驱动模型可完成对文档内容的理解、分析和概括，智能生成关键问题。
2、但目前流行的预训练语言模型与特种领域之间存在领域差异，直接通过现有的语言模型对各专家提出的关键问题汇总，准确性较低。
技术实现思路
1、为克服现有技术中存在的缺点，本专利技术提供基于注意力机制的关键问题生成方法、系统及存储介质，其将特种领域的各专家提出的关键问题作为训练词对现有的语言模型再训练，提高了汇总效率和准确性。
2、为实现所述专利技术目的，本专利技术提供一种基于注意力机制的关键问题生成方法，其特征在于，
3、s01:建立固定词表，通过固定词表中的词对包含注意力机制的语言模型进行训练得到初训练语言模型；
4、s02:通过初训练语言模型从预测掩模词中提取出多个第一关键问题；
5、s03:对多个第一关键问题通过聚类器进行聚类，将聚类结果分发至专家组的每个成员，由专家组的每个成员对聚类后的关键问题进行增、删和改得到多个第二关键问题；将增、删和改后的多个第二关键问题作为训练语句；基于对训练语句中包含固定词表未记录词进行随机掩码的第一掩码，生成所述训练语句的编码特征；基于所述编码特
6、s04:重复上述步骤s02和s03，直到达到第一关键问题收敛生成最终关键问题；
7、其中，所述聚类器包括嵌入层、隐藏层和分类器，其中，嵌入层将多个第一关键问题的每个词进行词嵌入、位置嵌入、段落嵌入得到数据矩阵；隐藏层将数据矩阵转换为各词的隐藏层矢量，隐藏层采用多层包括注意力机制模型的transformer的结构；分类器根据各个词的隐藏层矢量，进行分类得到多个类。
8、为实现所述专利技术目的，本专利技术还提供一种基于注意力机制的关键问题生成方法，包括：
9、s01:建立固定词表，通过固定词表中的词对语言模型进行训练得到初训练语言模型；
10、s02:通过初训练语言模型从预测掩模词中提取出多个第一关键问题；
11、s03:对多个第一关键问题进行聚类，将聚类结果分发至专家组的每个成员，由专家组的每个成员对聚类后的关键问题进行增、删和改得到多个第二关键问题；将增、删和改后的多个第二关键问题作为训练语句；基于对训练语句中包含固定词表未记录词进行随机掩码的第一掩码，生成所述训练语句的编码特征；基于所述编码特征生成预测掩模词；
12、s04:重复上述步骤s02和s03，直到达到第一关键问题收敛生成最终关键问题；
13、其中，对多个第一关键问题进行聚类具体包括：
14、s1-1:设多个第一关键问题为n个；
15、s1-2将通过硬注意力机制模型模块关注n个第一关键问题中与装备应用相关的1个问题；
16、s1-3:将1个第一关键问题的向量学习到自竞争神经网络的二维中间层中；
17、s1-4将n个第一关键问题中1个问题外的n-1个问题的向量依次输入到自竞争神经网络的输层，自竞争神经网络对n个第一关键问题中1个问题外的n-1个问题进行聚类，n个第一关键问题中1个问题外的n-1个关键问题的向量与中间层中的1个问题的向量的距离小于或等于设定值的k个问题归结为该1个问题的同一类，并将归到该1问题的k个关键问题从n-1个问题去除得到还未聚类的n-k-1个问题；
18、s1-5:判断是n-k-1否为零，若是，则结束分类,若否，则执行步骤s1-6；
19、s1-6；n←n-k-1,并返回到步骤s1-2。
20、为实现所述专利技术目的，本专利技术还提供一种基于注意力机制的关键问题生成方法，其特征在于，包括
21、s01:建立固定词表，通过固定词表中的词对语言模型进行训练得到初训练语言模型；
22、s02:通过初训练语言模型从预测掩模词中提取出多个第一关键问题；
23、s03:对多个第一关键问题进行聚类，将聚类结果分发至专家组的每个成员，由专家组的每个成员对聚类后的关键问题进行增、删和改得到多个第二关键问题；将增、删和改后的多个第二关键问题作为训练语句；基于对训练语句中包含固定词表未记录词进行随机掩码的第一掩码，生成所述训练语句的编码特征；基于所述编码特征生成预测掩模词；
24、s04:重复上述步骤s02和s03，直到达到第一关键问题收敛生成最终关键问题；
25、其中，对多个第一关键问题进行聚类具体包括：
26、s2-1:设多个第一关键问题为n个；
27、s2-2:通过硬注意力机制模型模块关注多个第一关键问题中与装备应用相关的k个问题；
28、s2-3:将k个问题的向量学习到自竞争神经网络的二维中间层中；
29、s2-4将n个第一关键问题中k个问题外的n-k个问题的向量依次输入到自竞争神经网络的输层，通过自竞争神经网络进行聚类，n-k个第一关键问题的向量与中间层中的k个问题的向量的距离小于或等于设定值的问题分别归结为该k个问题的同一类，并将可归到k个问题中m个问题从n-k个问题去除得到还未聚类的n-k-m个问题；
30、s2-5:判断是n-k-m否为零，若是，则结束分类,若否，则执行步骤s1-6；
31、s2-6；n←n-k-m,并返回到步骤s2-2。
32、为实现所述专利技术目的，本专利技术还提供一种基于注意力机制的关键问题生成系统，包括：存储介质和处理器，存储介质上存储有计算机程序；处理器调用计算机程序以实现上述的方法。
33、为实现所述专利技术目的，本专利技术还提供一种存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器调用以实现上述的方法。
34、与现有技术相比，本专利技术具有如下有益效果：
35、本专利技术初训练的包含图注意力机制的语言模型从预测掩码中提取出多个第一关键问题，对多个第一关键问题进行聚类，将聚类结果分发至专家组的每个成员，由专家组的每个成员对聚类后的关键问题进行增、删和改得到多个第二关键问题；将增、删和改后的多个第二关键问题作为训练语句；基于对训练语句中包含固定词表未记录词进行随机掩码的第一掩码，生成所述训练语句的编码特征；基于所述编码特征生成预测掩模词；基于所述预测掩码词调整所述初训练语言模型而达提高了汇总效率和准确性。
本文档来自技高网...【技术保护点】
1.一种基于注意力机制的关键问题生成方法，其特征在于，包括：
2.根据权利要求1所述的基于注意力机制的关键问题生成方法，其特征在于，生成所述编码特征包括：基于固定词表以及训练语句中不与所述固定词表重叠的未记录词表，生成所述训练语句的标识序列；基于所述第一掩码生成所述标识序列中不包含所述未记录词的标识的第一标识序列和包含所述未记录词的标识的第二标识序列；通过所述预训练的初训练语言模型的第一嵌入层，生成所述第一标识序列的嵌入向量；通过第二嵌入层生成所述第二标识序列的嵌入向量；基于所述第一标识符序列的嵌入向量和所述第二标识符序列的嵌入向量来生成所述编码特征。
3.根据权利要求2所述的基于注意力机制的关键问题生成方法，其中，基于所述第一标识符序列的嵌入向量和所述第二标识符序列的嵌入向量来生成所述编码特征包括：将所述第一标识序列的嵌入向量和所述第二标识序列的嵌入向量进行合并，以生成所述标识序列的嵌入向量；通过编码层基于所述标识序列的嵌入向量生成所述编码特征。
4.根据权利要求3所述的基于注意力机制的关键问题生成方法，其特征在于，还包括：将训练完成后的初训
5.根据权利要求3所述的基于注意力机制的关键问题生成方法，其特征在于，将所述第一标识序列的嵌入向量和所述第二标识序列的嵌入向量进行合并，以生成所述标识序列的嵌入向量包括：对所述第一掩码进行扩展得到第二掩码；基于所述第二掩码，将所述记录标识符序列的嵌入向量与所述未记录标识符序列的嵌入向量进行合并，以生成所述标识符序列的嵌入向量。
6.一种基于注意力机制的关键问题生成方法，其特征在于，包括：
7.一种基于注意力机制的关键问题生成方法，其特征在于，包括：
8.一种基于注意力机制的关键问题生成系统，包括：存储介质和处理器，存储介质上存储有计算机程序；处理器调用计算机程序以实现权利要求1-7任一项所述的方法。
9.一种存储介质，其特征在于，其上存储有计算机程序，所述计
...【技术特征摘要】
1.一种基于注意力机制的关键问题生成方法，其特征在于，包括：
2.根据权利要求1所述的基于注意力机制的关键问题生成方法，其特征在于，生成所述编码特征包括：基于固定词表以及训练语句中不与所述固定词表重叠的未记录词表，生成所述训练语句的标识序列；基于所述第一掩码生成所述标识序列中不包含所述未记录词的标识的第一标识序列和包含所述未记录词的标识的第二标识序列；通过所述预训练的初训练语言模型的第一嵌入层，生成所述第一标识序列的嵌入向量；通过第二嵌入层生成所述第二标识序列的嵌入向量；基于所述第一标识符序列的嵌入向量和所述第二标识符序列的嵌入向量来生成所述编码特征。
3.根据权利要求2所述的基于注意力机制的关键问题生成方法，其中，基于所述第一标识符序列的嵌入向量和所述第二标识符序列的嵌入向量来生成所述编码特征包括：将所述第一标识序列的嵌入向量和所述第二标识序列的嵌入向量进行合并，以生成所述标识序列的嵌入向量；通过编码层基于所述标识序列的嵌入向量生成所述编码特征。<...
【专利技术属性】
技术研发人员：白梅，赵俊严，李世民，贾宇飞，唐晓明，张茂林，娄锋，周长浩，朱锐，张钰，闫旭，薛大兵，
申请(专利权)人：中国人民解放军六三九六三部队，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。