基于常识图谱的模型生成和智能问答方法与系统技术方案

本发明专利技术提供了一种基于常识图谱的模型生成和智能问答方法和系统，包括：步骤S1：基于常识图谱，将问题数据依次在常识图谱中进行查询，得到问题的相关常识，用以构建问答生成模型的输入序列；步骤S2：基于常识图谱得到的输入序列，输入到教师网络得到分类概率，作为任务知识传递，以软标签形式输入给学生网络进行学习；步骤S3：将同样的输入序列输入到学生网络，将得到的硬标签与教师网络传递的软标签作为加权，计算分类损失并优化，得到基于常识图谱的问答生成模型；步骤S4：基于问答生成模型，针对用户提问构造输入序列，生成问题回答。本发明专利技术提升了问答模型的语义理解能力和推理精度，同时，满足了问题系统的实时性需求。满足了问题系统的实时性需求。满足了问题系统的实时性需求。

【技术实现步骤摘要】
基于常识图谱的模型生成和智能问答方法与系统


[0001]本专利技术涉及模型生成和智能问答
，具体地，涉及一种基于常识图谱的模型生成和智能问答方法与系统。

技术介绍

[0002]本专利技术应用于新冠医疗常识生成与智能问答系统，针对学生、老年人、普通成年人、新冠肺炎密切接触者和确诊患者等人群所关心的新冠肺炎和疫情防范问题，提供常识性科普和专业性诊断知识的智能回答，从而减轻专业门诊和政府公民教育的资源占用。
[0003]目前已有相关研究成果与技术方案，这些方法与方法主要使用了以下两方面技术。
[0004]1、问答生成模型的训练
[0005]传统的问答方法不依赖于事先预定义的回答，即系统在接收到用户输入的自然语言后，自动生成一段话作为对用户输入的回答。其优点是比较灵活地整合了上下文信息，尽可能地覆盖任意话题、任意句式；但往往表现出对话效果不尽人意，出现句子不通顺、语法错误等低级错误。因此，其训练过程需要大规模的训练语料，并增加训练次数，在一定程度上降低或避免一些低级错误，导致较大的学习代价。
[0006]为了提升问本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于常识图谱的模型生成和智能问答方法，其特征在于，包括：步骤S1：基于常识图谱，将问题数据依次在常识图谱中进行查询，得到问题的相关常识，用以构建问答生成模型的输入序列；步骤S2：基于常识图谱得到的输入序列，输入到教师网络得到分类概率，作为任务知识传递，以软标签形式输入给学生网络进行学习；步骤S3：将同样的输入序列输入到学生网络，将得到的硬标签与教师网络传递的软标签作为加权，计算分类损失并优化，得到基于常识图谱的问答生成模型；步骤S4：基于问答生成模型，针对用户提问构造输入序列，生成问题回答；所述教师网络为BART
‑
QA微调模型，所述学生网络为BART
‑
tiny预训练模型。2.根据权利要求1所述的基于常识图谱的模型生成和智能问答方法，其特征在于，所述步骤S1包括：步骤S1.1：针对输入问题，基于常识实体抽取模型和意图识别模型进行常识抽取；步骤S1.2：针对常识抽取结果，进一步采取实体链接算法构造查询语句，在常识图谱进行查询匹配；所述步骤S1.1包括：步骤S1.1.1：通过实体抽取模型，基于词性的命名实体识别模型，对输入的问题文本，将抽取到的名词作为常识实体，作为常识图谱查询中的节点；步骤S1.1.2：通过意图识别模型，对输入的问题文本，将识别到的意图类型作为常识图谱查询中的边；步骤S1.1.3：按抽取类型整合抽取结果，作为最终的常识抽取结果；所述步骤S1.2中采用如下公式所示的实体链接算法，使得抽取到的常识结果更容易在常识图谱中找到相关知识信息；其中，n表示查询词和候选词中的较短长度，k为查询词和候选词的总长度，p
n
表示查询词和候选词n
‑
gram的匹配个数占全部n
‑
gram个数的比例，指数项将对长匹配的候选词具有更高的匹配分数。3.根据权利要求1所述的基于常识图谱的模型生成和智能问答方法，其特征在于，所述步骤S2包括：步骤S2.1：基于常识图谱查询结果，得到输入序列；输入序列的输入文本将表示为：Input＝[CLS]对话历史：<question>知识：<knowledge>[SEP]，其中，由多轮对话的已有对话历史作为<question>和当前轮对话的问题在常识图谱中查询结果得到的知识作为<knowledge>，从而组成完整的输入序列，其中，<question>代表问题数据中的问题文本；<knowledge>信息通过常识图谱查询匹配得到的若干回答组成，剩余部分的序列编码和位置编码信息将由模型的可学习Embedding层学习到，输入序列由三类编码对应位置相加得到；步骤S2.2：计算教师网络的输出分类概率，并得到模型蒸馏中的软标签；
其中，为开始预测的特殊词元对应id；E
j
表示BART Encoder的输入向量的第j个词元对应的词典id值；i表示当前预测的词元个数，最大为真实回答的句子长度；concat(
·
)为向量拼接函数；T(
·
)表示教师网络中BART的Decoder自回归方式输出得到各个类别词元预测评分组成的评分向量；W
T
为教师网络的投影函数，将当前模型的隐藏层输出投影到类别空间；softmax(
·
)为带温度τ的归一化激活函数，其中q对应词表大小；h
i+1
表示各预测词元概率；argmax(
·
)将得到向量中值最大的下标，对应表示该预测词元在词表中的id；步骤S2.3：选取中各行中真实类别id对应的预测概率作为软标签soft_label＝(h
i+1
)
i
，作为教师网络的知识。4.根据权利要求1所述的基于常识图谱的模型生成和智能问答方法，其特征在于，所述步骤S3包括：步骤S3.1：将输入序列特征E输入到学生网络的Encoder中，计算学生网络的硬标签损失hard_loss；其中，S(
·
)表示学生网络中BART的Decoder自回归方式输出得到各个类别词元预测评分组成的评分向量；W
S
为学生网络的投影函数，将当前模型的隐藏层输出投影到类别空间；同上公式同上公式为各个预测词元的id组成然后利用交叉熵损失函数用以计算hard_loss和soft_loss，其中，j为预测序列id；q为预测序列最大长度；y为各个序列的真实类别id，y
j
为真实词元类别id；为该预测词元预测为真实类别的概率，因此，为该预测词元预测为真实类别的概率，因此，步骤S3.2：结合教师网络的软标签损失soft_label，计算学生网络的软标签损失，步骤S3.3：计算学生网络的总损失；loss＝λ
·
soft_loss+(1
‑
λ)
·
hard_loss
…………
(5)步骤S3.4：通过上述总损失函数训练基于常识图谱的问答生成模型，直至收敛；步骤S3.5：将学生模型作为最终的问答生成模型。5.根据权利要求1所述的基于常识图谱的模型生成和智能问答方法，其特征在于，所述步骤S4包括：问答生成模型为训练完的学生网络S；当预测为句子结束词元对应id时停止预测，得到若干个候选的预测回答结果序列根据若干次回答的输出置信度排序，选取置信度最高的作为回答结果。6.一种基于常识图谱的模型生成和智能问答系统，其...

【专利技术属性】
技术研发人员：唐飞龙，
申请(专利权)人：苏州全时空信息技术有限公司，
类型：发明
国别省市：