检索式多轮对话方法及装置、存储介质、电子设备制造方法及图纸

本发明专利技术公开了检索式多轮对话方法及装置、存储介质、电子设备，属于自然语言及人工智能领域，本发明专利技术要解决的技术问题为如何有效利用历史对话中的最后一句话对剩余历史对话序列完成语义匹配和信息筛选，同时对候选响应进行信息筛选，从而提高多轮对话模型的预测准确性，技术方案为：该方法具体如下：获取多轮对话数据集；构建多轮对话模型：针对多轮对话数据集中的每一条数据，将历史对话中的每个句子按照对话顺序依次标记构建历史对话序列，并针对每条历史对话序列构建候选响应；对历史对话序列中的每个语句和候选响应分别进行编码处理，从而得到历史对话中每条语句的编码表示和候选响应编码表示；训练多轮对话模型。训练多轮对话模型。训练多轮对话模型。

【技术实现步骤摘要】
检索式多轮对话方法及装置、存储介质、电子设备


[0001]本专利技术涉及自然语言处理及人工智能领域，具体地说是一种检索式多轮对话方法及装置、存储介质、电子设备。

技术介绍

[0002]据统计，各类精神病患者人数已超过1亿，其中，精神分裂症患者人数超过640万，双相情感障碍患者人数达110万。然而，对精神疾病的诊断和治疗严重不足，治疗率不到10％。心理卫生专家指出，最大的危害不是精神疾病本身，而是人们对待心里疾病的态度。简单点说，精神疾病患者往往不愿承认或面对自己患病这件事情，更会担心周围人知道自己患病。在这种情况下，病人往往不会向任何人吐露心声，从而导致病愈发严重。随着互联网技术的快速发展，对话问答技术也越发成熟。若能将对话问答技术用于患者病症咨询，则能有效降低患者对看精神科医生的排斥情绪，也能避免患者在真人面前谈论心理问题的病耻感。
[0003]对话问答技术包括单轮对话和多轮对话。由于一般患者缺乏专业的医学知识，往往无法一次性专业描述问题，因此，需要采用多轮对话技术识患者的描述，进而对患者的症状进行预测。在多轮对话任务里，历史对话中的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种检索式多轮对话方法，其特征在于，该方法具体如下：获取多轮对话数据集：使用爬虫技术在网上公共医疗问答平台爬取对话数据，得到多轮对话知识库；针对每条对话数据构建正例数据和负例数据，并按照设定比例划分训练集和测试集；构建多轮对话模型：针对多轮对话数据集中的每一条数据，将历史对话中的每个句子按照对话顺序依次标记构建历史对话序列，并针对每条历史对话序列构建候选响应；对历史对话序列中的每个语句和候选响应分别进行编码处理，从而得到历史对话中每条语句的编码表示和候选响应编码表示；再以分界语句为界，对剩余对话语句中每个语句的编码表示分别进行语义匹配和信息筛选处理；同时对候选响应编码表示进行信息筛选处理，对自身完成信息筛选操作，通过聚合操作得到对话语义表示，将对话语义表示映射为指定区间上的一个浮点型数据，该浮点型数据作为该候选响应与历史对话的匹配度，再比较不同候选响应的匹配度，将匹配度最高的候选响应作为正确响应；训练多轮对话模型：利用训练集训练多轮对话模型，并构建损失函数和优化函数，完成候选响应的预测。2.根据权利要求1所述的检索式多轮对话方法，其特征在于，构建多轮对话模型具体如下：构建输入数据：针对数据集中的每一条数据，将历史对话中的每个句子按照对话顺序构建历史对话序列，记为h1、h2、
…
、h
n
；在多个候选响应中选择一个响应作为当前响应，形式化为r；根据该条响应是否为正确响应，确定该条数据的标签，即，若该条响应是正确响应，则记为1；否则，则记为0；历史对话序列、当前响应及标签共同组成一条输入数据，形式为：(h1、h2、
…
、h
n
，r，标签)；编码处理：使用预训练语言模型BERT对输入数据分别进行编码处理，从而得到历史对话中每条语句的编码表示和候选响应编码表示，记为
…
，和其中，是分界语句编码表示；为候选响应编码表示；公式如下：为候选响应编码表示；公式如下：其中，h1,h2,
…
,h
n
‑1,h
n
表示历史对话中的语句1，语句2，
…
，语句n
‑
1，语句n；r表示候选响应；分界匹配筛选：以分界语句为界，将分界语句与剩余对话语句中每个句子的编码表示分别进行语义匹配计算，并按照各自与分界语句的匹配度完成信息筛选过程；同时使用交叉注意力机制完成分界语句对候选响应编码表示的信息筛选处理过程，并使用自注意力机制完成对自身信息的筛选过程；最终通过聚合操作得到对话语义表示；标签预测：将对话语义表示经过一层维度为1，激活函数为Sigmoid的全连接网络处理，得到当前响应为正确响应的概率；其中，当多轮对话模型尚未进行训练时，对多轮对话模型进行训练，以优化多轮对话模型的参数；当多轮对话模型训练完毕时，预测候选响应中的哪一个是正确响应。
3.根据权利要求2所述的检索式多轮对话方法，其特征在于，分界匹配筛选具体如下：联接分界语句编码表示与编码表示1，再使用一层激活函数为Sigmoid的全连接网络Dense对联接结果进行映射，从而得到编码表示1与分界语句编码表示匹配度λ1；再对分界语句编码表示匹配度λ1与编码表示1执行乘运算，从而得到筛选表示1，记为公式如下：公式如下：其中，表示分界语句编码表示；表示编码表示1；联接分界语句编码表示与编码表示2，再使用一层激活函数为Sigmoid的全连接网络Dense对联接结果进行映射，从而得到编码表示2与分界语句编码表示匹配度λ2；再对分界语句编码表示匹配度λ2与编码表示2执行乘运算，从而得到筛选表示2，记为公式如下：公式如下：其中，表示分界语句编码表示；表示编码表示2；联接分界语句编码表示与编码表示3，后续操作过程与获得筛选表示2操作类似，从而得到筛选表示3，记为以此类推，直至联接分界语句编码表示与编码表示n
‑
1，并执行与获得筛选表示2类似的操作后，得到筛选表示n
‑
1，记为公式如下：公式如下：其中，表示分界语句编码表示；表示编码表示n
‑
1；通过加运算将筛选表示1～筛选表示n
‑
1、关键信息表示和候选响应筛选表示进行聚合，从而得到对话语义表示，记为公式如下：其中，分别表示筛选表示1、筛选表示2、
…
、筛选表示n
‑
1；表示关键信息表示；表示候选响应筛选表示。4.根据权利要求1所述的检索式多轮对话方法，其特征在于，...

【专利技术属性】
技术研发人员：杜月寒，牟蓓琪，陈为民，高军，张翔，鹿文鹏，
申请(专利权)人：齐鲁工业大学山东省科学院，
类型：发明
国别省市：