一种健康问答模型的训练、健康问答方法及相关装置制造方法及图纸

本发明专利技术公开了一种健康问答模型的训练、健康问答方法及相关装置，该方法包括：采集多个样本；将健康问题信息与健康答案信息输入基于孪生句向量变换器的双向编码器中初步编码，得到中间层输出的问题中间向量与答案中间向量；将问题中间向量转换为受问题关键词控制的问题关键向量；将答案中间向量转换为受答案关键词控制的答案关键向量；将问题关键向量与答案关键向量输入基于孪生句向量变换器的双向编码器中继续完成编码，得到问题目标向量与答案目标向量；根据问题目标向量与答案目标向量将基于孪生句向量变换器的双向编码器训练为健康问答模型。注意力集中到包含健康实体词的关键词上，提高了在健康领域的适应性，提高答案召回的准确率。召回的准确率。召回的准确率。

【技术实现步骤摘要】
一种健康问答模型的训练、健康问答方法及相关装置


[0001]本专利技术涉及健康的
，尤其涉及一种健康问答模型的训练、健康问答方法及相关装置。

技术介绍

[0002]在健康领域的智能客服场景下，多会提供智能问答，用户的意图被识别出来，并且给出最接近的标准答案，可以快速帮助用户自主解决一些重复或常见的问题，例如，营养素的功效，营养素的使用说明，等等。
[0003]基于孪生句向量变换器的双向编码器(Sentence
‑
BERT)是目前是智能问答主流的召回模型之一，其提前针对知识库计算向量，从而快速响应的召回任务，节约大量推理时间。
[0004]一方面，健康领域中关于问答的数据量稀少，因而Sentence
‑
BERT对于健康领域的适应性较差，从而导致召回的答案准确率较低。
[0005]另一方面，由于在健康领域中产品、疾病、营养素等实体词迭代迅速，为了理解新的实体词，每间隔一定的时间开发人员重新训练Sentence
‑
BERT，由于标注量较大，使得训练Sentence
‑
BERT的成本较高、效率较低。

技术实现思路

[0006]本专利技术提供了一种健康问答模型的训练、健康问答方法及相关装置，以解决如何提高Sentence
‑
BERT召回答案的准确率、提高Sentence
‑
BERT适配新的实体词的效率。
[0007]根据本专利技术的一方面，提供了一种健康问答模型的训练方法，所述方法包括：
[0008]S101：采集多个样本，每个样本包括健康问题信息，健康答案信息，所述健康问题信息中包含健康实体词的问题关键词，所述健康答案信息中包含健康实体词的答案关键词；
[0009]S102：将所述健康问题信息与所述健康答案信息输入基于孪生句向量变换器的双向编码器中初步编码，得到中间层输出的问题中间向量与答案中间向量；
[0010]S103：将所述问题中间向量转换为受所述问题关键词控制的问题关键向量；
[0011]S104：将所述答案中间向量转换为受所述答案关键词控制的答案关键向量；
[0012]S105：将所述问题关键向量与所述答案关键向量输入所述基于孪生句向量变换器的双向编码器中继续完成编码，得到问题目标向量与答案目标向量；
[0013]S106：根据所述问题目标向量与所述答案目标向量将所述基于孪生句向量变换器的双向编码器训练为健康问答模型。
[0014]根据本专利技术的另一方面，提供了一种健康问答方法，所述方法包括：
[0015]S201：加载属于基于孪生句向量变换器的双向编码器的健康问答模型；
[0016]S202：若接收到客户端输入的健康问题信息，则从所述健康问题信息中提取包括健康实体词的问题关键词；
[0017]S203：将所述健康问题信息输入所述健康问答模型中初步编码，得到中间层输出的问题中间向量；
[0018]S204：将所述问题中间向量转换为受所述问题关键词控制的问题关键向量；
[0019]S205：将所述问题关键向量输入所述健康问答模型中继续完成编码，得到问题目标向量；
[0020]S206：根据所述问题关键向量与预设的答案关键向量召回用于解答所述健康问题信息的所述健康答案信息，所述答案关键向量编码自健康问答信息及所述健康答案信息中包含健康实体词的答案关键词；
[0021]S207：将用于解答所述健康问题信息的所述健康答案信息推送至所述客户端进行显示。
[0022]根据本专利技术的另一方面，提供了一种电子设备，所述电子设备包括：
[0023]至少一个处理器；以及
[0024]与所述至少一个处理器通信连接的存储器；其中，
[0025]所述存储器存储有可被所述至少一个处理器执行的计算机程序及健康问答模型，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例所述的健康问答模型的训练方法或者健康问答方法。
[0026]根据本专利技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序及健康问答模型，所述计算机程序用于使处理器执行时实现本专利技术任一实施例所述的健康问答模型的训练方法或者健康问答方法。
[0027]在本实施例中，采集多个样本，每个样本包括健康问题信息，健康答案信息，健康问题信息中包含健康实体词的问题关键词，健康答案信息中包含健康实体词的答案关键词；将健康问题信息与健康答案信息输入基于孪生句向量变换器的双向编码器中初步编码，得到中间层输出的问题中间向量与答案中间向量；将问题中间向量转换为受问题关键词控制的问题关键向量；将答案中间向量转换为受答案关键词控制的答案关键向量；将问题关键向量与答案关键向量输入基于孪生句向量变换器的双向编码器中继续完成编码，得到问题目标向量与答案目标向量；根据问题目标向量与答案目标向量将基于孪生句向量变换器的双向编码器训练为健康问答模型。本实施例通过引入包含健康实体词的问题关键词、答案关键词训练基于孪生句向量变换器的双向编码器，让基于孪生句向量变换器的双向编码器的注意力更加集中到包含健康实体词的问题关键词、答案关键词上，提高了基于孪生句向量变换器的双向编码器在健康领域的适应性，从而提高答案召回的准确率，并且，通过自定义编码问题关键向量、答案关键向量的结构，在更新迭代健康实体词重新训练基于孪生句向量变换器的双向编码器时，可以有效减少标注量，从而降低训练基于孪生句向量变换器的双向编码器的成本，提高训练基于孪生句向量变换器的双向编码器的效率。
[0028]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0029]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于
本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0030]图1是根据本专利技术实施例一提供的一种健康问答模型的训练方法的流程图；
[0031]图2是根据本专利技术实施例一提供的一种Sentence
‑
BERT的结构示意图；
[0032]图3是根据本专利技术实施例一提供的一种引入关键词的Sentence
‑
BERT的结构示意图；
[0033]图4是根据本专利技术实施例一提供的一种生成问题目标向量的流程示意图；
[0034]图5是根据本专利技术实施例一提供的一种输出层的结构示意图；
[0035]图6是根据本专利技术实施例一提供的一种生成答案目标向量的流程示意图；
[0036]图7是根据本专利技术实施例一提供的一种输出层的结构示意图；
[0037]图8是根据本专利技术实施例二提供的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种健康问答模型的训练方法，其特征在于，所述方法包括：S101：采集多个样本，每个所述样本包括健康问题信息，健康答案信息，所述健康问题信息中包含健康实体词的问题关键词，所述健康答案信息中包含健康实体词的答案关键词；S102：将所述健康问题信息与所述健康答案信息输入基于孪生句向量变换器的双向编码器中初步编码，得到中间层输出的问题中间向量与答案中间向量；S103：将所述问题中间向量转换为受所述问题关键词控制的问题关键向量；S104：将所述答案中间向量转换为受所述答案关键词控制的答案关键向量；S105：将所述问题关键向量与所述答案关键向量输入所述基于孪生句向量变换器的双向编码器中继续完成编码，得到问题目标向量与答案目标向量；S106：根据所述问题目标向量与所述答案目标向量将所述基于孪生句向量变换器的双向编码器训练为健康问答模型。2.根据权利要求1所述的方法，其特征在于，所述步骤S102包括：将所述健康问题信息输入预设的第一分词器中进行处理，获得第一数字序列、第一分片序列与第一掩码序列；将所述健康答案信息输入预设的第一分词器中进行处理，获得第二数字序列、第二分片序列与第二掩码序列；将所述第一数字序列、所述第一分片序列与所述第一掩码序列，以及，所述第二数字序列、所述第二分片序列与所述第二掩码序列输入基于孪生句向量变换器的双向编码器中初步编码，得到中间层输出的问题中间向量与答案中间向量。3.根据权利要求1所述的方法，其特征在于，所述步骤S103包括：将所述问题中间向量转换为问题查询向量、问题索引向量与问题内容向量；对所述问题关键词进行编码，得到第一词索引向量、第一词内容向量；将所述问题索引向量与所述第一词索引向量融合为第一目标索引向量；将所述问题内容向量与所述第一词内容向量融合为第一目标内容向量；将所述问题查询向量、所述第一目标索引向量与所述第一目标内容向量输入预设的第一自注意力层进行处理，得到问题候选向量；从所述问题候选向量中提取特征，得到问题关键向量。4.根据权利要求3所述的方法，其特征在于，将问题中间向量转换为问题查询向量、问题索引向量与问题内容向量，包括：对所述问题中间向量生成第一查询矩阵、第一索引矩阵、第一内容矩阵；将所述问题中间向量分别与所述第一查询矩阵、所述第一索引矩阵、所述第一内容矩阵相乘，得到问题查询向量、问题索引向量与问题内容向量。5.根据权利要求3所述的方法，其特征在于，对问题关键词进行编码，得到第一词索引向量、第一词内容向量，包括：将所述问题关键词输入预设的第二分词器中进行处理，获得第三数字序列、第三分片序列与第三掩码序列；将所述第三数字序列、所述第三分片序列与所述第三掩码序列输入预设的词向量矩阵中进行处理，得到问题关键向量；
将所述问题关键向量输入预设的问题索引矩阵中进行处理，得到第一词索引向量；将所述第一词索引向量输入预设的问题内容矩阵中进行处理，得到第一词内容向量。6.根据权利要求3所述的方法，其特征在于，将问题索引向量与第一词索引向量融合为第一目标索引向量，包括：将所述第一词索引向量乘以预设的第一超参数，获得第一调权索引向量；将所述第一调权索引向量与所述问题索引向量拼接为第一目标索引向量；将问题内容向量与第一词内容向量融合为第一目标内容向量，包括：将所述第一词内容向量乘以预设的第一超参数，获得第一调权内容向量；将所述第一调权内容向量与所述问题内容向量拼接为第一目标内容向量。7.根据权利要求3所述的方法，其特征在于，从问题候选向量中提取特征，得到问题关键向量，包括：将所述问题候选向量输入预设的第一问题全连接层中映射为第一问题特征向量；对所述第一问题特征向量进行激活；若完成激活所述第一问题特征向量，则将所述第一问题特征向量输入预设的第二问题全连接层中映射为第二问题特征向量；对所述第二问题特征向量进行激活；若完成激活所述第二问题特征向量，则将所述第二问题特征向量输入预设的第三问题全连接层中映射为第三问题特征向量；对所述第三问题特征向量进行激活，得到问题关键向量。8.根据权利要求1所述的方法，其特征在于，所述步骤S104包括：将所述答案中间向量转换为答案查询向量、答案索引向量、答案内容向量；对所述答案关键词进行编码，得到第二词索引向量、第二词内容向量；将所述答案索引向量与所述第二词索引向量融合为第二目标索引向量；将所述答案内容向量与所述第二词内容向量融合为第二目标内容向量；将所述答案查询向量、所述第二目标索引向量与所述第二目标内容向量输入预设的第二自注意力层进行处理，得到答案候选向量；将所述答案候选向量中提取特征，得到答案关键向量。9.根据权利要求8所述的方法，其特征在于，将答案中间向量转换为答案查询向量、答案索引向量、答案内容向量，包括：对所述答案中间向量生成第二查询矩阵、第二索引矩阵、第二内容矩阵；将所述答案中间向量分别与所述第二查询矩阵、所述第二索引矩阵、所述第二内容矩阵相乘，得到答案查询向量、答案索引向量、答案内容向量。10.根据权利要求8所述的方法，其特征在于，对答案关键词进行编码，得到第二词索引向量、第二词内容向量，包括：将所述答案关键词输入预设的第二分词器中进行处理，获得第四数字序列、第四分片序列与第四掩码序列；将所述第四数字序列、所述第四分片序列与所述第四掩码序列输入预设的词向量矩阵中进行处理，得到答案关键向量；将所述答案关键向量输入预设的答案索引矩阵中进行处理，得到第二词索引向量；
将所述第二词索引向量输入预设的答案内容矩阵中进行处理，得到第二词内容向量。11.根据权利要求8所述的方法，其特征在于，将答案索引向量与所述第二词索引向量融合为第二目标索引向量，包括：将所述第二词索引向量乘以预设的第二超参数，获得第二调权索引向量；将所述第二调权索引向量与所述答案索引向量拼接为第二目标索引向量；所述将所述答案内容向量与所述第二词内容向量融合为第二目标内容向量，包括：将所述第二词内容向量乘以预设的第二超参数，获得第二调权内容向量；将所述第二调权内容向量与所述答案内容向量拼接为第二目标内容向量。12.根据权利要求8所述的方法，其特...

【专利技术属性】
技术研发人员：章宇超，李响，
申请(专利权)人：汤臣倍健股份有限公司，
类型：发明
国别省市：