问答模型的训练方法、问答处理方法、装置及存储介质制造方法及图纸

本公开公开了一种问答模型的训练方法、问答处理方法及装置，涉及人工智能领域，尤其涉及自然语言处理、深度学习技术领域。具体实现方案为：获取训练数据集；利用训练数据集中的训练数据对预设问答模型中的预设检索网络进行训练，以得到目标检索网络；利用目标检索网络输出训练数据的候选答案向量集和训练向量；利用训练数据的候选答案向量集，训练向量和/或训练数据对预设问答模型中的预设生成网络进行训练，以得到目标生成网络；基于目标检索网络和目标生成网络，以得到目标问答模型。本公开实施例的目标问答模型适用范围较广，且目标检索网络和目标生成网络与行业数据解耦，均只需训练一次即可，无需重新训练，降低了模型训练成本。训练成本。训练成本。

【技术实现步骤摘要】
问答模型的训练方法、问答处理方法、装置及存储介质


[0001]本公开涉及人工智能领域，尤其涉及自然语言处理、深度学习


技术介绍

[0002]随着深度学习的发展，问答模型得到了广泛应用。其中，问答模型可以通过海量的训练数据进行训练，使得问答模型捕获多种多样的知识，进而使得问答模型可以在下游任务上获得较好的效果。但是，不同行业对应的知识不同，因此需要通用适用于各个行业的问答模型，以使得问答模型的适用范围更加广泛。
[0003]现有技术中，问答模型通过人工收集大量某个行业的无监督文本数据，问答模型通过在该数据上的语言模型任务学习该数据中的行业知识，并训练好的问答模型应用到该行业的下游任务中去。但是，相关技术中的训练数据仅为该行业的无监督文本数据，数据来源单一，使得问答模型仅可以分析无监督文本数据，适用范围局限，并且问答模型需要针对不同行业进行重新训练，以及有新的行业知识时问答模型同样需要进行重新训练，增加了模型训练成本。

技术实现思路

[0004]本公开提供了一种问答模型的训练方法、问答处理方法、装置及存储介质。...

【技术保护点】

【技术特征摘要】
1.一种问答模型的训练方法，所述方法包括：获取训练数据集；利用所述训练数据集中的训练数据对预设问答模型中的预设检索网络进行训练，以得到目标检索网络；利用所述目标检索网络输出所述训练数据的候选答案向量集和训练向量；利用所述训练数据的候选答案向量集，所述训练向量和/或所述训练数据对所述预设问答模型中的预设生成网络进行训练，以得到目标生成网络；基于所述目标检索网络和所述目标生成网络，以得到目标问答模型。2.如权利要求1所述的方法，其中，所述训练数据集中包括多模态数据、无结构文本数据、有结构文本数据。3.如权利要求1所述的方法，其中，所述方法还包括：利用所述目标检索网络生成目标向量检索库，所述目标向量检索中包括数据源中所有数据对应的向量。4.如权利要求3所述的方法，其中，所述利用所述目标检索网络输出训练数据的候选答案向量集和所述训练数据对应的训练向量，包括：将所述训练数据输入所述目标检索网络进行向量转换，以生成所述训练数据对应的训练向量；所述目标检索网络基于所述训练向量，从目标向量检索库中获取所述训练向量对应的候选答案向量集。5.如权利要求4所述的方法，其中，所述所述目标检索网络基于所述训练向量，从目标向量检索库中获取所述训练向量对应的候选答案向量集，包括：所述目标检索网络基于所述训练向量与所述目标向量检索库中向量之间的相似度，获取所述训练向量对应的预设数量的候选答案向量；基于所述预设数量的候选答案向量，构成所述训练向量对应的候选答案向量集。6.如权利要求1所述的方法，其中，所述利用所述训练数据的候选答案向量集，所述训练向量和/或所述训练数据对所述预设问答模型中的预设生成网络进行训练，以得到目标生成网络，包括：将所述训练数据的候选答案向量集，所述训练向量和/或所述训练数据输入至所述预设问答模型中的预设生成网络，以得到所述训练数据的预测答案；基于所述训练数据的预测答案和所述训练数据的真实答案，得到对应的损失值；基于所述损失值更新所述预设生成网络的参数，直至所述预设生成网络收敛，以得到目标生成网络。7.如权利要求6所述的方法，其中，所述将所述训练数据的候选答案向量集，所述训练向量和/或所述训练数据输入至所述预设生成网络中，以得到所述训练数据的预测答案，包括：确定所述训练数据中的模态类型；基于所述模态类型，将所述训练数据和/或所述训练向量，和所述候选答案向量集输入所述预设生成网络；所述预设生成网络将所述候选答案向量集中的候选答案向量进行拼接，并基于拼接后
的向量和所述训练数据和/或所述训练向量，以得到所述训练数据的预测答案。8.如权利要求7所述的方法，其中，所述基于所述模态类型，将所述训练数据和/或所述训练向量，和所述候选答案向量集输入所述预设生成网络，包括：若所述训练数据只包括文本模态，将所述训练数据和所述候选答案向量集输入所述预设生成网络；若所述训练数据包括文本模态和其他模态，将所述训练数据中文本模态对应的文本数据和所述其他模态对应的训练向量，和所述候选答案向量集输入所述预设生成网络；若所述训练数据不包括文本模态，将所述训练向量和所述候选答案向量集输入所述预设生成网络。9.一种问答处理方法，所述方法包括：获取需要回答的问题数据；将所述问题数据输入目标问答模型中的目标检索网络，以生成所述问题数据对应的问题向量和候选答案向量集；将所述问题数据和/或所述问题向量，和所述候选答案向量集输入所述目标问答模型中的目标生成网络，以生成所述问题数据的目标答案。10.如权利要求9所述的方法，其中，所述问题数据为多模态数据、无结构文本数据、有结构文本数据中任意一种。11.如权利要求9所述的方法，其中，所述目标问答模型还包括目标答案检索库，其中，所述将所述问题数据输入目标问答模型中的目标检索网络，以生成所述问题数据对应的问题向量和候选答案向量集，包括：将所述问题数据输入目标问答模型中的目标检索网络进行向量转换，以生成所述问题数据对应的问题向量；所述目标检索网络基于所述问题向量，从所述目标向量检索库中获取所述问题向量对应的候选答案向量集。12.如权利要求11所述的方法，其中，所述目标检索网络基于所述问题向量，从所述目标向量检索库中获取所述问题向量对应的候选答案向量集，包括：所述目标检索网络基于所述问题向量与所述目标向量检索库中向量之间的相似度，获取所述问题向量对应的预设数量的候选答案向量；基于所述预设数量的候选答案向量，构成所述问题向量对应的候选答案向量集。13.如权利要求9所述的方法，其中，所述将所述问题数据和/或所述问题向量...

【专利技术属性】
技术研发人员：庞超，王硕寰，朱鹏飞，孙宇，李芝，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：