问答模型的训练方法、装置及电子设备制造方法及图纸

本公开提出了一种问答模型的训练方法、装置及电子设备，涉及计算机视觉、深度学习、智能问答等人工智能领域，其中，该方法包括：获取样本文本问题在文本维度和图像维度上的第一特征向量和第一关联特征向量，生成第一特征向量集合；获取样本图像问题在文本维度和图像维度上的第二特征向量和第二关联特征向量，生成第二特征向量集合；基于第一特征向量集合和第二特征向量集合，生成样本文本问题对应的第一融合特征向量和样本图像问题对应的第二融合特征向量，进而得到样本融合向量；根据样本融合向量对问答模型进行训练，以生成目标问答模型。本公开中，问答模型更准确的获取有效特征，提高了模型训练效率，优化了模型训练效果。优化了模型训练效果。优化了模型训练效果。

【技术实现步骤摘要】
问答模型的训练方法、装置及电子设备


[0001]本公开涉及数据处理领域，尤其涉及计算机视觉、深度学习和智能问答等人工智能领域，具体涉及一种问答模型的训练方法、装置及电子设备。

技术介绍

[0002]随着社会的发展，网络用户的基数日益增长，人工客服为用户提供实时的问答服务的难度也随之变高。相关技术中，通过问答系统为用户提供线上问答服务，然而现有的问答系统多为单模态问答系统，无法满足多模态的问答所需。

技术实现思路

[0003]本公开提出了一种问答模型的训练方法、装置及电子设备。
[0004]根据本公开的第一方面，提出了一种问答模型的训练方法，包括：获取样本文本问题分别在文本维度和图像维度上的第一特征向量和两个维度间的第一关联特征向量，以生成第一特征向量集合；获取样本图像问题分别在文本维度和图像维度上的第二特征向量和两个维度间的第二关联特征向量，以生成第二特征向量集合；基于所述第一特征向量集合和所述第二特征向量集合，生成所述样本文本问题对应的第一融合特征向量和所述样本图像问题对应的第二融合特征向量；根据所述第一融合特征向量和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种问答模型的训练方法，包括：获取样本文本问题分别在文本维度和图像维度上的第一特征向量和两个维度间的第一关联特征向量，以生成第一特征向量集合；获取样本图像问题分别在文本维度和图像维度上的第二特征向量和两个维度间的第二关联特征向量，以生成第二特征向量集合；基于所述第一特征向量集合和所述第二特征向量集合，生成所述样本文本问题对应的第一融合特征向量和所述样本图像问题对应的第二融合特征向量；根据所述第一融合特征向量和所述第二融合特征向量，得到样本融合向量；根据所述样本融合向量，对待训练的问答模型进行训练，以生成目标问答模型。2.根据权利要求1所述的方法，其中，所述方法还包括：基于所述第一特征向量和所述第二特征向量，获取文本与图像之间的两个关联度，所述两个关联度包括样本对象内的关联度和样本对象间的关联度，所述样本对象为所述样本文本问题和所述样本图像问题中的一个；基于所述样本对象内的关联度，对所述样本对象对应的关联特征向量进行修正；基于所述样本对象间的关联度，对所述样本文本问题和所述样本图像问题中除所述样本对象之外的另一个对象对应的关联特征向量进行修正；所述基于所述第一特征向量集合和所述第二特征向量集合，生成所述样本文本问题对应的第一融合特征向量和所述样本图像问题对应的第二融合特征向量，包括：根据两个修正后的关联特征向量，得到所述样本对象对应的融合特征向量。3.根据权利要求2所述的方法，其中，所述方法还包括：对所述两个关联度进行归一化，以获取所述两个关联度各自对应的权重值；所述基于所述样本对象内的关联度，对所述样本对象对应的关联特征向量进行修正，包括：基于所述样本对象内的关联度对应的权重值，对所述样本对象对应的关联特征向量进行修正；所述基于所述样本对象间的关联度，对所述样本文本问题和所述样本图像问题中除所述样本对象之外的另一个对象对应的关联特征向量进行修正，包括：基于所述样本对象间的关联度对应的权重值，对所述样本文本问题和所述样本图像问题中除所述样本对象之外的另一个对象对应的关联特征向量进行修正。4.根据权利要求1
‑
3任一项所述的方法，其中，所述基于所述第一特征向量集合和所述第二特征向量集合，生成所述样本文本问题对应的第一融合特征向量，包括：获取两个维度上的所述第一特征向量之间的第一关联度，所述第一关联度用于表征所述样本文本问题内文本与图像之间的关联度；获取所述文本维度上的所述第一特征向量和所述图像维度上的所述第二特征向量之间的第二关联度，所述第二关联度用于表征所述样本文本问题和所述样本图像问题间文本与图像之间的关联度；基于所述第一关联度，对所述第一关联特征向量进行修正，得到第一目标关联特征向量；基于所述第二关联度，对所述第二关联特征向量进行修正，得到第二目标关联特征向
量；根据所述第一目标关联特征向量和所述第二目标关联特征向量，生成所述第一融合特征向量。5.根据权利要求1
‑
3任一项所述的方法，其中，所述基于所述第一特征向量集合和所述第二特征向量集合，生成所述样本图像问题对应的第二融合特征向量，包括：获取两个维度上的所述第二特征向量之间的第三关联度，所述第三关联度用于表征所述样本图像问题内文本与图像之间的关联度；获取所述图像维度上的所述第一特征向量和所述文本维度上的所述第二特征向量之间的第四关联度，所述第四关联度用于表征所述样本图像问题和所述样本文本问题间文本与图像之间的关联度；基于所述第三关联度，对所述第二关联特征向量进行修正，得到第三目标关联特征向量；基于所述第四关联度，对所述第一关联特征向量进行修正，得到第四目标关联特征向量；根据所述第三目标关联特征向量和所述第四目标关联特征向量，生成所述第二融合特征向量。6.根据权利要求1所述的方法，其中，所述方法还包括：通过以下方式获取文本维度上的第一特征向量或文本维度上的第二特征向量：获取所述样本对象的特征信息，并基于特征信息和文本提取矩阵，获取所述文本维度上的特征向量，其中，所述样本对象为所述样本文本问题和所述样本图像问题中的一个；和/或通过以下方式获取图像维度上的第一特征向量或图像维度上的第二特征向量：获取所述样本对象的特征信息，并基于所述特征信息和图像提取矩阵，获取所述图像维度上的特征向量，其中，所述样本对象为所述样本文本问题和所述样本图像问题中的一个；和/或通过以下方式获取所述第一关联特征向量或所述第二关联特征向量：获取所述样本对象的特征信息，并基于所述特征信息和关联提取矩阵，获取所述样本对象的关联特征向量，其中，所述样本对象为所述样本文本问题和所述样本图像问题中的一个。7.根据权利要求1所述的方法，其中，所述根据所述样本融合向量，对待训练的问答模型进行训练，以生成目标问答模型，包括：根据所述样本融合向量，对所述待训练的问答模型进行训练，并获取当前轮次的模型训练的损失函数；根据所述损失函数，对所述待训练的问答模型的模型参数进行调整，生成所述目标问答模型。8.一种答案的获取方法，包括：获取针对待解答问题的文本问题和图像问题；获取所述文本问题分别在文本维度和图像维度上的第一待解答特征向量和两个维度间的第一待解答关联特征向量，以生成第一待解答特征向量集合；
获取所述图像问题分别在文本维度和图像维度上的第二待解答特征向量和两个维度间的第二待解答关联特征向量，以生成第二待解答特征向量集合；基于所述第一待解答特征向量集合和所述第二待解答特征向量集合，生成所述文本问题对应的第一待解答融合特征向量和所述图像问题对应的第二待解答融合特征向量；根据所述第一待解答融合特征向量和所述第二待解答融合特征向量，得到问题融合向量，并根据所述问题融合向量，获取所述问题的目标答案。9.根据权利要求8所述的方法，其中，所述方法还包括：基于所述第一待解答特征向量和所述第二待解答特征向量，获取所述待解答问题中的文本和图像之间的两个关联度，其中，所述两个关联度包括待解答对象内的关联度和待解答对象间的关联度，所述待解答对象为所述文本问题和所述图像问题中的一个；基于所述待解答对象内的关联度，对所述待解答对象对应的待解答关联特征向量进行修正；基于所述待解答对象间的关联度，对所述文本问题和所述图像问题中所述待解答对象之外的另一个待解答对象对应的待解答关联特征向量进行修正；所述基于所述第一待解答特征向量集合和所述第二待解答特征向量集合，生成所述文本问题对应的第一待解答融合特征向量和所述图像问题对应的第二待解答融合特征向量，包括：根据两个所述修正后的两个待解答关联特征向量，得到所述待解答对象对应的待解答融合特征向量。10.根据权利要求9所述的方法，其中，所述方法还包括：对所述两个关联度进行归一化，以获取所述两个关联度各自的权重值；所述基于所述待解答对象内的关联度，对所述待解答对象对应的待解答关联特征向量进行修正，包括：基于所述待解答对象内的关联度对应的权重值，对所述待解答对象对应的待解答关联特征向量进行修正；所述基于所述待解答对象间的关联度，对所述文本问题和所述图像问题中除所述待解答对象之外的另一个待解答对象对应的待解答关联特征向量进行修正，包括：基于所述待解答对象间的关联度对应的权重值，对所述文本问题和所述图像问题中除所述待解答对象之外的另一个待解答对象对应的待解答关联特征向量进行修正。11.根据权利要求8
‑
10任一项所述的方法，其中，所述基于所述第一特征向量集合和所述第二特征向量集合，生成文本问题对应的第一融合特征向量，包括：获取两个维度上的所述第一待解答特征向量之间的第一关联度，所述第一关联度用于表征所述文本问题内文本与图像之间的关联度；获取所述文本维度上的所述第一待解答特征向量和所述图像维度上的所述第二待解答特征向量之间的第二关联度，所述第二关联度用于表征所述文本问题和所述图像问题间文本与图像之间的关联度；基于所述第一关联度，对所述第一待解答关联特征向量进行修正，得到第一待解答目标关联特征向量；基于所述第二关联度，对所述第二待解答关联特征向量进行修正，得到第二待解答目
标关联特征向量；根据所述第一待解答目标关联特征向量和所述第二待解答目标关联特征向量，生成所述第一待解答融合特征向量。12.根据权利要求8
‑
10任一项所述的方法，其中，所述基于所述第一特征向量集合和所述第二特征向量集合，生成图像问题对应的第二融合特征向量，包括：获取两个维度上的所述第二待解答特征向量之间的第三关联度，所述第三关联度用于表征所述图像问题内文本与图像之间的关联度；获取所述图像维度上的所述第一待解答特征向量和所述文本维度上的所述第二待解答特征向量之间的第四关联度，所述第四关联度用于表征所述图像问题和所述文本问题间文本与图像之间的关联度；基于所述第三关联度，对所述第二待解答关联特征向量进行修正，得到第三目标关联特征向量；基于所述第四关联度，对所述第一待解答关联特征向量进行修正，得到第四目标关联特征向量；根据所述第三待解答目标关联特征向量和所述第四待解答目标关联特征向量，生成所述第二待解答融合特征向量。13.根据权利要求8所述的方法，其中，所述方法还包括：通过以下方式获取文本维度上的第一待解答特征向量或文本维度上的第二待解答特征向量：获取所述待解答对象的特征信息，并基于特征信息和文本提取矩阵，获取所述文本维度上的待解答特征向量，其中，所述待解答对象为所述文本问题和所述图像问题中的一个；和/或通过以下方式获取图像维度上的第一待解答特征向量或图像维度上的第二待解答特征向量：获取所述待解答对象的特征信息，并基于所述特征信息和图像提取矩阵，获取所述图像维度上的待解答特征向量，其中，所述待解答对象为所述文本问题和所述图像问题中的一个；通过以下方式获取所述第一待解答关联特征向量或所述第二待解答关联特征向量：获取所述待解答对象的特征信息，并基于所述特征信息和关联提取矩阵，获取所述待解答对象的待解答关联特征向量，其中，所述待解答对象为所述文本问题和所述图像问题中的一个。14.根据权利要求8所述的方法，其中，所述方法还包括：将所述问题融合向量输入训练好的目标问答模型中，基于所述目标问答模型，获取所述待解答问题的所述目标答案。15.一种问答模型的训练装置，包括：获取模块，用于获取样本文本问题分别在文本维度和图像维度上的第一特征向量和两个维...

【专利技术属性】
技术研发人员：姜泽青，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：