自动问答匹配方法、装置、计算机设备及存储介质制造方法及图纸

本申请实施例属于人工智能领域，应用于医疗领域中，涉及一种自动问答匹配方法，包括获取图像数据、提问文本和参考文本，对图像数据、提问文本和参考文本分别进行预处理，得到分割图像、第一分词文本和第二分词文本；对分割图像、第一分词文本和第二分词文本进行位置编码、分割编码和嵌入编码，得到位置向量、分割向量和嵌入向量；对得到的向量进行向量拼接，得到融合表征向量，输入融合表征向量至多模态模型计算，得到目标答复文本。本申请还提供一种自动问答匹配装置、计算机设备及存储介质。此外，目标答复文本可存储于区块链中。本申请实现了基于图像和文本的自动问答，提高了问答的效率和准确率。效率和准确率。效率和准确率。

Automatic question and answer matching method, device, computer equipment and storage medium

【技术实现步骤摘要】
自动问答匹配方法、装置、计算机设备及存储介质


[0001]本申请涉及人工智能
，尤其涉及一种自动问答匹配方法、装置、计算机设备及存储介质。

技术介绍

[0002]近年来，随着计算力和数据量的大幅度提升，人工智能技术获得进一步的发展，应用人工智能解决医疗领域问题已成为了热点。然而，在医疗领域中，在医生对患者进行诊断时，往往需要人工地查看患者图片进行判断，其过程复杂，耗时长，最终导致医疗问诊准确率低下的问题。

技术实现思路

[0003]本申请实施例的目的在于提出一种自动问答匹配方法、装置、计算机设备及存储介质，以解决问诊准确率低下的技术问题。
[0004]为了解决上述技术问题，本申请实施例提供一种自动问答匹配方法，采用了如下所述的技术方案：
[0005]获取图像数据、提问文本和参考文本，对所述图像数据、所述提问文本和所述参考文本分别进行预处理，得到分割图像、第一分词文本和第二分词文本；
[0006]对所述分割图像、所述第一分词文本和所述第二分词文本进行位置编码，得到位置向量，对所述分割图像、所述第一分词本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自动问答匹配方法，其特征在于，包括下述步骤：获取图像数据、提问文本和参考文本，对所述图像数据、所述提问文本和所述参考文本分别进行预处理，得到分割图像、第一分词文本和第二分词文本；对所述分割图像、所述第一分词文本和所述第二分词文本进行位置编码，得到位置向量，对所述分割图像、所述第一分词文本和所述第二分词文本进行分割编码，得到分割向量，对所述分割图像、所述第一分词文本和所述第二分词文本进行嵌入编码，得到嵌入向量；对所述嵌入向量、所述位置向量和所述分割向量进行向量拼接，得到融合表征向量，获取训练好的多模态模型，输入所述融合表征向量至所述多模态模型计算，得到所述提问文本对应的目标答复文本。2.根据权利要求1所述的自动问答匹配方法，其特征在于，所述对所述分割图像、所述第一分词文本和所述第二分词文本进行嵌入编码，得到嵌入向量的步骤包括：分别计算所述第一分词文本和所述第二分词文本的编码信息，得到所述第一分词文本对应的第一文本嵌入编码，以及所述第二分词文本对应的第二文本嵌入编码；获取所述第一文本嵌入编码或第二文本嵌入编码的向量维度，根据所述向量维度将所述分割图像映射至目标维度，得到图像嵌入编码；对所述第一文本嵌入编码、所述第二文本嵌入编码和所述图像嵌入编码进行拼接，得到所述嵌入向量。3.根据权利要求1所述的自动问答匹配方法，其特征在于，所述对所述分割图像、所述第一分词文本和所述第二分词文本进行分割编码，得到分割向量的步骤包括：获取所述分割图像、所述第一分词文本和所述第二分词文本的角色标记；按照预设顺序对所述角色标记进行拼接及编码，得到所述分割向量。4.根据权利要求1所述的自动问答匹配方法，其特征在于，所述获取训练好的多模态模型的步骤包括：采集多组医疗问诊数据，对所述医疗问诊数据进行拆分得到训练样本；输入所述训练样本至基础预测模型中，计算得到目标损失函数，根据所述目标损失函数对所述基础预测模型训练，在所述目标损失函数为最小值时，确定所述基础预测模型训练完成，得到所述多模态模型。5.根据权利要求4所述的自动问答匹配方法，其特征在于，所述输入所述训练样本至基础预测模型中，计算得到目标损失函数的步骤包括：计算所述训练样本的文本掩码损失、图片损失以及预测损失，根据所述文本掩码损失、所述图片损失以及所述预测损失，生成所述目标...

【专利技术属性】
技术研发人员：姚海申，孙行智，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：