基于图像文本的多模态任务处理方法、装置、设备及介质制造方法及图纸

本发明专利技术涉及人工智能领域，揭露一种可用于医疗图像和病历文本进行综合分析的基于图像文本的多模态任务处理方法，包括：对文本特征及图像特征分别进行预设头数量的多头注意力加权，得到每个顺序的头对应的文本加权特征及图像加权特征；基于softmax函数对每个顺序的头对应的文本加权特征及图像加权特征进行特征融合，得到每个顺序的头对应的融合特征向量；将所有融合特征向量进行拼接及特征压缩，得到目标融合特征；利用预构建的多模态模型的输出层对目标融合特征进行任务处理，得到任务处理结果。本发明专利技术还提出一种基于图像文本的多模态任务处理装置、设备以及介质，可用于医疗领域，提高基于医疗图像及病历文本的多模态任务处理的准确率。务处理的准确率。务处理的准确率。

【技术实现步骤摘要】
基于图像文本的多模态任务处理方法、装置、设备及介质


[0001]本专利技术涉及数字医疗领域，尤其涉及一种基于图像文本的多模态任务处理方法、装置、设备及介质。

技术介绍

[0002]随着人工智能的发展，单一模态的任务处理逐渐无法满足人们的需要，因此多模态的任务处理(如利用ViLBERT模型进行多模态任务处理)越来越受到人们的重视，尤其是基于图像文本的多模态任务处理(如：数字医疗场景中基于患者的医疗图像及病历文本进行综合的诊断分析，进而根据分析结果对患者进行更有针对性的检查和诊断)。
[0003]但是现有的基于图像文本的多模态任务处理，如基于患者的医疗图像及病历文本分析患者病情的多模态任务处理，基于单头注意力特征进行特征提取，无法准确的捕捉文本和图像之间的交互融合特征，导致基于医疗图像及病历文本的多模态任务处理的准确率较低。

技术实现思路

[0004]本专利技术提供一种基于图像文本的多模态任务处理方法、装置、设备及存储介质，其主要目的在于提高了基于医疗图像及病历文本的多模态任务处理的准确率。
[0005]获取待处理任本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像文本的多模态任务处理方法，其特征在于，所述方法包括：获取待处理任务的文本特征和图像特征；对所述文本特征进行预设头数量的多头注意力加权，得到每个顺序的头对应的文本加权特征；对所述图像特征进行所述头数量的多头注意力加权，得到每个顺序的头对应的图像加权特征；基于softmax函数对每个顺序的头对应的文本加权特征及图像加权特征进行特征融合，得到每个顺序的头对应的融合特征向量；将所有所述融合特征向量进行拼接，得到初始融合特征，并对所述初始融合特征进行特征压缩，得到目标融合特征；利用预构建的多模态模型的输出层对所述目标融合特征进行任务处理，得到任务处理结果。2.如权利要求1所述的基于图像文本的多模态任务处理方法，其特征在于，所述获取待处理任务的文本特征和图像特征，包括：获取所述待处理任务对应患者的医疗图像及病历文本；将所述医疗图像转化为向量，得到所述图像特征；将所述病历文本转化为向量，得到所述文本特征。3.如权利要求2所述的基于图像文本的多模态任务处理方法，其特征在于，所述将所述医疗图像转化为向量，得到所述图像特征，包括：将所述医疗图像进行二值化，得到初始特征图像；将所述初始特征图像每一列像素的灰度值作为该列的图像特征子向量；将所有所述图像特征子向量按照对应的列在所述初始特征图像中的先后顺序进行组合，得到所述图像特征。4.如权利要求1所述的基于图像文本的多模态任务处理方法，其特征在于，所述对所述文本特征进行预设头数量的多头注意力加权，得到每个顺序的头对应的文本加权特征，包括：基于多头注意力机制及所述头数量对所述文本加权特征进行分头注意力加权，得到每个顺序的头对应的文本特征加权信息；提取每个顺序的头对应的所述文本特征加权信息中的文本查询权重矩阵及文本键权重矩阵，得到每个顺序的头对应的文本查询权重矩阵及文本键权重矩阵；利用每个顺序的头对应的所述文本查询权重矩阵及所述文本键权重矩阵进行计算，得到每个顺序的头对应的文本加权特征。5.如权利要求4所述的基于图像文本的多模态任务处理方法，其特征在于，所述基于softmax函数对每个顺序的头对应的文本加权特征及图像加权特征进行特征融合，得到每个顺序的头对应的融合特征向量，包括：提取每个顺序的头对应的所述文本特征加权信息中的文本值权重矩阵，得到每个顺序的头对应的文本值权重矩阵；利用每个顺序的头对应的所述文本值权重矩阵及所述文本加权特征进行计算，得到每个顺序的头对应的目标文本特征；
提取每个顺序的头对应的所述图像特征加权信息中的图像...

【专利技术属性】
技术研发人员：刘羲，董孟帆，舒畅，陈又新，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：