【技术实现步骤摘要】
本专利技术涉及人工智能领域，具体为一种基于注意力机制的多模态特征融合方法及系统。
技术介绍
1、医学图像（如mri或ct扫描）可以揭示解剖学和结构性变化，而医学指标（如血液测试结果）则提供了生化和生理学信息，患者的个人信息（如饮酒史、家族遗传史）提供了个人相关的疾病信息。医生在对患者的健康例如脑卒中风险预测中，会将这些信息结合起来，从多个角度评估疾病，更容易识别复杂的病理过程和早期异常。将图像、文本这些信息进行融合，并通过某种方式结合，以便更好地表示和理解数据的综合信息，有助于综合分析和处理。
2、特征融合过程可以在原始数据层、特征层或决策层进行，按照融合的阶段分为早期融合、中期融合和晚期融合，常见的融合方式有特征拼接、特征之间相乘或者求外积、通过不同的采样实现融合等，这些融合方法一般是通用的融合方式，针对医学例如脑卒中的预测和分析中，这些通用的融合方法适用性并不高，实际应用中，效果并不理想，如何提高特征融合对最后结果的影响是本领域亟待解决的问题。
技术实现思路
1、为了解决上...
【技术保护点】
1.一种基于注意力机制的多模态特征融合方法，其特征在于，所述方法包括以下步骤：
2.如权利要求1所述的方法，其特征在于，所述基于图像对应的多头注意力矩阵、词项对应的多头注意力矩阵、以及以词项为基准的融合特征矩阵、以图像为基准的融合特征矩阵得到图像和词项的融合特征图，具体为：
3.如权利要求1所述的方法，其特征在于，所述将图像对应的多头注意力矩阵拼接到词项对应的每个注意力头输出的注意力矩阵上，计算得到以词项为基准的融合特征矩阵，具体为：
4.如权利要求1所述的方法，其特征在于，所述将词项对应的多头注意力矩阵拼接到图像对应的每个注意力头...
【技术特征摘要】
1.一种基于注意力机制的多模态特征融合方法，其特征在于，所述方法包括以下步骤：
2.如权利要求1所述的方法，其特征在于，所述基于图像对应的多头注意力矩阵、词项对应的多头注意力矩阵、以及以词项为基准的融合特征矩阵、以图像为基准的融合特征矩阵得到图像和词项的融合特征图，具体为：
3.如权利要求1所述的方法，其特征在于，所述将图像对应的多头注意力矩阵拼接到词项对应的每个注意力头输出的注意力矩阵上，计算得到以词项为基准的融合特征矩阵，具体为：
4.如权利要求1所述的方法，其特征在于，所述将词项对应的多头注意力矩阵拼接到图像对应的每个注意力头输出的注意力矩阵上，计算得到以图像为基准的融合特征矩阵，具体为：
5.如权利要求1所述的方法，其特征在于，在得到图像和词项的融合特征图之后，还包括：
6.一种...
【专利技术属性】
技术研发人员：高景宏，王成增，李丽萍，宋晓琴，石晓博，任明星，张文杰，马倩倩，
申请(专利权)人：汕头大学医学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。