本发明专利技术公开了一种基于可变形注意力的图文融合多模态小肠病灶识别方法；先通过将小肠病灶图像信息输入到第一预训练模型中，得到图像特征向量，将内镜检查报告单中的文本信息输入到第二预训练模型中，得到文本特征向量；接着构建基于可变形注意力的小肠病灶识别网络模型，并将图像特征向量和文本特征向量输入到该模型中进行图文特征融合和识别；通过多次迭代训练，优化模型参数，获得最优权重模型；最后，将待识别的小肠病灶图像输入到最优权重模型中进行识别和评估。本发明专利技术的识别方法基于可变形注意力的融合方式对图像和文本两种模态信息进行融合和识别，可以发挥模态信息的交互互补作用，提高对小肠病灶的识别精度。
【技术实现步骤摘要】
本专利技术涉及医学图像数据处理，特别涉及一种基于可变形注意力的图文融合多模态小肠病灶识别方法。
技术介绍
1、近年来，随着科技的发展，无线胶囊内窥镜(wireless capsule endoscopy)作为一种无痛、无创的成像工具在临床上得到了广泛应用；而且由于其能够完整观测小肠，目前已逐渐成为医生检测小肠病变的手段之一。使用时，病人将胶囊内窥镜从口腔吞入，在体内停留约8-12个小时，通过胃肠道的蠕动，胶囊内窥镜拍摄约50000-100000帧的视频图像。医生在审阅内窥镜视频图像时需要花费巨大的时间和精力，还可能会发生误诊漏诊的情况。因此亟需计算机辅助诊断算法辅助医生做出快速精准的诊断和处理。现有技术中，基于深度学习的肠道病灶识别方法主要是利用卷积神经网络提取出有关病灶的特征信息进行识别与分类，缩短医生审阅视频图像的时间。但是，这种方法目前还只停留在医学图像层面，忽略了小肠病灶在其发展的各个阶段可能存在的一些差异，也没有充分利用临床诊断报告中的文本信息和先验知识等多模态医疗信息，从而导致存在对小肠病灶的识别精度较低的问题。
r/>技本文档来自技高网...
【技术保护点】
1.基于可变形注意力的图文融合多模态小肠病灶识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于可变形注意力的图文融合多模态小肠病灶识别方法，其特征在于：所述步骤3中，小肠病灶识别网络模型包括多个并联的可变形注意力，每个可变形注意力的输出分别经过一个激活层。
3.根据权利要求2所述的基于可变形注意力的图文融合多模态小肠病灶识别方法，其特征在于：所述步骤3中，每个可变形注意力均具有三个输入序列Q_seq、K_seq、V_seq；将图像特征向量和文本特征向量输入到可变形注意力中后，先计算三个输入序列Q_seq、K_seq、V_seq与权重矩阵WQ、WK、...
【技术特征摘要】
1.基于可变形注意力的图文融合多模态小肠病灶识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于可变形注意力的图文融合多模态小肠病灶识别方法，其特征在于：所述步骤3中，小肠病灶识别网络模型包括多个并联的可变形注意力，每个可变形注意力的输出分别经过一个激活层。
3.根据权利要求2所述的基于可变形注意力的图文融合多模态小肠病灶识别方法，其特征在于：所述步骤3中，每个可变形注意力均具有三个输入序列q_seq、k_seq、v_seq；将图像特征向量和文本特征向量输入到可变形注意力中后，先计算三个输入序列q_seq、k_seq、v_seq与权重矩阵wq、wk、wv的乘积，得到q、k、v；然后，计算q和ki的点积来衡量输入序列的相似度：similarity(q,ki)＝q·ki，i≥1；接着进行softmax归一化处理，得到一组注意力权重系数ai，并根据这组注意力权重系数ai对v进行加权求和得到a_output：其中dk为k的维度大小；最后，将a_output进行维度变换并输入可变形卷积。
4.根据权利要求3所述的基于可变形注意力的图文融合多模态小肠病灶识别方法，其特征在于：所述可变形卷积的公式为：其中r为采样点距p0点的偏移量，p0是卷积中心点，pn为卷积核中每个点相对于中心点的偏移量，δpn为学习到的偏移量，w(pn)表示卷积核对应位置的权重，x(p0+pn+δpn)为输入特征图中添加了偏移量δpn的pn点对应数值...
【专利技术属性】
技术研发人员：黎宏章，彭雨阳，曾万里，徐雪华，何熊熊，
申请(专利权)人：三门县人民医院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。