一种基于EXAIL类算法的腹腔镜图像多模态解释方法及系统技术方案

本发明专利技术公开了一种基于EXAIL类算法的腹腔镜图像多模态解释方法。获取腹腔镜手术图像数据，结合血管信息实时添加标签，并生成腹腔镜血管数据库；采用完美反射算法对原始内窥镜数据进行图像预处理，并采用letterbox方法修改图像尺寸；构建至少一个基于EXAIL类算法的内窥镜图像血管解释模型；采用搭建的概念识别基于SAM

【技术实现步骤摘要】
一种基于EXAIL类算法的腹腔镜图像多模态解释方法及系统


[0001]本专利技术属于医学类计算机跨学科领域和人工智能计算机视觉算法
，具体涉及一种基于EXAIL类算法的腹腔镜图像多模态解释方法、系统、平台及存储介质。

技术介绍

[0002]腹腔镜(Laparoscope)与胃镜、结肠镜类似，是一种带有光源和微型摄像头的医疗器械，属于三类医疗器械。其整套设备包括腹腔镜、能源系统、光源系统、灌流系统、成像系统以及常用的腹腔镜手术器械(如穿刺针、套管针、分离钳、电凝钩及电凝棒、施夹器、钛夹、剪刀、持针器、圈套器等)，主要用于普通外科、妇科外科和其他外科手术。在腹腔镜手术中，医生通过患者腹部很小的创口将腹腔镜送入腹腔内，腹腔镜的摄像头就可以回传患者腹腔内部情况到录像监视系统的监视器上供医生检查和手术操作。相对于传统的开腹手术，腹腔镜手术具有创伤小、术后疼痛轻，恢复快，美观等优点。因此在临床术式的选择中广受医生和患者的青睐。然而，目前腹腔镜手术中的一个很大的难题就在于：在手术中如何能及时发现重要的血管或组织器官，这对术中患者存活率有直接的影响。目前本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于EXAIL类算法的腹腔镜图像多模态解释方法，其特征在于，所述方法，包括如下步骤：获取腹腔镜手术图像数据，结合血管信息实时添加标签，并生成腹腔镜血管数据库；其中，所述图像数据包括图片数据和视频数据；采用完美反射算法对原始内窥镜数据进行图像预处理，并采用letterbox方法修改图像尺寸；构建至少一个基于EXAIL类算法的内窥镜图像血管解释模型；采用搭建的概念识别基于SAM
‑
Bilinear的分类器处理内窥镜数据集训练SRL
‑
CNN网络并保存模型；同时采用测试集数据进行实时测试解释模式；将模型部署至GPU模块上处理客户端传输的图片，并将处理结果返还至交互界面。2.根据权利要求1所述的一种基于EXAIL类算法的腹腔镜图像多模态解释方法，其特征在于，所述采用完美反射算法对原始内窥镜数据进行图像预处理，并采用letterbox方法修改图像尺寸，还包括步骤：根据输入尺寸和原始输入图尺寸计算生成收缩比r；通过收缩比乘原图长宽实时生成尺寸缩放后的图像；计算收缩后图像中需要填补的面积，并实时填补像素。3.根据权利要求1或2所述的一种基于EXAIL类算法的腹腔镜图像多模态解释方法，其特征在于，所述完美反射的算法的步骤包括如下：计算每个像素的R、G、B之和；按R+G+B值的大小生成其前比例R％的值，将其作为参考点的阈值T；对图像中的每个点，计算其中R+G+B值大于T的所有点的R、G、B分量的累积和的平均值；同时对每个点将像素进行量化。4.根据权利要求1所述的一种基于EXAIL类算法的腹腔镜图像多模态解释方法，其特征在于，所述构建至少一个基于EXAIL类算法的内窥镜图像血管解释模型，还包括步骤：利用概念标识符使用概念激活向量，将疾病相关的血管组织学概念映射至基于DL的模型；通过概念定位图，获取在训练图像分类器潜在空间中，定位与学习概念相关的区域；生成概念标识符接收给定图像的所有概念预测得分，并将概念得分转化为可解释医学诊断文本，同时对分类结果进行解释。5.根据权利要求1所述的一种基于EXAIL类算法的腹腔镜图像多模态解释方法，其特征在于，所述采用搭建的概念识别基于SAM
‑
Bilinear的分类器处理内窥镜数据集训练SRL
‑
CNN网络并保存模型；同时采用测试集数据进行实时测试解释模式，还包括步骤：结合注意池方案，生成图像特征；通过生成注意力图的最大值，近似识别对象关键部分的并集。6.根据权利要求5所述的一种基于EXAIL类算法的腹腔镜图像多模态解释方法，其特征在于，所述结合注意池方案，生成图像特征的计算公式如下：
其中，表示最后的卷积层特征地图；指一个D维的实数；D为维度，也就是通道数；代表实数集合；f为特征值；A为注意力极值运算矩阵；所述过生成注意力图的最大值，近似识别对象关键部分的并集的计算公式如下：其中，i为第i行，j为第j列；A
u
为注意力矩阵；A
k
的值最大矩阵；k是指设定的一张特征图提取的小特征图个数，是一个可调参数；A...

【专利技术属性】
技术研发人员：郑飞州，陈政霖，李昭睿，
申请(专利权)人：广州中平智能科技有限公司，
类型：发明
国别省市：