一种内窥镜超声影像的处理方法及系统技术方案

本发明专利技术提供一种内窥镜超声影像的处理方法及系统，所述方法包括：获取CP‑EBUS成像技术中三个模式的超声影像，其中，三个模式是指弹性模式E、灰阶模式B和多普勒血流模式F；采用多模态神经网络对三个模式的所述超声影像进行分类，得到识别淋巴结的处理结果。本发明专利技术使用CP‑EBUS成像技术中三个模式的图像数据，通过多模态神经网络对这些图像进行处理，能够更为准确的识别超声影像的淋巴结，从而有助于提升淋巴结诊断的准确率。

【技术实现步骤摘要】
一种内窥镜超声影像的处理方法及系统
本专利技术涉及医疗图像处理
，具体地说，涉及的是一种内窥镜超声影像的处理方法及系统。
技术介绍
超声内窥镜是一种填补了普通内镜、体表超声和CT等所不能覆盖的一些特殊适应症的内窥镜。CP-EBUS(凸阵探头超声支气管镜)是一种微创的胸内淋巴结诊断技术，该技术利用装有活检针、超声装置和内窥镜的探头精确地由支气管进入待检的淋巴结附近，利用活检针可以取得目标淋巴结的组织成分，通过对取出组织的病理分析可以对病人的疾病进行准确的诊断。然而由于活检取得的组织量较少，活检的诊断有着20％的假阴性。在取得活检组织的过程中，超声装置可以获取不同模态下的淋巴结的超声影像，现有研究表明，这些超声影像对于淋巴结良恶性的诊断有着重要的价值。依据超声影像的诊断结果，可以帮助医生在活检过程中挑选合适的淋巴结进行穿刺，同时也可以作为活检诊断的一个补充，弥补活检诊断的缺陷。现有的对CP-EBUS影像的诊断分为半定量或者定量方法，其中半定量方法主要依赖于医生对影像中某种特征的观察，例如，观察灰阶B模式影像中的淋巴结的轮廓，如果轮廓清本文档来自技高网...

【技术保护点】
1.一种内窥镜超声影像的处理方法，其特征在于，包括：/n获取CP-EBUS成像技术中三个模式的超声影像，其中，三个模式是指弹性模式E、灰阶模式B和多普勒血流模式F；/n采用多模态神经网络对三个模式的所述超声影像进行分类，得到识别淋巴结的处理结果。/n

【技术特征摘要】
1.一种内窥镜超声影像的处理方法，其特征在于，包括：
获取CP-EBUS成像技术中三个模式的超声影像，其中，三个模式是指弹性模式E、灰阶模式B和多普勒血流模式F；
采用多模态神经网络对三个模式的所述超声影像进行分类，得到识别淋巴结的处理结果。


2.根据权利要求1所述的内窥镜超声影像的处理方法，其特征在于，所述采用多模态神经网络对三个模式的所述超声影像进行分类，包括：
提取每个模式的超声影像的图像特征；
对每个模式的图像特征进行特征融合，得到三个模式的图像融合特征；
对所述图像融合特征进行分类，得到识别淋巴结的处理结果。


3.根据权利要求1所述的内窥镜超声影像的处理方法，其特征在于，所述提取每个模式的超声影像的图像特征，包括：
将每个模式的超声影像输入神经网络；
所述神经网络利用卷积操作、注意力机制与跨层连接操作对每个模式的超声影像进行特征提取，得到对应的图像特征。


4.根据权利要求1所述的内窥镜超声影像的处理方法，其特征在于，所述对每个模式的图像特征进行特征融合，包括：
利用可学习的加权连接操作将不同模态的图像特征进行融合，得到多模态影像的一个综合表达，即三个模式的图像融合特征。


5.根据权利要求1所述的内窥镜超声影像的处理方法，其特征在于，所述特征融合采用特征融合模块来实现，所述特征融合模块有多个，每一个特征融合模块的融合操作分为四路；
对于提取的三个模式超声影像的图像特征,分别用其中三路直接输出收到的原始信号，第四路根据特征融合模块的相对位置，输出略有不同；
对于第一个特征融合模块的融合操作，第四路对其它三路的三个特征进行加权拼接；对于随后特征融合模块的融合操作，首先对三个特征进行加权连接，接着对上一层的融合特征与当前的融合特征进行跨层间的特征融合。


6.根据权利要求1所述的内窥镜超声影像的处理方法，其特征在于，所述方法还包括图像预处理，在所述提取每个模式的超声影像的图像特征之前进行，使每个模态的所述超声影像预处理后适合作为神经网络的输入。


7.根据权利要求6所述的内窥镜超声影像的处理方法，其特征在于，所述图像预处理包括：
对弹性E模式和多普勒血流F模式图像中的扫描框进行自动定位，依据该定位利用最小矩形框选取重点分析区域。


8.根据权利要求7所述的内窥镜超声影像的处理方法，其特征...

【专利技术属性】
技术研发人员：戴文睿，李锦，李成林，邹君妮，熊红凯，
申请(专利权)人：上海交通大学烟台信息技术研究院，
类型：发明
国别省市：山东;37