多模态图像及光谱曲线结合的内窥镜辅助诊疗系统及方法技术方案

多模态图像及光谱曲线结合的内窥镜辅助诊疗系统，包括置于探测软管内的光声内窥模组和光谱内窥模组，及位于探测软管末端的锥面反射镜，所述光声内窥模组包括超声换能器；探测软管的管头盖板设置有光声内窥模组和光谱内窥模组的探测用通孔；所述诊疗系统还包括数据采集与处理系统,所述数据采集与处理系统包括与光声内窥模组中超声图像模块连接的光声成像模块,与所述超声换能器连接的超声图像模块。本发明专利技术结合了光学图像、光声图像、光谱曲线和超声图像，为医生提供了更直观准确病灶区域早期判断依据，有效提高了检测人体内部癌病变分期的灵敏度，为进一步靶向活检和引导精准诊疗提供了判断基础。疗提供了判断基础。疗提供了判断基础。

【技术实现步骤摘要】
多模态图像及光谱曲线结合的内窥镜辅助诊疗系统及方法


[0001]本专利技术属于医疗
，涉及内窥镜技术，具体涉及一种多模态图像及光谱曲线结合的内窥镜辅助诊疗系统及方法。

技术介绍

[0002]内窥镜是集成了光学、人体工程学、精密机械、现代电子、数学、软件等一体化的检测仪器，它具有体积小、无创、操作方便等诸多优点，一直在工业探伤、质量控制、产品评估和生物医学等领域发挥着重要作用。在临床医学中，操作者通过一个具有图像传感器、光学镜头、光源照明的机械装置，经口腔进入胃内或经其他天然孔进入人体内，利用内窥镜可以看到X射线或其他影像不能显示的病变，使医生可以通过内窥镜实时观察病变区域做出诊断或取病灶活检进行后续病理诊断，例如：肠胃道、胰腺、胆道疾病的检查、腹腔镜检查、呼吸道疾病的检查、泌尿系统疾病的检查等。其中肠胃道疾病中的食管癌是我国常见的消化道恶性肿瘤之一，严重威胁我国居民生命健康，食管癌患者的生存时间与其临床分期密切相关，“早发现、早身段、早治疗”能够有效降低食管癌的发病率和死亡率，早期食管癌患者在接受治疗后5年生存率可达95%。因此精确、安全、高效、经济的新型食管癌早筛内窥式智能辅助诊断技术亟待被研发.现有的光声内窥镜成像技术结合了纯光学成像的高对比度和纯超声图像的深穿透性的优点，从原理上避开了光散射对图像分辨率的影像，实现了对活体深层组织的高分辨率、高对比度成像，其穿透范围可达到cm级，分辨率可达微米级。光声内窥系统将光纤、超声换能器、锥面反射镜及微透镜集成到内窥镜前端探头中，通过旋转光声内窥探头扫描，实现圆周或螺旋激发与采集，经过反演算法将其携带的时间信息和强度信息转化为能够反映生物组织结构和吸收分布图的可视化光声图像，虽然光声内窥镜能够为医生提供高分辨率高对比度的光声图像，但由于生物结构组织的复杂性导致声速分布难以精确重建，使得光声图像出现边界伪影，而对于病变区域出现的边界伪影会导致医生无法通过肉眼直接对病变区域作出准确的判断，医生根据单一的光声图像的三维性能够判断出病人体内癌变细胞的浸润深度和扩散程度，但无法从细胞微观层级上对癌变细胞的类别做出准确的判断。
[0003]而对于光谱内窥成像技术是一种结合了光谱分析技术与光学成像技术的新型成像技术，由于人体内的不同组织对不同波长的光的敏感程度不一样，因此光谱成像技术可以实现光谱分析技术的定性定量分析功能，光谱技术能够获取更多的窄带波谱信息，捕获肉眼无法分辨的细胞层级的微观信息，从而使得医生可以更直观的对病变区域的类别进行划分。但基于光谱内窥和现有的光学内镜图像对消化道的检测仅针对黏膜表层或浅层黏膜下的病变，且无法判断癌细胞的侵润深度和扩散程度，因此对病变发展的时期无法做精准诊断，需结合后续的病理检查。

技术实现思路

[0004]为克服现有技术存在的技术缺陷，本专利技术公开了一种多模态图像及光谱曲线结合
的内窥镜辅助诊疗系统及方法。
[0005]本专利技术所述多模态图像及光谱曲线结合的内窥镜辅助诊疗系统，包括置于探测软管内的光声内窥模组和光谱内窥模组，及位于探测软管末端的锥面反射镜，所述光声内窥模组包括超声换能器；探测软管的管头盖板设置有光声内窥模组和光谱内窥模组的探测用通孔；所述诊疗系统还包括数据采集与处理系统,所述数据采集与处理系统包括与光声内窥模组中超声图像模块连接的光声成像模块,与光谱内窥模组连接的光学成像模块和光谱信息处理模块,与所述超声换能器连接的超声图像模块,以及与各个成像模块连接的多模态信息融合模型；所述多模态信息融合模型包括图像配准融合模型和光谱曲线输入通道，以及与二者连接的多模态融合神经网络模型；其中图像配准融合模型包括光学图像、光声图像、超声图像三个输入通道，图像配准融合模型的功能为将三个输入通道可能输入的图像数据进行图像融合后输出图像融合结果，与光谱曲线输入通道输入的光谱曲线一起输入到多模态融合神经网络模型，所述多模态融合神经网络模型的功能为对输入量进行融合并输出多模态融合结果。
[0006]优选的，所述光声内窥镜头包括光声激发光源及与光声激发光源连接的激光光纤，与激光光纤连接的光声内窥镜头，所述超声换能器安装在激光光纤末端或从外伸到探测软管内。
[0007]优选的，所述光谱内窥模组包括光谱光源，依次置于光谱光源前方的旋转滤光轮和可见光光纤，所述可见光光纤末端为光谱内窥镜头和CMOS组件，所述CMOS组件与所述光学成像模块和光谱信息处理模块连接。
[0008]优选的，所述光谱信息处理模块中接收外部光源的数据接收单元为多元CMOS传感器感知阵列。
[0009]优选的，所述图像配准融合模型包括与所述三个输入通道连接的配准模块，所述配准模块连接图像融合模块，所述图像融合模块连接LBP数据特征提取模块，所述LBP数据特征提取模块连接第一ELM模块，所述光谱曲线输入通道连接第二ELM模块，两个ELM模块与所述多模态融合神经网络模型连接。
[0010]优选的，所述光谱光源的光源波长范围为300纳米
‑
2500纳米。
[0011]本专利技术所述多模态图像及光谱曲线结合的内窥镜辅助诊疗方法，包括如下步骤：步骤1.将探测软管伸入待检测腔体，开启光声光谱结合辅助诊疗系统, 光谱内窥模组接收经腔体内壁反射的光强信号，经光学成像模块和光谱信息处理模块处理获得光谱曲线和光学图像；判断是否存在表层或浅层病变；如判断不存在病变或为表层病变，则进入步骤2或步骤3，否则进入步骤3；步骤2.将光谱曲线和光学图像输入多模态融合神经网络模型进行多模态融合；根据融合结果进行判断；步骤3.超声换能器通过发送和接收反射回来的超声波，经过超声图像模块获得超声图像；光声内窥模组产生激光辐照腔体内壁，采集光声信号并得到检测区域的光声图像；将本步骤和步骤1得到的光谱曲线、光学图像、超声图像和光声图像输入所述多模态融合神经网络模型；
步骤4.多模态融合神经网络模型的图像融合模块对光学图像、超声图像和光声图像进行多模态图像融合，输出图像融合结果；步骤5.将步骤4得到的图像融合结果与光谱曲线进行多模态融合，输出多模态融合结果，根据多模态融合结果进行判断。
[0012]优选的，所述步骤4具体为：步骤41. 首先对光学图像、光声图像、超声图像三个通道输入的图像进行配准，再采用L0梯度平滑算法将不同模态的各个图像分别分解为低频层Lowi和高频层Highi；步骤42.将各个图像的低频层和高频层的信息分别融合后进行加权组合得到图像配准融合模型的图像融合结果，计算公式为：
‑‑
公式8；所述步骤5具体为：步骤51.图像配准融合模型的图像融合结果进行LBP特征提取后送入第一ELM模块ELM1转换，ELM模块的输出方程，ELM模块输出函数f(x)
‑‑
公式9得到单通道的输出类别
‑‑
公式10函数表示取得最大值时对应的x取值，其中h(x)是ELM模块的隐藏层相对于输入量x的输出向量，β是隐藏层与输出层之间的输出权值，α是ELM模块惩罚因子，H是隐藏层相对于所有样本的输出向量，上标T是转置符号，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.多模态图像及光谱曲线结合的内窥镜辅助诊疗系统，其特征在于，包括置于探测软管内的光声内窥模组和光谱内窥模组，及位于探测软管末端的锥面反射镜，所述光声内窥模组包括超声换能器；探测软管的管头盖板设置有光声内窥模组和光谱内窥模组的探测用通孔；所述诊疗系统还包括数据采集与处理系统,所述数据采集与处理系统包括与光声内窥模组中超声图像模块连接的光声成像模块,与光谱内窥模组连接的光学成像模块和光谱信息处理模块,与所述超声换能器连接的超声图像模块,以及与各个成像模块连接的多模态信息融合模型；所述多模态信息融合模型包括图像配准融合模型和光谱曲线输入通道，以及与二者连接的多模态融合神经网络模型；其中图像配准融合模型包括光学图像、光声图像、超声图像三个输入通道，图像配准融合模型的功能为将三个输入通道可能输入的图像数据进行图像融合后输出图像融合结果，与光谱曲线输入通道输入的光谱曲线一起输入到多模态融合神经网络模型，所述多模态融合神经网络模型的功能为对输入量进行融合并输出多模态融合结果。2.如权利要求1所述的辅助诊疗系统，其特征在于，所述光声内窥镜头包括光声激发光源及与光声激发光源连接的激光光纤，与激光光纤连接的光声内窥镜头，所述超声换能器安装在激光光纤末端或从外伸到探测软管内。3.如权利要求1所述的辅助诊疗系统，其特征在于，所述光谱内窥模组包括光谱光源，依次置于光谱光源前方的旋转滤光轮和可见光光纤，所述可见光光纤末端为光谱内窥镜头和CMOS组件，所述CMOS组件与所述光学成像模块和光谱信息处理模块连接。4.如权利要求1所述的辅助诊疗系统，其特征在于，所述光谱信息处理模块中接收外部光源的数据接收单元为多元CMOS传感器感知阵列。5.如权利要求1所述的辅助诊疗系统，其特征在于，所述图像配准融合模型包括与所述三个输入通道连接的配准模块，所述配准模块连接图像融合模块，所述图像融合模块连接LBP数据特征提取模块，所述LBP数据特征提取模块连接第一ELM模块，所述光谱曲线输入通道连接第二ELM模块，两个ELM模块与所述多模态融合神经网络模型连接。6.如权利要求1所述的辅助诊疗系统，其特征在于，所述光谱光源的光源波长范围为300纳米
‑
2500纳米。7.多模态图像及光谱曲线结合的内窥镜辅助诊疗方法，其特征在于，包括如下步骤：步骤1.将探测软管伸入待检测腔体，开启光声光谱结合辅助诊疗系统, 光谱内窥模组接收经腔体内壁反射的光强信号，经光学成像模块和光谱信息处理模块处理获得光谱曲线和光学图像；判断是否存在表层或浅层病变；如判断不存在病变或为表层病变，则进入步骤2或步骤3，否则进入步骤3；步骤2.将光谱曲线和光学图像输入多模态融合神经网络模型进行多模态融合；根据融合结果进行判断；步骤3.超声换能器通过发送和接收反射回来的超声波，经过超声图像模块获得超声图像；光声内窥模组产生激光辐照腔体内壁，采集光声信号并得到检测区域的光声图像；将本步骤和步骤1得到的光谱曲线、光学图像、超声图像和光声图像输入所述多模态融合神经网络模型；
步骤4.多模态融合神经网络模型的图像融合模块对光学图像、超声图像和光声图像进行多模态图像融合，输出图像融合结果；步骤5.将步骤4得到的图像融合结果与光谱曲线进行多模态融合，输出多模态融合结果，根据多模态融合结果进行判断。8.如权利要求7所述的辅助诊疗方法，其特征在于，所述步骤4具体为：步骤41. 首先对光学图像、光声图像、超声图像三个通道输入的图像进行配准，再采用L0梯度平滑算法将不同模态的各个图像分别分解为低频层Low
i
和高频层High
i
；步骤42.将各个图像的低频层和高频层的信息分别融合后进行加权组合得到图像配准融合模型的图像融合结果，计算公式为：
‑‑
公式8；所述步骤5具体为：步骤51.图像配准融合模型的图像融合结果进行LBP特征提取后送入第一ELM模块ELM1转换，ELM模块的输出方程，ELM模块输出函数f(x)
‑‑
公式9得到单通道的输出类别
‑‑
公式10函数表示取得最大值时对应的x取值，其中h...

【专利技术属性】
技术研发人员：刘爽利，刘磊，秦佳敏，万维佳，文黎明，张华，王利，伍景军，张锦宝，李雪，曹耀丹，李小霞，周颖玥，杨亚玲，
申请(专利权)人：西南科技大学，
类型：发明
国别省市：