消化道早癌病灶检测模型构建方法及系统、设备、介质技术方案

本发明专利技术提供消化道早癌病灶检测模型构建方法及系统、设备、介质，该方法包括步骤：构建多模态内镜图像数据集并在各模态下训练早癌病灶检测模型；训练任意内镜模态之间可相互转换的生成模型；生成模型评估及优化；筛选对应匹配的内镜模态图像；生成模型补足缺失模态图像并融合各模态检测结果以构建消化道早癌病灶高效检测模型；利用部分模态图像训练病灶检测模型并通过知识蒸馏（迁移）提升检测性能。本发明专利技术在生成式网络的辅助下，充分发挥基于多模态图像的消化道早癌病灶检测模型潜力，能够在获取多模态内镜检查图像受限的应用场景中（尤其是在仅能获取到WLI图像的情况下），提升消化道早癌病灶检出率，可有效防止漏检。

【技术实现步骤摘要】

本专利技术涉及医学消化内镜图像处理，特别涉及消化道早癌病灶检测模型构建方法及系统、设备、介质。

技术介绍

1、内镜检查是临床诊断消化道疾病的核心技术。在消化道早癌疾病的临床诊断中，除了传统的白光内镜（wli）,窄带光成像（nbi）、蓝激光成像（bli）和联动成像（lci）等多种电子染色内镜技术也获得了重要应用。消化道早癌起病隐匿，部分病灶在白光内镜下不明显，容易漏诊。电子染色内镜优势各异，例如nbi可更加突显黏膜表面微小变化，bli检查黏膜血管及结构时可获得大景深和足够明亮度，lci可捕捉黏膜细微色差，白光内镜结合电子染色内镜的这些优势可极大助力早癌病灶检出。

2、消化内镜技术与ai算法的有效结合是提升消化道早癌疾病诊断效能的一大飞跃，结合多种内镜技术的优势时效果尤其显著。在消化道早癌辅助诊断领域，现有技术整合多种内镜模态优势的策略是：多中心收集wli、nbi、bli和lci等多模态内镜检查图像（或视频帧）数据训练病灶检测模型并部署至应用场景，对应用端采集到的内镜图像进行病灶检测。当应用端采集到多种模态内镜图像时，即可整合各模态图像的检测结果作本文档来自技高网...

【技术保护点】

1.一种消化道早癌病灶检测模型构建方法，其特征在于，包括以下步骤：

2.如权利要求1所述的一种消化道早癌病灶检测模型构建方法，其特征在于：多对多映射生成网络由生成器、映射网络、风格编码器和鉴别器四部分组成；其中，生成器G将输入图像转换为输出图像；映射网络F通过随机采样隐向量，为模态提供风格编码；编码器E提取模态中图像的风格编码；鉴别器D有多个输出分支，各分支判断图像是模态中的真实图像还是生成器G生成的图像。

3.如权利要求2所述的一种消化道早癌病灶检测模型构建方法，其特征在于：使用目标损失函数训练多对多映射生成网络模型，所述目标损失函数为：p>

4.如权利...

【技术特征摘要】

1.一种消化道早癌病灶检测模型构建方法，其特征在于，包括以下步骤：

2.如权利要求1所述的一种消化道早癌病灶检测模型构建方法，其特征在于：多对多映射生成网络由生成器、映射网络、风格编码器和鉴别器四部分组成；其中，生成器g将输入图像转换为输出图像；映射网络f通过随机采样隐向量，为模态提供风格编码；编码器e提取模态中图像的风格编码；鉴别器d有多个输出分支，各分支判断图像是模态中的真实图像还是生成器g生成的图像。

3.如权利要求2所述的一种消化道早癌病灶检测模型构建方法，其特征在于：使用目标损失函数训练多对多映射生成网络模型，所述目标损失函数为：

4.如权利要求3所述的一种消化道早癌病灶检测模型构建方法，其特征在于：训练过程中，多对多映射生成网络产生目标模态风格编码，生成器g通过所述对抗损失函数学习生成输出图像，所述对抗损失函数为：

5.如权利要求1所述的一种消化道早癌病灶检测模型构建方法，其特征在于，所述评估生成网络模型的性能并优化模型步骤包括：

6.如权利要求5所述的一种消化道早癌病灶检测模型构建方法，其特征在于，所述使用整理的近似配对的真实内镜图像数据对来评估网络转换性能步骤具体为：

7.如权利要求1所述的一种消化道早癌病灶检测模型构建方法，其特征在于，所述筛选与白光模态拍摄视角及内容对应匹配的增强模态图像步骤包括：

8.如权利要求7所述的一种消化道早癌病灶检测模型构建方法，其特征在于，两张图像和的平均结构相似度通过对所有图像块的ssim...

【专利技术属性】
技术研发人员：党世杰，赵凌霄，孙玮，许春晓，陈振鑫，
申请(专利权)人：中国科学院苏州生物医学工程技术研究所，
类型：发明
国别省市：