食道癌图像识别分类方法技术

本发明专利技术公开了一种食道癌图像识别分类方法

【技术实现步骤摘要】
食道癌图像识别分类方法、系统、设备及介质


[0001]本专利技术属于人工智能
，涉及食道癌图像的识别分类，尤其涉及一种食道癌图像识别分类方法
、
系统
、
设备及介质
。

技术介绍

[0002]随着人类生活方式和日常饮食的改变，加之现代生活快节奏性与不规律性，胃肠道疾病的发病率越来越高
。
食道癌是全球第七大常见癌症，是一种常发于食道内壁细胞的恶性肿瘤
。
早期诊断和治疗可显著提高患者的生存率，但是由于起病隐匿，大约一半食道肿瘤患者诊断时已为中晚期，错过了最佳治疗时机
。
[0003]传统食道癌识别主要来源于消化科医生的手工操作和经验判断，这严重依赖于医生的工作状态以及看病经验，对于同样的病例，不同的医生可能会给出不同的食道癌诊断结果
。
随着人工智能技术的发展，机器学习
、
深度学习等多种技术也融入到食道癌的辅助分析
、
诊断中
。
现有的基于机器学习
、
深度学习和人工智能的食道癌模型训练时，通常会单一训练白光内镜或窄带内镜下的食道癌图像，几乎没有将不同模式下筛查的食道癌图像进行特征融合训练
。
另外，训练时数据集样本不足，会影响训练后模型的识别精度和泛化能力
。
[0004]申请号为
201811022872.2
的专利技术专利申请就公开了一种基于卷积神经网络的食道癌病理图像自动甄别装置及其甄别方法，该装置包括图像采集模块
、
图像处理模块
、
数据存储模块
、
迁移学习模块
、
网络训练模块和甄别模块
。
本专利技术所述的甄别方法包括以下步骤：
1、
图像采集模块采集病理图像，构建食道癌病理切片图像库；
2、
通过图像处理模块对各病理图像库进行扩充；
3、
利用扩充后的预训练网络病理图像数据集完成迁移学习；
4、
在习得的卷积神经网络结构上，用扩充后的食道癌病理图像数据集训练网络并微调权值，得到判别的网络模型，用甄别模块实现智能化判别
。
本专利技术克服了因缺乏大型公开
、
已标记的食道癌病理图像数据集作为训练样本导致的深度学习过程中易出现的过拟合问题，提高识别率
。
[0005]申请号为
202010778272.X
的专利技术专利申请就公开了一种基于人工智能的食道癌术前管理的方法和系统，包括客户端和服务端；服务端包括病例典型图片库
、
图片模式识别模块
、
高风险病灶目标识别模块
、
表面血管分型识别模块和
AVA
分割识别模块
。
本专利技术根据不同的任务构建多个深度学习模型（涉及图像分类
、
目标检测
、
语义分割），并采用级联的模型融合技术，在内镜医师进行食道疾病筛查过程中，提供全流程智能辅助诊断功能
。
通过在
NBI
远景模式下探测出食道高风险病灶，并根据内镜检查所观察到的
AB
分型和
AVA
分型，可以帮助医生更好地对患者的病情进行较为准确的评估，提供更为科学的治疗选择
。
[0006]如上述专利申请一样，现有技术中大多通过机器学习
、
深度学习等技术只实现了对食道癌病灶的大目标识别，尚无法识别食道图像中的小目标病灶；此外，现有的食道癌识别方法大多针对于食道癌病理图像，若将其用于处理内镜检查视频流时则会产生延迟较大，算法的计算效率仍然难以满足临床应用的需求，严重限制了其在计算资源有限的环境中的应用，进而限制了基于人工智能的食道癌病变检测方法的广泛应用
。
因此，有必要降低
食道癌病灶检测模型的计算代价，提高其实时处理性能，这对于提升人工智能在临床的可应用性具有重要意义
。

技术实现思路

[0007]本专利技术的目的在于：为了解决现有技术中存在的无法识别食道图像中的小目标病灶以及在处理内镜检查视频流时会产生较大延迟的技术问题，提供一种食道癌图像识别分类方法
、
系统
、
设备及介质
。
[0008]本专利技术为了实现上述目的具体采用以下技术方案：一种食道癌图像识别分类方法，包括如下步骤：步骤
S1
，获取样本及标签；获取食道检查数据样本，并对食道检查数据样本进行标注后得到标签数据；步骤
S2
，构建食道癌图像识别分类模型；构建食道癌图像识别分类模型，食道癌图像识别分类模型包括骨干网络模块
、
特征融合模块
、
检测头模块以及识别分类模块；骨干网络模块对食道图像进行特征提取，并输出4层多尺度特征，特征融合模块对4层多尺度特征进行特征融合，融合后的特征经由检测头模块输入识别分类模块，识别分类模块输出分类结果；步骤
S3
，训练食道癌图像识别分类模型；采用步骤
S1
获取的样本数据及标签对步骤
S2
构建的食道癌图像识别分类模型进行训练；步骤
S4
，实时分类；获取实时的食道检测数据，并输入食道癌图像识别分类模型，食道癌图像识别分类模型输出识别分类结果
。
[0009]进一步地，步骤
S1
中，食道检查数据样本中的每例病灶均包括连续采样的多帧图像序列，图像序列包括从白光
、
窄带内镜和碘染三种模式下的食道筛查视频中逐帧输出的图像；标注时，对序列中每张图像进行病灶位置以及分级进行标注，形成标签数据
。
[0010]进一步地，对获取的食道检查数据样本进行数据增强
、
图像融合处理；数据增强包括：步骤
S1
‑1，先对食道检查数据样本依次进行垂直翻转
、
左右翻转
、
旋转
、
色度调整
、
亮度调整以及马赛克增强；步骤
S1
‑2，使用自动编码器和长跳跃连接优化数据增强网络，并通过数据增强网络对食道检查数据样本进行数据增强；图像融合包括：通过图像融合的方式将食道检查数据样本中的食道癌病灶图像嵌入食道背景图像，生成融合后的新图像并用于训练食道癌图像识别分类模型
。
[0011]进一步地，步骤
S2
中，骨干网络模块包括依次设置的聚焦层
、
第一交叉跨阶层
、
第二交叉跨阶层
、
第一密集跨阶层
、
第二密集跨阶层；第一交叉跨阶层
、
第二交叉跨阶层
、
第一密集跨阶层
、
第二密集跨阶层中每一层输出的多尺度特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种食道癌图像识别分类方法，其特征在于，包括如下步骤：步骤
S1
，获取样本及标签；获取食道检查数据样本，并对食道检查数据样本进行标注，得到标签数据；步骤
S2
，构建食道癌图像识别分类模型；构建食道癌图像识别分类模型，食道癌图像识别分类模型包括骨干网络模块
、
特征融合模块
、
检测头模块以及识别分类模块；骨干网络模块对食道图像进行特征提取并输出4层多尺度特征，特征融合模块对4层多尺度特征进行特征融合，融合后的特征经由检测头模块输入识别分类模块，识别分类模块输出分类结果；步骤
S3
，训练食道癌图像识别分类模型；采用步骤
S1
获取的样本数据及标签对步骤
S2
构建的食道癌图像识别分类模型进行训练；步骤
S4
，实时分类；获取实时的食道检测数据，并输入食道癌图像识别分类模型，食道癌图像识别分类模型输出识别分类结果
。2.
如权利要求1所述的食道癌图像识别分类方法，其特征在于：步骤
S1
中，食道检查数据样本中的每例病灶均包括连续采样的多帧图像序列，图像序列包括从白光
、
窄带内镜和碘染三种模式下的食道筛查视频中逐帧输出的图像；标注时，对序列中每张图像进行病灶位置以及分级进行标注，形成标签数据
。3.
如权利要求2所述的食道癌图像识别分类方法，其特征在于：对获取的食道检查数据样本进行数据增强
、
图像融合处理；数据增强包括：步骤
S1
‑1，先对食道检查数据样本依次进行垂直翻转
、
左右翻转
、
旋转
、
色度调整
、
亮度调整以及马赛克增强；步骤
S1
‑2，使用自动编码器和长跳跃连接优化数据增强网络，并通过数据增强网络对食道检查数据样本进行数据增强；图像融合包括：通过图像融合的方式将食道检查数据样本中的食道癌病灶图像嵌入食道背景图像，生成融合后的新图像并用于训练食道癌图像识别分类模型
。4.
如权利要求1所述的食道癌图像识别分类方法，其特征在于：步骤
S2
中，骨干网络模块包括依次设置的聚焦层
、
第一交叉跨阶层
、
第二交叉跨阶层
、
第一密集跨阶层
、
第二密集跨阶层；第一交叉跨阶层
、
第二交叉跨阶层
、
第一密集跨阶层
、
第二密集跨阶层中每一层输出的多尺度特征组成4层多尺度特征，并作为骨干网络模块的输出；特征融合模块包括第一融合单元
、
第二融合单元
、
第三融合单元
、
第四融合单元，第一融合单元包括依次设置的空间金字塔池化层
、
可变形卷积层以及卷积层，第二融合单元
、
第三融合单元
、
第四融合单元均包括依次设置的可变形卷积层以及卷积层；第二密集跨阶层
、
第一密集跨阶层
、
第二交叉跨阶层
、
第一交叉跨阶层输出的多尺度特征依次输入第一融合单元
、
第二融合单元
、
第三融合单元
、
第四融合单元；第一融合单元的可变形卷积层的输出
、
第三融合单元的可变形卷积层的输出均输入第二融合单元的卷积层，第二融合单元的可变形卷积层的输出
、
第四融合单元的可变形卷积层的输出均输入第三融合单元的卷积层，第三融合单元的可变形卷积层的输出输入第四融合单元的卷积层；
检测头模块包括第一卷积层
、
第二卷积层
、
第三卷积层
、
第四卷积层，第一融合单元
、
第二融合单元
、
第三融合单元
、
第四融合单元的输出分别作为第一卷积层
、
第二卷积层
、
第三卷积层
、

【专利技术属性】
技术研发人员：傅玥，章毅，周尧，李诗林，
申请(专利权)人：四川大学，
类型：发明
国别省市：