基于图像分割卷积神经网络的鼻咽癌定位分割方法和系统技术方案

本发明专利技术公开了一种基于图像分割卷积神经网络的鼻咽癌定位分割方法和系统，采用WLI模式和NBI模式获取电子鼻内镜图像，将鼻内镜图像输入基于图像分割卷积神经网络的鼻咽癌诊断模型，得到诊断模型标注的恶性肿瘤区域，只需要将镜头聚焦于鼻咽腔内的可疑病变组织，诊断系统即可实时对抓取的图像进行判断，并对鼻咽癌图像中恶性肿瘤部位进行标注，并导出诊断结果，直观地判断目标病变是否为恶性肿瘤组织，并据此确定恶性肿瘤病变的边界范围，快速选择可疑的病变部位进行活检，有效提高鼻内镜下鼻咽癌检测的准确度，提高活检的检出率。提高活检的检出率。提高活检的检出率。

【技术实现步骤摘要】
基于图像分割卷积神经网络的鼻咽癌定位分割方法和系统


[0001]本专利技术属于医疗诊断领域，具体是涉及一种利用人工智能识别鼻内镜图像并抓取出恶性肿瘤目标区域(ROI)作为诊断鼻咽癌性质及范围的方法和系统。

技术介绍

[0002]鼻咽癌(nasopharyngeal carcinoma，NPC)是指发生于鼻咽腔顶部和侧壁的恶性肿瘤，属于高发恶性肿瘤之一。目前的电子鼻内镜检查应用普通白光(white light imaging，WLI) 作为照明装置，其清晰度和对比度具有一定的局限性，对发生在黏膜表面的浅表早期癌和癌前病变易漏诊。窄带成像(narrow band imaging，NBI)技术使用窄谱滤光片，将普通内镜中的红光去掉，只释放出中心波长为415nm(蓝光)和540nm(绿光)两种波长的光作为照明光，通过判断黏膜表面突出显示的微血管形态来判断鼻咽部病变的性质，使鉴别肿瘤性和非肿瘤性病变的准确度明显提高。
[0003]基于WLI和NBI技术的电子鼻内镜下的病变活检，是筛查和诊断鼻咽癌患者的重要方式。目前，对可疑病灶的定性和取材选择依赖于鼻内镜医生的临床知识和工作经验，其准确性及敏感性受到临床医生专业技术水平的影响。一方面，典型的粘膜下鼻咽癌或者侧方咽隐窝内的鼻咽癌难以与周围正常粘膜相鉴别，在肉眼下容易被内镜医师漏诊；另一方面，腺样体肥大等鼻咽腔内的共患病易造成重复活检，降低鼻咽癌的活检检出率，造成诊疗费用增加，以及治疗的延迟。研究表明，经验丰富的专家医生经电子鼻内镜图像诊断鼻咽癌，灵敏度及特异度可达80.5％及70.8％，但稍欠经验的住院医师仅达72.8％及55.5％。为克服内镜医师的主观偏倚对鼻咽部恶性病变诊断的影响，研究人员利用人工智能的图片识别、数据处理技术，尝试构建基于人工智能的鼻内镜辅助诊断系统，以进一步提高鼻内镜下诊断鼻咽癌的准确性、灵敏性和特异性，从而实现鼻咽癌的早筛早诊早治，改善患者的治疗效果和预后的目的。
[0004]人工智能AI技术的来临，可提供一种以鼻内镜检查为基础的新型恶性肿瘤筛查方法，高效、准确地从高危人群中识别出鼻咽癌患者。本领域技术人员已经探索了一些利用AI进行诊断的模型。例如，中国专利文献CN111653365A公开了一种鼻咽癌辅助诊断模型构建和辅助诊断方法，通过获取鼻咽癌高危人群鼻内镜图像(鼻内镜图像包含鼻咽癌组和非鼻咽癌组)，对鼻内镜图像进行预处理，并将预处理后的鼻内镜图像输入卷积神经网络中，后对卷积神经网络进行训练，最终获得鼻咽癌辅助诊断模型。在临床应用中将受试者鼻内镜图像输入到鼻咽癌辅助诊断模型中，即可实时得到患病概率预测值。医师可参考输出的预测患病概率并结合自身的经验对病变组织的性质作出判断，决定是否进行取材活检及后续处理。该技术可有效提高鼻咽癌诊断的准确率，弥补内镜医师的技术和经验不足，提高后续活检的检出率，从而实现鼻咽癌早筛早诊早治，改善患者的治疗效果和预后的目的，预测结果较为准确，对于鼻咽癌的诊断过程有良好的辅助作用。
[0005]然而目前的人工智能鼻内镜辅助诊断系统均为二分类诊断模型，该系统通过对鼻内镜图像进行概率计算，将鼻咽部图像判定为“恶性肿瘤”或“非恶性肿瘤”，但该结果无法
对图像中恶性肿瘤所处的具体部位做出确切判断。在鼻内镜的临床应用中，内镜医师需对鼻咽部病变范围进行判断，并选取可疑恶性病变部位进行活检。因此需要有新型的辅助诊断系统对鼻内镜图像中恶性肿瘤的部位做出精准的定位分割，为鼻咽部活检起明确引导作用。

技术实现思路

[0006]本专利技术要解决的技术问题是提供一种基于图像分割卷积神经网络的鼻咽癌定位分割方法和系统，在电子鼻内镜中提示鼻咽部病变的性质、部位及范围，以此辅助医师快速准确识别、定位鼻咽癌，为鼻咽部疾病的诊疗提供重要依据。
[0007]为了解决上述技术问题，本专利技术采用的技术方案为：一种基于图像分割卷积神经网络的鼻咽癌定位分割方法，先采用WLI模式和NBI模式获取鼻咽癌组和非鼻咽癌组的电子鼻内镜图像；再将鼻内镜图像输入基于图像分割卷积神经网络的鼻咽癌诊断模型，得到模型标注的恶性肿瘤区域，以辅助临床内镜医师实时诊断鼻咽部肿物的病变性质以及病变范围。
[0008]进一步地，所述鼻咽癌诊断模型的获得是将分割标注后的合格内镜图像输入卷积神经网络中，经图像分割卷积神经网络进行训练模型。
[0009]进一步地，人工筛选并结合标记软件对鼻咽癌组显像清晰的合格图像进行图像勾勒标记，并进而对合格图像进行扩增样本量；将合格内镜图像输入到由ResNet
‑
FPN构成的特征提取网络中，得到多个不同层级的特征图，生成可能包含检测目标的候选区域；通过双线性插值对齐RoI Align层得到候选区域特征图；最后候选区域特征图被输入到头网络(Fast RCNN)中进行区域分类得到分割结果。
[0010]进一步地，所述区域分类包括由边框回归分支网络对候选区域进行修正，由区域分类分支网络给出候选区域包含检测目标的类别及可能性，由分割网络(Mask)给出候选区域内检测目标的分割结果。
[0011]进一步地，使用非极大值抑制去除物体存在可能性较小或者交并比较高的候选区域，得到最终的候选区域和分割结果。
[0012]进一步地，采用模型Backend ResNet对鼻内镜图像进行特征提取，然后通过FPN(FeaturePyramid Network)对Backend ResNet提取出的不同尺度分辨率的多层特征进行进一步的特征融合，融合后的多层次、多感兴趣的特征图会被送入RPN(Region Proposal Network)进行进一步的目标区域(ROI)的探索，输出的ROI经过ROIAlign线性内插值处理后再经过最终的Mask模块与回归分类模块得到最终的输出。
[0013]进一步地，所述卷积神经网络采用U
‑
net、FC DenseNet、UperNet with W
‑
MSA ViT或 Mask RCNN。
[0014]进一步地，采用均交并比、Dice相似系数(DSC)、像素准确率、平均像素准确率、ROC 曲线、AUC值或损失值曲线的语义分割评价指标验证鼻咽癌诊断训练模型。
[0015]同时，本专利技术采用的技术方案为：一种基于图像分割卷积神经网络的鼻咽癌定位分割系统，包括：图像获取装置，用于获取WLI模式和NBI模式的鼻内镜图像；算法模型存储器，用于存储基于图像分割Mask
‑
RCNN的鼻咽癌诊断模型算法；处理器，对鼻内镜图像进行处理后将分割结果图像发送给显示器和存储器；诊断结果存储器，用于存储鼻内镜图像内
RCNN 是Faster
‑
RCNN的扩展，添加了一个额外的掩膜(Mask)分支对目标进行并行预测，可实现对目标的分类、回归和分割，具有高速、简单直观、高准确率(高分类准确率、高实例分割准确率、高定位检测准确率)等优点。Mask
‑
RCNN深度学习网络主要由3个部分组成：1)特征提取网络；2本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像分割卷积神经网络的鼻咽癌定位分割方法，其特征在于步骤是：先采用WLI模式和NBI模式获取鼻咽癌组和非鼻咽癌组的电子鼻内镜图像；再将鼻内镜图像输入基于图像分割卷积神经网络的鼻咽癌诊断模型，得到诊断模型标注的恶性肿瘤区域，以辅助临床内镜医师实时诊断鼻咽部肿物的病变性质以及病变范围。2.根据权利要求1所述的基于图像分割卷积神经网络的鼻咽癌定位分割方法，其特征在于：所述鼻咽癌诊断模型的获得是将分割标注后的合格内镜图像输入卷积神经网络中，经图像分割卷积神经网络进行训练模型。3.根据权利要求2所述的基于图像分割卷积神经网络的鼻咽癌定位分割方法，其特征在于：人工筛选并结合标记软件对鼻咽癌组显像清晰的合格图像进行图像勾勒标记，并进而对合格图像进行扩增样本量；将合格内镜图像输入到由ResNet
‑
FPN构成的特征提取网络中，得到多个不同层级的特征图，生成可能包含检测目标的候选区域；通过双线性插值对齐RoI Align层得到候选区域特征图；最后候选区域特征图被输入到头网络(Fast RCNN)中进行区域分类得到分割结果。4.根据权利要求3所述的基于图像分割卷积神经网络的鼻咽癌定位分割方法，其特征在于：所述区域分类包括由边框回归分支网络对候选区域进行修正，由区域分类分支网络给出候选区域包含检测目标的类别及可能性，由分割网络(Mask)给出候选区域内检测目标的分割结果。5.根据权利要求4所述的基于图像分割卷积神经网络的鼻咽癌定位分割方法，其特征在于：使用非极大值抑制去除物体存在可能性较小或者交并比较高的候选区域，得到最终的候选区域和分割结果。6.根据权利要求3所述的基于图像分割卷积神经网络的鼻咽癌定位分割方法，其特征在于：采用模型Backend ResNet对鼻内镜图像进行特征提取，然后通...

【专利技术属性】
技术研发人员：文译辉，龙宇栋，项毅帆，雷文斌，文卫平，林浩添，肖钧，
申请(专利权)人：中山大学中山眼科中心，
类型：发明
国别省市：