一种基于深度学习的消化道疾病辅助诊断系统技术方案

本发明专利技术提供了基于深度学习的消化道疾病辅助诊断系统，包括内镜所在部位判断模块，其用于将内镜操作过程中实时获取的消化道部位图像传送至消化道部位识别模型，实时输出内镜在消化道的部位；病灶区域定位模块，其用于将内镜操作过程中实时获取的消化道部位图像输入至消化道病灶区域识别模型，识别病灶区域并进行标注；消化道疾病类型判断模块，其用于接收与内镜相关联的共聚焦激光显微内镜实时获取的共聚焦激光显微内镜图像输入至消化道疾病类型识别模型中，将得到的概率最大共聚焦疾病类型所对应的部位与内镜当前所在部位比较，当两者一致时，输出当前消化道疾病类型及其对概率。

An assistant diagnosis system of digestive tract diseases based on deep learning

【技术实现步骤摘要】
一种基于深度学习的消化道疾病辅助诊断系统
本专利技术属于人工智能
，尤其涉及一种基于深度学习的消化道疾病辅助诊断系统。
技术介绍
本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。2018年全球癌症统计数据显示，发病率排名前10的肿瘤中有4个来自消化道。包括消化道良性、癌前性和恶性疾病在内的消化道疾病正在、严重威胁着患者的生活质量和生命安全，造成了巨大的卫生负担，早诊断、早治疗，改善患者预后、节约医疗资源的问题亟待解决。随着医学成像设备的发展和普及，消化道疾病通常经内镜筛查即可发现，经过进一步的活组织病理实现确诊，从而实现早期治疗。然而，专利技术人发现，目前对于医学成像设备所成的医学图像的处理仍存在以下问题：(1)面对呈指数增长的医学图片，人工检查速度慢、效率低，漏诊的情况时有发生。(2)虽然目前活组织病理检查是消化道疾病诊断的金标准，但是靶向活检，提高活检的效率、尽量减少活检的数目逐渐成为医学发展的趋势；而且人眼诊断病变准确性低，活检数目多且误诊时有发生。
技术实现思路
为了解决上述问题，本专利技术提供一种基于深度学习的消化道疾病辅助诊断系统，其利用深度学习算法自动识别内镜在消化道的部位，最终通过共聚焦激光显微内镜图像与其相关联的内镜图像的两者比较，以提高辅助相应图像对应的消化道疾病类别，同时标注出病灶区域。为了实现上述目的，本专利技术采用如下技术方案：一种基于深度学习的消化道疾病辅助诊断系统，包括：内镜所在部位判断模块，其用于将内镜操作过程中实时获取的消化道部位图像传送至消化道部位识别模型，实时输出内镜在消化道的部位；病灶区域定位模块，其用于将内镜操作过程中实时获取的消化道部位图像输入至消化道病灶区域识别模型，识别病灶区域并进行标注；消化道疾病类型判断模块，其用于接收与内镜相关联的共聚焦激光显微内镜实时获取的共聚焦激光显微内镜图像输入至消化道疾病类型识别模型中，将得到的概率最大共聚焦疾病类型所对应的部位与内镜当前所在部位比较，当两者一致时，输出当前消化道疾病类型及其对概率；否则，重新获取若干连续帧共聚焦激光显微内镜图像并重新识别其共聚焦疾病类型。作为一种实施方式，所述内镜所在部位判断模块，包括：训练集构建模块，其用于获取消化道部位图像并标注出待识别类别和识别干扰图像的辅助类别构建出训练集，其中，待识别类别包括一级类别及二级类别，二级类别属于一级类别的子类别；消化道部位识别模型训练模块，其用于利用训练集训练消化道部位识别模型；消化道部位识别模型包括消化道部位识别模型A和消化道部位识别模型B；其中，消化道部位识别模型A用于识别一级类别和辅助类别，消化道部位识别模型B用于识别二级类别；内镜所在部位实时输出模块，其用于基于消化道部位识别模型A和消化道部位识别模型B对消化道内镜图像进行实时检测，排除属于辅助类别的图像，若存在连续N张非相似图像均为同一类别的概率超过预设阈值，则输出图像所属的一级类别和二级类别，进而确定出内镜所在准确部位，其中，N为大于或等于3的正整数。作为一种实施方式，在所述内镜所在部位实时输出模块中，判断图像为非相似图像的过程为：通过均值哈希算法生成哈希序列并计算汉明距离，当汉明距离大于所设汉明距离阈值时，则判断图像为非相似图像。作为一种实施方式，在所述训练集构建模块中，一级类别包括回盲瓣、结肠、乙状结肠和直肠；二级类别属于结肠的子分类，包括升结肠、横结肠和降结肠；辅助类别为预设干扰图像类别，用于排除干扰图像；所述辅助类别包括阑尾开口、积液、镜头与肠壁距离小于预设值、镜头被遮挡、肠腔收缩、肠腔不完整和模糊。作为一种实施方式，消化道部位识别模型A采用深度学习框架Keras应用模块提供的图像分类模型；通过细粒度分类网络DFL-CNN，使用多分支结构同时利用训练集中的下消化道内窥镜图像的局部信息和全局信息，并对局部区域进行特征监督的方式进行训练，得到消化道部位识别模型B。作为一种实施方式，所述病灶区域定位模块，还包括：消化道病灶区域识别模型训练模块，其用于获取多幅包含已知消化道病灶的消化道部位图像，并对已知消化道病灶区域进行标注；指定已有的网络模型架构，或搭建自定义网络模块架构；接收模型训练参数，根据标注后的训练图像训练消化道病灶区域识别模型。作为一种实施方式，所述已有的网络模型架构采用YOLOv3神经网络。作为一种实施方式，所述自定义网络模块架构为：在YOLOv3神经网络基础上，将darknet中的残差块替换为Fire模块。作为一种实施方式，在所述消化道疾病类型判断模块中，所述消化道疾病类型识别模型为Inception-ResNet-V2神经网络。作为一种实施方式，在消化道疾病类型判断模块中，训练消化道疾病类型识别模型过程中，采用在ImageNet数据集上的预训练模型初始化参数，保证训练过程的收敛速度和模型的泛化能力。本专利技术的有益效果是：(1)本专利技术的基于深度学习的消化道疾病辅助诊断系统利用消化道部位识别模型，实时检测出内镜在消化道的部位；利用消化道疾病类型识别模型得到的概率最大共聚焦疾病类型，再通过其所对应的部位与内镜当前所在部位比较，当两者一致时，输出当前消化道疾病类型及其对概率；否则，重新获取若干连续帧共聚焦激光显微内镜图像并重新识别其共聚焦疾病类型，提高了辅助相应图像对应的消化道疾病类别；(2)本专利技术还将内镜操作过程中实时获取的消化道部位图像输入至消化道病灶区域识别模型，能够识别出病灶区域并进行标注，以供医生直观查看病灶区域，对于消化道疾病检查医师的专业知识和经验要求较低，有助于提高基层内镜医师诊断水平，且易于实现，能有效缓解区域内优质医疗资源总量不足、结构不合理、分布不均衡的问题，以提升各医院胃早癌筛查水平。(3)本专利技术的基于深度学习的消化道疾病辅助诊断系统有效地提升了辅助诊疗和科研效率，减轻了医生负担，节约了医疗资源。附图说明构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。图1是本专利技术实施例的一种基于深度学习的消化道疾病辅助诊断系统结构示意图；图2是本专利技术实施例的内镜所在部位判断模块结构示意图；图3(a)是内镜操作过程中实时获取的消化道部位图像样本1；图3(b)是内镜操作过程中实时获取的消化道部位图像样本2；图3(c)是内镜操作过程中实时获取的消化道部位图像样本3；图3(d)是内镜操作过程中实时获取的消化道部位图像样本4；图4是本专利技术实施例的对已知消化道病灶区域进行标注样本；图5是本专利技术实施例的由消化道病灶区域识别模型识别并标注出的病灶区域结果；图6为本专利技术实施例中损失函数变化趋势示意图。具体实施方式下面结合附图与实施例对本专利技术作进一步说明。应该指出，以下详细说明都是例示性的，旨在对本本文档来自技高网...

【技术保护点】
1.一种基于深度学习的消化道疾病辅助诊断系统，其特征在于，包括：/n内镜所在部位判断模块，其用于将内镜操作过程中实时获取的消化道部位图像传送至消化道部位识别模型，实时输出内镜在消化道的部位；/n病灶区域定位模块，其用于将内镜操作过程中实时获取的消化道部位图像输入至消化道病灶区域识别模型，识别病灶区域并进行标注；/n消化道疾病类型判断模块，其用于接收与内镜相关联的共聚焦激光显微内镜实时获取的共聚焦激光显微内镜图像输入至消化道疾病类型识别模型中，将得到的概率最大共聚焦疾病类型所对应的部位与内镜当前所在部位比较，当两者一致时，输出当前消化道疾病类型及其对概率；否则，重新获取若干连续帧共聚焦激光显微内镜图像并重新识别其共聚焦疾病类型。/n

【技术特征摘要】
1.一种基于深度学习的消化道疾病辅助诊断系统，其特征在于，包括：
内镜所在部位判断模块，其用于将内镜操作过程中实时获取的消化道部位图像传送至消化道部位识别模型，实时输出内镜在消化道的部位；
病灶区域定位模块，其用于将内镜操作过程中实时获取的消化道部位图像输入至消化道病灶区域识别模型，识别病灶区域并进行标注；
消化道疾病类型判断模块，其用于接收与内镜相关联的共聚焦激光显微内镜实时获取的共聚焦激光显微内镜图像输入至消化道疾病类型识别模型中，将得到的概率最大共聚焦疾病类型所对应的部位与内镜当前所在部位比较，当两者一致时，输出当前消化道疾病类型及其对概率；否则，重新获取若干连续帧共聚焦激光显微内镜图像并重新识别其共聚焦疾病类型。


2.如权利要求1所述的基于深度学习的消化道疾病辅助诊断系统，其特征在于，所述内镜所在部位判断模块，包括：
训练集构建模块，其用于获取消化道部位图像并标注出待识别类别和识别干扰图像的辅助类别构建出训练集，其中，待识别类别包括一级类别及二级类别，二级类别属于一级类别的子类别；
消化道部位识别模型训练模块，其用于利用训练集训练消化道部位识别模型；消化道部位识别模型包括消化道部位识别模型A和消化道部位识别模型B；其中，消化道部位识别模型A用于识别一级类别和辅助类别，消化道部位识别模型B用于识别二级类别；
内镜所在部位实时输出模块，其用于基于消化道部位识别模型A和消化道部位识别模型B对消化道内镜图像进行实时检测，排除属于辅助类别的图像，若存在连续N张非相似图像均为同一类别的概率超过预设阈值，则输出图像所属的一级类别和二级类别，进而确定出内镜所在准确部位，其中，N为大于或等于3的正整数。


3.如权利要求2所述的基于深度学习的消化道疾病辅助诊断系统，其特征在于，在所述内镜所在部位实时输出模块中，判断图像为非相似图像的过程为：
通过均值哈希算法生成哈希序列并计算汉明距离，当汉明距离大于所设汉明距离阈值时，则判断图像为非相似图像。


4.如权利要求2所述的基于深度学习的消化...

【专利技术属性】
技术研发人员：李延青，杨笑笑，李真，冯建，左秀丽，杨晓云，邵学军，赖永航，辛伟，
申请(专利权)人：山东大学齐鲁医院，青岛美迪康数字工程有限公司，
类型：发明
国别省市：山东;37