基于深度学习的气管镜图像特征比对标记系统及方法技术方案

本发明专利技术公开了一种基于深度学习的气管镜图像特征比对标记系统，包括：输入层，用于接收气管镜所采集的气管镜图像，并对所接收的气管镜图像进行识别，然后将识别出的体内图像传递给判断层；判断层，对来自于所述输入层的体内图像进行识别，判断该体内图像所对应的部位、判断是否存在病变部位以及病变部位的良恶性，然后将识别结果反馈给输出层；以及输出层，用于将来自于所述判断层的识别结果进行显示。本发明专利技术还公开了一种基于深度学习的气管镜图像特征比对标记方法。本发明专利技术通过对气管镜图像进行特征比对，能够对气管镜下中央型肺部肿瘤病灶部位进行识别。

【技术实现步骤摘要】
基于深度学习的气管镜图像特征比对标记系统及方法
本专利技术涉及一种图像处理系统，具体涉及一种基于深度学习的气管镜图像特征比对标记系统。本专利技术还涉及一种基于深度学习的气管镜图像特征比对标记方法。
技术介绍
中央型肺癌，是指病变发生在段口以上支气管的肿瘤。由于其发生在较大的支气管，一般电子气管镜检查都能发现。气管镜检查不仅可以直接了解支气管肿瘤的发生部位、形态及大小，同时还可通过活检和刷检明确肿瘤的病理组织类型，为手术、放疗和化疗提供重要的依据。因此，使用气管镜检查中央型肺癌是目前最重要、最可靠的诊断方法。然而，气管镜检查对操作内镜的医生的临床经验和状态有较高的依赖性，高负荷的气管镜检查会降低气管镜的检查质量，容易出现检查覆盖不全，病灶检出不全等问题。对于管腔内病变，除了特殊光气管镜检查(荧光气管镜、窄谱气管镜)外，目前尚无特别区分良恶性病变的手段。荧光气管镜检查的特点是灵敏度高、特异度低，容易发现病变但区分病变良恶性差；而窄谱气管镜检查的特点是只能观察病变处血管情况，尚不能区分病变良恶。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于深度学习的气管镜图像特征比对标记系统，它可以对气管镜图像进行特征比对并进行标记。为解决上述技术问题，本专利技术基于深度学习的气管镜图像特征比对标记系统的技术解决方案为，包括：输入层，用于接收气管镜所采集的气管镜图像，并对所接收的气管镜图像进行识别，然后将识别出的体内图像传递给判断层；在另一实施例中，所述输入层包括：图像采集模块，用于接收来自气管镜的图像；以及输入层卷积神经网络模型；所述输入层卷积神经网络模型进一步包括：模型一，用于合格气管镜图像的识别；所述模型一为根据合格图像库训练完成的卷积神经网络模型；模型二，用于体内/体外图像的识别；所述模型二为根据体内/体外图像库训练完成的卷积神经网络模型。判断层，对来自于所述输入层的体内图像进行识别，判断该体内图像所对应的部位、判断是否存在病变部位以及病变部位的良恶性，然后将识别结果反馈给输出层；所述判断层包括判断层卷积神经网络模型；所述判断层卷积神经网络模型包括模型三和模型四，模型三为根据部位属性图像库训练完成的模型，用于判断所述体内图像所对应的具体部位；模型四为根据部位特征图像库训练完成的模型，用于判断所述体内图像中是否存在病变部位以及病变部位的良恶性；以及输出层，用于将来自于所述判断层的识别结果进行显示。在另一实施例中，所述输出层包括图像演示模块、部位显示图像、病灶显示图像；所述部位显示图像为表示各部位的图像；所述病灶显示图像为标注有病变部位的红点图像；所述图像演示模块能够将来自于判断层的识别结果与部位显示图像进行叠加展示，形成部位监测模式；部位监测模式以部位显示图像作为背景图，其上覆盖来自于判断层的识别结果，以表示气管镜操作已检查的部位；所述图像演示模块还能够将来自于判断层的识别结果与病灶显示图像进行叠加展示，形成病灶监测模式；病灶监测模式以病灶显示图像作为背景图，其上覆盖来自于判断层的识别结果，以表示存在病变的部位。本专利技术还提供一种基于深度学习的气管镜图像特征比对标记方法，其技术解决方案为，包括以下步骤：步骤一，输入层的图像采集模块接收来自于气管镜所采集的气管镜图像，调用输入层卷积神经网络模型，对气管镜图像进行识别，然后将识别出的体内图像传递给判断层；在另一实施例中，所述步骤一中对气管镜图像进行识别的方法如下：将气管镜图像先输入至输入层卷积神经网络模型的模型一，模型一对该气管镜图像进行合格图像识别，判断其是否为合格图像，若不合格，则模型一将该气管镜图像标记为“不合格图像”作为输入层识别结果，并传输给输出层；若合格，则模型一将该气管镜图像标记为“合格图像”并传输给输入层卷积神经网络模型的模型二；模型二对该合格图像进行识别，判断其是否进入体内，若识别为体外图像，则模型二将该合格图像标记为“体外图像”作为输入层识别结果，并传输给输出层；若识别为体内图像，则模型二将该合格图像标记为“体内图像”并传输给判断层。步骤二，判断层接收体内图像，调用判断层卷积神经网络模型，对该体内图像进行部位识别和病灶识别，识别出图像上的病变部位，得到判断层识别结果并传输给输出层；在另一实施例中，所述步骤二中对体内图像进行部位识别和病灶识别的方法如下：将体内图像先输入至判断层卷积神经网络模型的模型三，模型三识别该体内图像的具体部位，并进行标记，得到带有部位标记的体内图像，即部位标记图像；模型三将该部位标记图像传输给判断层卷积神经网络模型的模型四；模型四识别该部位标记图像的部位特征，判断是否存在病变部位和病变部位的良恶性分析，并进行标记，得到带有特征标记的体内图像，即特征标记图像；模型四将该特征标记图像作为判断层识别结果传输给输出层。步骤三，输出层接收判断层识别结果，分别调用部位显示图像和病灶显示图像进行叠加展示；步骤四：使用矩形框，在图像上框出病变部位，并提示病变部位的良恶性。在另一实施例中，所述模型一的训练方法包括以下步骤：步骤1.1，气管镜采集多张气管镜图像；根据所采集的气管镜图像的分辨率，通过人工标注的方式将气管镜图像区分为合格图像和不合格图像，从而筛选出拍摄清楚的气管镜图像，将合格图像储存于合格图像库中；步骤1.2，气管镜继续采集更多张气管镜图像并输入给卷积神经网络训练模块；卷积神经网络训练模块以所述合格图像库作为训练特征进行训练，将该更多张气管镜图像区分为合格图像和不合格图像，作为卷积神经网络训练模块的训练结果；步骤1.3，对卷积神经网络训练模块的训练结果的准确率进行人工验证，如准确率不低于90％，则卷积神经网络训练模块训练完成，得到输入层卷积神经网络模型的模型一；如准确率低于90％，则重复步骤1.2，向卷积神经网络训练模块继续输入气管镜图像，直至准确率不低于90％。在另一实施例中，所述模型二的训练方法包括以下步骤：步骤2.1，气管镜采集多张气管镜图像；通过人工标注的方式将图像区分为体内图像和体外图像，储存于体内/体外图像库中；步骤2.2，气管镜继续采集更多张气管镜图像并输入给卷积神经网络训练模块；卷积神经网络训练模块以所述体内/体外图像库作为训练特征进行训练，将该更多张气管镜图像区分为体内图像和体外图像，作为卷积神经网络训练模块的训练结果；步骤2.3，对卷积神经网络训练模块的训练结果的准确率进行人工验证，如准确率不低于90％，则卷积神经网络训练模块训练完成，得到输入层卷积神经网络模型的模型二；如准确率低于90％，则重复步骤2.2，向卷积神经网络训练模块继续输入气管镜图像，直至准确率不低于90％。在另一实施例中，所述模型三的训练方法包括以下步骤：步骤3.1，建立部位属性图像库，将代表气管不同部位的体内图像储存于部位属性图片库；步骤3.2，向卷积神经网络训练模块输入多张体内图像，卷积神经网络训练模块以部位属性图片库作为训练特征进行训练本文档来自技高网...

【技术保护点】
1.一种基于深度学习的气管镜图像特征比对标记系统，其特征在于，包括：/n输入层，用于接收气管镜所采集的气管镜图像，并对所接收的气管镜图像进行识别，然后将识别出的体内图像传递给判断层；/n判断层，对来自于所述输入层的体内图像进行识别，判断该体内图像所对应的部位、判断是否存在病变部位以及病变部位的良恶性，然后将识别结果反馈给输出层；所述判断层包括判断层卷积神经网络模型；所述判断层卷积神经网络模型包括模型三和模型四，模型三为根据部位属性图像库训练完成的模型，用于判断所述体内图像所对应的具体部位；模型四为根据部位特征图像库训练完成的模型，用于判断所述体内图像中是否存在病变部位以及病变部位的良恶性；以及/n输出层，用于将来自于所述判断层的识别结果进行显示。/n

【技术特征摘要】
1.一种基于深度学习的气管镜图像特征比对标记系统，其特征在于，包括：
输入层，用于接收气管镜所采集的气管镜图像，并对所接收的气管镜图像进行识别，然后将识别出的体内图像传递给判断层；
判断层，对来自于所述输入层的体内图像进行识别，判断该体内图像所对应的部位、判断是否存在病变部位以及病变部位的良恶性，然后将识别结果反馈给输出层；所述判断层包括判断层卷积神经网络模型；所述判断层卷积神经网络模型包括模型三和模型四，模型三为根据部位属性图像库训练完成的模型，用于判断所述体内图像所对应的具体部位；模型四为根据部位特征图像库训练完成的模型，用于判断所述体内图像中是否存在病变部位以及病变部位的良恶性；以及
输出层，用于将来自于所述判断层的识别结果进行显示。


2.根据权利要求1所述的基于深度学习的气管镜图像特征比对标记系统，其特征在于，所述输入层包括：
图像采集模块，用于接收来自气管镜的图像；以及
输入层卷积神经网络模型；所述输入层卷积神经网络模型进一步包括：
模型一，用于合格气管镜图像的识别；所述模型一为根据合格图像库训练完成的卷积神经网络模型；
模型二，用于体内/体外图像的识别；所述模型二为根据体内/体外图像库训练完成的卷积神经网络模型。


3.根据权利要求1所述的基于深度学习的气管镜图像特征比对标记系统，其特征在于，所述输出层包括图像演示模块、部位显示图像、病灶显示图像；所述部位显示图像为表示各部位的图像；所述病灶显示图像为标注有病变部位的红点图像；
所述图像演示模块能够将来自于判断层的识别结果与部位显示图像进行叠加展示，形成部位监测模式；部位监测模式以部位显示图像作为背景图，其上覆盖来自于判断层的识别结果，以表示气管镜操作已检查的部位；
所述图像演示模块还能够将来自于判断层的识别结果与病灶显示图像进行叠加展示，形成病灶监测模式；病灶监测模式以病灶显示图像作为背景图，其上覆盖来自于判断层的识别结果，以表示存在病变的部位。


4.一种基于深度学习的气管镜图像特征比对标记方法，其特征在于，包括以下步骤：
步骤一，输入层的图像采集模块接收来自于气管镜所采集的气管镜图像，调用输入层卷积神经网络模型，对气管镜图像进行识别，然后将识别出的体内图像传递给判断层；
步骤二，判断层接收体内图像，调用判断层卷积神经网络模型，对该体内图像进行部位识别和病灶识别，识别出图像上的病变部位，得到判断层识别结果并传输给输出层；
步骤三，输出层接收判断层识别结果，分别调用部位显示图像和病灶显示图像进行叠加展示；
步骤四：使用矩形框，在图像上框出病变部位，并提示病变部位的良恶性。


5.根据权利要求4所述的基于深度学习的气管镜图像特征比对标记方法，其特征在于，所述步骤一中对气管镜图像进行识别的方法如下：
将气管镜图像先输入至输入层卷积神经网络模型的模型一，模型一对该气管镜图像进行合格图像识别，判断其是否为合格图像，若不合格，则模型一将该气管镜图像标记为“不合格图像”作为输入层识别结果，并传输给输出层；若合格，则模型一将该气管镜图像标记为“合格图像”并传输给输入层卷积神经网络模型的模型二；
模型二对该合格图像进行识别，判断其是否进入体内，若识别为体外图像，则模型二将该合格图像标记为“体外图像”作为输入层识别结果，并传输给输出层；若识别为体内图像，则模型二将该合格图像标记为“体内图像”并传输给判断层。


6.根据权利要求4所述的基于深度学习的气管镜图像特征比对标记方法，其特征在于，所述步骤二中对体内图像进行部位识别和病灶识别的方法如下：
将体内图像先输入至判断层卷积神经网络模型的模型三，模型三识别该体...

【专利技术属性】
技术研发人员：孙加源，刘奇为，谢芳芳，李营，吴炜进，
申请(专利权)人：上海市胸科医院，上海镜影信息科技有限公司，
类型：发明
国别省市：上海;31