基于深度学习的气管镜图像特征识别系统及方法技术方案

本发明专利技术公开了一种基于深度学习的气管镜图像特征识别系统，包括图像监测模块，被配置为用于接收气管镜所采集的图像，并将所接收的气管镜图像传递给深度学习模型；深度学习模型；以及图像演示模块，被配置为将来自于深度学习模型的所述模型一识别结果、模型二识别结果和模型三识别结果进行显示。本发明专利技术能够识别不同类别气管镜部位的特征，从而降低检查盲区、提高气管镜检查水平，从而有望缩小不同水平气管镜医生之间的操作差异。本发明专利技术还公开了一种基于深度学习的气管镜图像特征识别方法。

【技术实现步骤摘要】
基于深度学习的气管镜图像特征识别系统及方法
本专利技术涉及一种图像处理系统，具体涉及一种基于深度学习的气管镜图像特征识别系统。本专利技术还涉及一种基于深度学习的气管镜图像特征识别方法。
技术介绍
气管镜自20世纪70年代被中国引进并应用于临床医学以来，在呼吸系统疾病的诊疗方面起到了重要作用。但是目前，中国的气管镜检查存在着气管镜医生缺乏且分配不均、内镜质量控制不严等问题。随着气管镜检查的需求数量越来越多，医生所承担的工作负荷和心理压力也越来越大。由于气管镜检查对医生的临床经验和操作状态有较高的依赖性，高负荷的内镜检查操作会降低气管镜检查的质量，容易出现检查覆盖不全，病灶检出不全等问题。并且，对于初学者，气管镜检查操作不够熟练，进入各个管腔后容易迷路，造成有些管腔漏看或者重复看；而对于年资较高的医生，气管镜检查操作过于熟练，精力集中在病变部位，又会造成观察管腔的时间过短，导致对各支气管的观察不够仔细或者检查不全。因此，虽然气管镜能够实现呼吸系统疾病的诊疗，但不同医生的诊疗效果却相差很大，导致气管镜检查的结果无法作为医生诊断的直接依据。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于深度学习的气管镜图像特征识别系统，它可以在气管镜检查操作的同时对所采集的气管镜图像进行特征识别。为解决上述技术问题，本专利技术基于深度学习的气管镜图像特征识别系统的技术解决方案为，包括：图像监测模块，被配置为用于接收气管镜所采集的图像，并将所接收的气管镜图像传递给深度学习模型；r>深度学习模型，包括模型一、模型二、模型三；所述模型一为根据合格图像库训练完成的卷积神经网络模型，被配置为用于接收来自于图像监测模块的气管镜图像，模型一对该气管镜图像进行识别，判断其是否为合格图像，若不合格，则模型一将该气管镜图像判断为“不合格图像”作为模型一识别结果传输给图像演示模块，并继续接收来自于图像监测模块的气管镜图像；若合格，则模型一将该气管镜图像判断为“合格图像”并传输给深度学习模型的模型二；所述模型二为根据体内/体外图像库训练完成的卷积神经网络模型，被配置为用于接收来自于模型一的合格图像，模型二对该合格图像进行识别，判断其是否在体内，若识别为体外图像，则模型二将该合格图像判断为“体外图像”作为模型二识别结果传输给图像演示模块，并继续接收来自于模型一的合格图像；若识别为体内图像，则模型二将该合格图像判断为“体内图像”并传输给深度学习模型的模型三；所述模型三为根据部位图像库训练完成的卷积神经网络模型，被配置为用于接收来自于模型二的体内图像，模型三对该体内图像进行部位识别，识别该体内图像的具体部位并进行标注，得到部位标注图像作为模型三识别结果，并将该识别结果传输给图像演示模块；以及图像演示模块，被配置为将来自于深度学习模型的所述模型一识别结果、模型二识别结果和模型三识别结果进行显示。在另一实施例中，所述识别系统还包括表示气管各部位的部位显示图像；图像演示模块调用部位显示图像，将模型三识别结果与部位显示图像进行叠加展示。本专利技术还提供一种基于深度学习的气管镜图像特征识别方法，其技术解决方案为，包括以下步骤：步骤S1，气管镜设备采集气管镜图像；步骤S2，图像监测模块接收来自于气管镜设备所采集的气管镜图像，并上传至深度学习模型；步骤S3，深度学习模型的模型一接收来自于图像监测模块的气管镜图像，模型一对该气管镜图像进行识别，判断其是否为合格图像，若不合格，则模型一将该气管镜图像判断为“不合格图像”作为模型一识别结果传输给图像演示模块，并继续接收来自于图像监测模块的气管镜图像；若合格，则模型一将该气管镜图像判断为“合格图像”并传输给深度学习模型的模型二；步骤S4，深度学习模型的模型二接收来自于模型一的合格图像，模型二对该合格图像进行识别，判断其是否在体内，若识别为体外图像，则模型二将该合格图像判断为“体外图像”作为模型二识别结果传输给图像演示模块，并继续接收来自于模型一的合格图像；若识别为体内图像，则模型二将该合格图像判断为“体内图像”并传输给深度学习模型的模型三；步骤S5，深度学习模型的模型三接收来自于模型二的体内图像，模型三对该体内图像进行部位识别，识别该体内图像的具体部位并进行标注，得到部位标注图像作为模型三识别结果，并将该识别结果传输给图像演示模块；步骤S6，图像演示模块接收来自于模型一的不合格图像、来自于模型二的体外图像以及来自于模型三的部位标注图像并进行显示；图像演示模块在显示来自于模型三的部位标注图像的同时，调用表示各部位的部位图像，以所述部位图像作为背景，将部位标注图像与部位图像进行匹配判断；当部位标注图像与部位图像的某一部位相匹配，且该部位未覆盖有部位标注图像，则将部位标注图像与部位图像进行叠加展示；当部位标注图像与部位图像的某一部位相匹配，且该部位已覆盖有部位标注图像，则重复步骤S5；步骤S7，判断部位图像上所有部位是否全部覆盖有部位标注图像，如31个部位全部覆盖有部位标注图像，则结束，此时已完成气管镜检查操作；如31个部位中至少有一个部位未覆盖有部位标注图像，则重复步骤S1。在另一实施例中，所述模型一的训练方法包括以下步骤：步骤1.1，气管镜采集多张气管镜图像；根据所采集的气管镜图像的分辨率，通过人工标注的方式将气管镜图像区分为合格图像和不合格图像，从而筛选出拍摄清楚的气管镜图像，将合格图像储存于合格图像库中；步骤1.2，气管镜继续采集更多张气管镜图像并输入给深度学习训练模型；深度学习训练模型以所述合格图像库作为训练特征进行训练，将该更多张气管镜图像区分为合格图像和不合格图像，作为深度学习训练模型的训练结果；步骤1.3，对深度学习训练模型的训练结果的准确率进行人工验证，如准确率不低于90％，则深度学习训练模型训练完成，得到深度学习模型的模型一；如准确率低于90％，则重复步骤1.2，向深度学习训练模型继续输入气管镜图像，直至准确率不低于90％。在另一实施例中，所述模型二的训练方法包括以下步骤：步骤2.1，通过人工标注的方式将合格图像区分为体内图像和体外图像，储存于体内/体外图像库中；步骤2.2，将合格图像输入给深度学习训练模型，深度学习训练模型以所述体内/体外图像库作为训练特征进行训练，将该合格图像区分为体内图像和体外图像，作为深度学习训练模型的训练结果；步骤2.3，对深度学习训练模型的训练结果的准确率进行人工验证，如准确率不低于90％，则深度学习训练模型训练完成，得到深度学习模型的模型二；如准确率低于90％，则重复步骤2.2，向深度学习训练模型继续输入更多的合格图像，直至准确率不低于90％。在另一实施例中，所述模型三的训练方法包括以下步骤：步骤3.1，建立部位属性图像库，将代表气管不同部位的体内图像储存于部位属性图片库；步骤3.2，向深度学习训练模型输入多张体内图像，深度学习训练模型以部位属性图片库作为训练特征进行训练，识别体内图像的所在部位，本文档来自技高网...

【技术保护点】
1.一种基于深度学习的气管镜图像特征识别系统，其特征在于，包括：/n图像监测模块，被配置为用于接收气管镜所采集的图像，并将所接收的气管镜图像传递给深度学习模型；/n深度学习模型，包括模型一、模型二、模型三；/n所述模型一为根据合格图像库训练完成的卷积神经网络模型，被配置为用于接收来自于图像监测模块的气管镜图像，模型一对该气管镜图像进行识别，判断其是否为合格图像，若不合格，则模型一将该气管镜图像判断为“不合格图像”作为模型一识别结果传输给图像演示模块，并继续接收来自于图像监测模块的气管镜图像；若合格，则模型一将该气管镜图像判断为“合格图像”并传输给深度学习模型的模型二；/n所述模型二为根据体内/体外图像库训练完成的卷积神经网络模型，被配置为用于接收来自于模型一的合格图像，模型二对该合格图像进行识别，判断其是否在体内，若识别为体外图像，则模型二将该合格图像判断为“体外图像”作为模型二识别结果传输给图像演示模块，并继续接收来自于模型一的合格图像；若识别为体内图像，则模型二将该合格图像判断为“体内图像”并传输给深度学习模型的模型三；/n所述模型三为根据部位图像库训练完成的卷积神经网络模型，被配置为用于接收来自于模型二的体内图像，模型三对该体内图像进行部位识别，识别该体内图像的具体部位并进行标注，得到部位标注图像作为模型三识别结果，并将该识别结果传输给图像演示模块；以及/n图像演示模块，被配置为将来自于深度学习模型的所述模型一识别结果、模型二识别结果和模型三识别结果进行显示。/n...

【技术特征摘要】
1.一种基于深度学习的气管镜图像特征识别系统，其特征在于，包括：
图像监测模块，被配置为用于接收气管镜所采集的图像，并将所接收的气管镜图像传递给深度学习模型；
深度学习模型，包括模型一、模型二、模型三；
所述模型一为根据合格图像库训练完成的卷积神经网络模型，被配置为用于接收来自于图像监测模块的气管镜图像，模型一对该气管镜图像进行识别，判断其是否为合格图像，若不合格，则模型一将该气管镜图像判断为“不合格图像”作为模型一识别结果传输给图像演示模块，并继续接收来自于图像监测模块的气管镜图像；若合格，则模型一将该气管镜图像判断为“合格图像”并传输给深度学习模型的模型二；
所述模型二为根据体内/体外图像库训练完成的卷积神经网络模型，被配置为用于接收来自于模型一的合格图像，模型二对该合格图像进行识别，判断其是否在体内，若识别为体外图像，则模型二将该合格图像判断为“体外图像”作为模型二识别结果传输给图像演示模块，并继续接收来自于模型一的合格图像；若识别为体内图像，则模型二将该合格图像判断为“体内图像”并传输给深度学习模型的模型三；
所述模型三为根据部位图像库训练完成的卷积神经网络模型，被配置为用于接收来自于模型二的体内图像，模型三对该体内图像进行部位识别，识别该体内图像的具体部位并进行标注，得到部位标注图像作为模型三识别结果，并将该识别结果传输给图像演示模块；以及
图像演示模块，被配置为将来自于深度学习模型的所述模型一识别结果、模型二识别结果和模型三识别结果进行显示。


2.根据权利要求1所述的基于深度学习的气管镜图像特征识别系统，其特征在于，所述识别系统还包括表示气管各部位的部位显示图像；图像演示模块调用部位显示图像，将模型三识别结果与部位显示图像进行叠加展示。


3.一种基于深度学习的气管镜图像特征识别方法，其特征在于，包括以下步骤：
步骤S1，气管镜设备采集气管镜图像；
步骤S2，图像监测模块接收来自于气管镜设备所采集的气管镜图像，并上传至深度学习模型；
步骤S3，深度学习模型的模型一接收来自于图像监测模块的气管镜图像，模型一对该气管镜图像进行识别，判断其是否为合格图像，若不合格，则模型一将该气管镜图像判断为“不合格图像”作为模型一识别结果传输给图像演示模块，并继续接收来自于图像监测模块的气管镜图像；若合格，则模型一将该气管镜图像判断为“合格图像”并传输给深度学习模型的模型二；
步骤S4，深度学习模型的模型二接收来自于模型一的合格图像，模型二对该合格图像进行识别，判断其是否在体内，若识别为体外图像，则模型二将该合格图像判断为“体外图像”作为模型二识别结果传输给图像演示模块，并继续接收来自于模型一的合格图像；若识别为体内图像，则模型二将该合格图像判断为“体内图像”并传输给深度学习模型的模型三；
步骤S5，深度学习模型的模型三接收来自于模型二的体内图像，模型三对该体内图像进行部位识别，识别该体内图像的具体部位并进行标注，得到部位标注图像作为模型三识别结果，并将该识别结果传输给图像演示模块；
步骤S6，图像演示模块接收来自于模型一的不合格图像、来自于模型二的体外图像以及来自于模型三的部位标注图像并进行显示；图像演示模块在显示来自于模型三的部位标注图像的同时，调用表示各部位的部位图像，以所述部位图像作为背景，将部位标注图像与部位图像进行匹配判断；当部位标注图像与部位图像的某一部位相匹配，且该部位未覆盖有部位标注图像，则将部位标注图像与部位图像进行叠加展示；当部位标注图像与部位图像的某一部位相匹配，且该部位已覆盖有部位标注图像，则重复步骤S5；
步骤S7，判断部位图像上所有部位是否全部覆盖有部位标注图像，如31个部位全部覆盖有部位...

【专利技术属性】
技术研发人员：孙加源，刘奇为，李营，谢芳芳，吴炜进，
申请(专利权)人：上海市胸科医院，上海镜影信息科技有限公司，
类型：发明
国别省市：上海;31