基于深度学习的肠镜操作实时辅助系统及其操作方法技术方案

本发明专利技术公开了一种基于深度学习的肠镜操作实时辅助系统及其操作方法，该系统包括：客户端和服务端；其中：客户端，设置有至少一个，与肠镜设备相连，用于获取当前肠镜设备采集的肠镜图像，通过网络将肠镜图像上传到服务端；并接收和显示服务端反馈回来的分析结果；服务端，根据客户端发送来的肠镜图像，进行肠镜图像处理，即时判断肠镜图像对应的部位及部位特征，并将分析结果反馈给客户端；服务端包括样本数据库、卷积神经网络模型和web服务模块。本发明专利技术能对采集的图像进行图像质量识别、部位识别和部位特征的识别，并在客户端进行显示，为操作者提供更为可靠的参考依据，提高检测的准确度和有效性，简单易用。

【技术实现步骤摘要】
基于深度学习的肠镜操作实时辅助系统及其操作方法
本专利技术涉及医疗检测辅助领域，尤其涉及一种基于深度学习的肠镜操作实时辅助系统及其操作方法。
技术介绍
为提高早期肠癌发现率，大面积的普查是必要的，而目前主要的手段就是肠镜检查，因此医院的胃肠科门前常常排起长龙，对操作医生的熟练度和判断准确度都提出了很高的要求。而对于患者，肠镜检查也绝不轻松，除了检查前至少需要禁食6小时，插管带来的痛苦也让很多患者望而生畏。通常一份完整的肠镜检查报告需要包含回肠末端，回盲部，升结肠，肝曲，横结肠，脾曲，降结肠，乙状结肠，直肠，肛管至少10个部位的图片，若发现存在病灶或者可疑的部位还需靠近进行更细节的拍摄。要求医生在肠镜检查过程中实时拍摄图片，发现可疑部位时及时进行进一步的检查。医生常常需要通过长时间经验的积累才能顺利流畅地完成一次肠镜检查。对于经验不太丰富的医生来说，漏掉检查部位或者未能发现可疑区域是常有的事。前者就需要患者再重新经历一次痛苦的检查，既消磨患了者的时间与金钱，也浪费了医院的检测资源；而后者更是会把患者的生命置于危险的境地。
技术实现思路
本专利技术要解决的技术问题在于针对现有技术中的缺陷，提供一种基于深度学习的肠镜操作实时辅助系统及其操作方法。本专利技术解决其技术问题所采用的技术方案是：本专利技术提供一种基于深度学习的肠镜操作实时辅助系统，该系统包括：客户端和服务端；其中：客户端，设置有至少一个，与肠镜设备相连，用于获取当前肠镜设备采集的肠镜图像，通过网络将肠镜图像上传到服务端；并接收和显示服务端反馈回来的分析结果；服务端，根据客户端发送来的肠镜图像，进行肠镜图像处理，即时判断肠镜图像对应的部位及部位特征，并将分析结果反馈给客户端；服务端包括样本数据库、卷积神经网络模型和web服务模块；其中：样本数据库，用于存储典型肠镜图像的样本，包括合格图片库、部位库和部位特征库；卷积神经网络模型，为根据合格图片库、部位库和部位特征库训练得到的三个模型，分别用于判断肠镜图像是否合格、部位判断和部位特征识别；Web服务模块，用于接收客户端的请求，将接收到的肠镜图像作为输入参数，调用卷积神经网络模型进行肠镜图像是否合格、部位判断和部位特征识别的分析，并将得到分析结果反馈给客户端。进一步地，本专利技术的部位库中包含肠道检测的所有部位的图像，包括：回肠末端，回盲部，升结肠，肝曲，横结肠，脾曲，降结肠，乙状结肠，直肠，肛管；在进行部位判断时，若缺少其中的部位，则发送提示给客户端。进一步地，本专利技术的合格图片库中存储的是拍摄清楚的肠镜图像，部位库中存储的是对合格图片中的物体形态进行部位标注的肠镜图像，部位特征库中存储的是对合格图片中的肠镜图像进行病变标注的肠镜图像。进一步地，本专利技术的该系统还包括通信模块，客户端和服务端均与通信模块相连，通信模块用于实现客户端向服务端发送请求，以及从服务端获取分析结果。进一步地，本专利技术的该系统还包括图像演示模块，用于根据获取到的分析结果，调用表示各部位的图片和部位特征的标记进行叠加展示。本专利技术提供一种基于深度学习的肠镜操作实时辅助系统的操作方法，包括以下步骤：S1、当肠镜设备采集图像，客户端触发并获取所采集的肠镜图像，并上传至服务端；S2、服务端接收肠镜图像作为参数，调用卷积神经网络模型进行识别：首先判断肠镜图像是否为合格图片，若不合格则输出分析结果为不合格；当肠镜图像判断为合格图片后，识别该肠镜图像中的具体部位和部位特征并输出；S3、客户端接收并显示分析结果；S4、操作人员根据客户端显示的分析结果进行下一步操作：当分析结果为不合格时，继续采集肠镜图像；当识别出的具体部位不够完整时继续采集遗漏的部位；当识别出的具体部位完整时，结束操作。进一步地，本专利技术的步骤S2中识别的部位包括回肠末端，回盲部，升结肠，肝曲，横结肠，脾曲，降结肠，乙状结肠，直肠，肛管；在进行部位判断时，部位库中必须包含所有上述部位的肠镜图像，若缺少其中的部位，则发出提示。进一步地，本专利技术的步骤S2中识别的部位特征包括NBI癌、NBI正常、白光癌和白光正常。进一步地，本专利技术的步骤S3中客户端接收并显示分析结果，包括调用表示各部位的图片和部位特征的标记进行叠加展示。进一步地，本专利技术的步骤S3中客户端实时记录采集的肠镜图像的数量、服务端发回的部位数量及部位特征数量，并进行显示。本专利技术产生的有益效果是：本专利技术的基于深度学习的肠镜操作实时辅助系统及其操作方法，通过本专利技术对采集的图像进行图像质量识别、部位识别和部位特征的识别，并在客户端进行显示，为操作者提供更为可靠的参考依据，提高检测的准确度和有效性，简单易用，避免因为一次检查不到位而让患者二次痛苦。附图说明下面将结合附图及实施例对本专利技术作进一步说明，附图中：图1是本专利技术实施例的系统结构框图；图2是本专利技术实施例的卷积神经网络模型训练图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。如图1所示，本专利技术实施例的基于深度学习的肠镜操作实时辅助系统，包括：至少一个客户端，用于监听并通过网络上传当前肠镜设备采集的肠镜图像，接收和显示反馈的分析结果。每个客户端均包括通信模块和图像演示模块；其中，通信模块用于发送请求到服务端，及从服务端获取分析结果，具体实现为http通信方式；图像演示模块用于根据获取的分析结果，调用表示各部位的图片和部位特征的标记进行叠加展示。本实施例中，图像演示模块包括一张食管、胃部和十二指肠球部及降部整体的背景示意图；十张用于表示各个部位的PNG格式的示意图；用于表示存在病灶(即部位特征)的红点图片。根据服务端发回的信息调用表示各部位的图片和病灶(即部位特征)的红点图片在背景示意图上覆盖以表示肠镜操作已检查的部位及存在病变的部位。服务端，用于采用REST架构，根据从客户端采集的肠镜图像，即时判断肠镜图像对应的部位及部位特征，将分析结果反馈给客户端。所述的服务端包括样本数据库、卷积神经网络模型和web服务模块。样本数据库用于存储典型肠镜图像的样本，包括合格图片库、部位库和部位特征库，合格图片库中存储的是拍摄清楚的肠镜图像，部位库中存储的是对合格图片中的物体形态进行部位标注的肠镜图像，部位特征库中存储的是对合格图片中的肠镜图像进行病变标注的肠镜图像。通常一份完整的肠镜检查报告需要包含回肠末端，回盲部，升结肠，肝曲，横结肠，脾曲，降结肠，乙状结肠，直肠，肛管至少10个部位的图片，若发现存在病灶或者可疑的部位还需靠近进行更细节的拍摄。因此，本实施例中，所述的部位库中包含所需要的所有部位，即：回肠末端，回盲部，升结肠，肝曲，横结肠，脾曲，降结肠，乙状结肠，直肠，肛管；在进行部位判断时，必须包含所有上述部位的肠镜图像的识别，若缺少其中的部位，则发出提示给客户端。所述的部位特征包括NBI癌、NBI正常、NBI非癌病灶(包括息肉、炎症性肠病、糜烂)白光癌和白光正常，白光非癌病灶(包括息肉、炎症性肠病、糜烂)。白光癌和白光正常，具体为结构体数组。在此，需要强调的是，本实施例中所提及的“回肠末端，回盲部，升结肠，肝曲，横结肠，脾曲，降结肠，乙状结肠，直肠，肛管”、“NBI癌、NBI正常本文档来自技高网...

【技术保护点】
1.一种基于深度学习的肠镜操作实时辅助系统，其特征在于，该系统包括：客户端和服务端；其中：客户端，设置有至少一个，与肠镜设备相连，用于获取当前肠镜设备采集的肠镜图像，通过网络将肠镜图像上传到服务端；并接收和显示服务端反馈回来的分析结果；服务端，根据客户端发送来的肠镜图像，进行肠镜图像处理，即时判断肠镜图像对应的部位及部位特征，并将分析结果反馈给客户端；服务端包括样本数据库、卷积神经网络模型和web服务模块；其中：样本数据库，用于存储典型肠镜图像的样本，包括合格图片库、部位库和部位特征库；卷积神经网络模型，为根据合格图片库、部位库和部位特征库训练得到的三个模型，分别用于判断肠镜图像是否合格、部位判断和部位特征识别；Web服务模块，用于接收客户端的请求，将接收到的肠镜图像作为输入参数，调用卷积神经网络模型进行肠镜图像是否合格、部位判断和部位特征识别的分析，并将得到分析结果反馈给客户端。

【技术特征摘要】
1.一种基于深度学习的肠镜操作实时辅助系统，其特征在于，该系统包括：客户端和服务端；其中：客户端，设置有至少一个，与肠镜设备相连，用于获取当前肠镜设备采集的肠镜图像，通过网络将肠镜图像上传到服务端；并接收和显示服务端反馈回来的分析结果；服务端，根据客户端发送来的肠镜图像，进行肠镜图像处理，即时判断肠镜图像对应的部位及部位特征，并将分析结果反馈给客户端；服务端包括样本数据库、卷积神经网络模型和web服务模块；其中：样本数据库，用于存储典型肠镜图像的样本，包括合格图片库、部位库和部位特征库；卷积神经网络模型，为根据合格图片库、部位库和部位特征库训练得到的三个模型，分别用于判断肠镜图像是否合格、部位判断和部位特征识别；Web服务模块，用于接收客户端的请求，将接收到的肠镜图像作为输入参数，调用卷积神经网络模型进行肠镜图像是否合格、部位判断和部位特征识别的分析，并将得到分析结果反馈给客户端。2.根据权利要求1所述的基于深度学习的肠镜操作实时辅助系统，其特征在于，部位库中包含肠道检测的所有部位的图像，包括：回肠末端，回盲部，升结肠，肝曲，横结肠，脾曲，降结肠，乙状结肠，直肠，肛管；在进行部位判断时，若缺少其中的部位，则发送提示给客户端。3.根据权利要求1所述的基于深度学习的肠镜操作实时辅助系统，其特征在于，合格图片库中存储的是拍摄清楚的肠镜图像，部位库中存储的是对合格图片中的物体形态进行部位标注的肠镜图像，部位特征库中存储的是对合格图片中的肠镜图像进行病变标注的肠镜图像。4.根据权利要求1所述的基于深度学习的肠镜操作实时辅助系统，其特征在于，该系统还包括通信模块，客户端和服务端均与通信模块相连，通信模块用于实现客户端向服务端发送请求，以及从服务端获取分析结果。5.根据权利要...

【专利技术属性】
技术研发人员：于红刚，胡珊，慕刚刚，吴练练，
申请(专利权)人：武汉大学人民医院湖北省人民医院，
类型：发明
国别省市：湖北,42