内窥镜检查监控方法及装置制造方法及图纸

本申请实施例提供一种内窥镜检查监控方法及装置，利用深度学习技术对消化道内窥镜采集到的医学影像中的每一关键帧进行图像识别，得到图像识别结果和第一检查评分，然后根据图像识别结果将消化系统脏器解剖部位为目标部位的关键帧作为消化内镜摄图，并将每个消化内镜摄图填充在预先配置的图像填充区域中对应的目标部位的图像填充框中，统计图像填充框的未填充数量，生成第二检查评分。而后对填充的每个消化内镜摄图进行图像分析识别，并根据图像分析识别结果生成第三检查评分，最后根据第一检查评分、第二检查评分以及第三检查评分生成内窥镜检查监控结果。如此，在实现智能质控的同时能够辅助提示操作者更好地完成内镜操作，提高病损的检出率。

Monitoring methods and devices for endoscopy

The embodiment of this application provides an endoscopy inspection monitoring method and device, which uses deep learning technology to recognize each key frame of medical image captured by endoscopy of digestive tract, and obtains the result of image recognition and the first examination score. Then, according to the result of image recognition, the key frame of the anatomical part of digestive organs as the target part is taken as the digestive endoscopy photograph. Each digestive endoscopy photograph is filled in the image filling frame corresponding to the target position in the pre-configured image filling area. The number of unfilled image filling frames is counted and the second examination score is generated. Then each digestive endoscopy image was analyzed and recognized, and the third examination score was generated according to the results of image analysis and recognition. Finally, the endoscopy monitoring results were generated according to the first examination score, the second examination score and the third examination score. In this way, while realizing intelligent quality control, it can help prompt operators to better complete endoscopy operation and improve the detection rate of lesions.

【技术实现步骤摘要】
内窥镜检查监控方法及装置
本申请涉及深度学习领域，具体而言，涉及一种内窥镜检查监控方法及装置。
技术介绍
消化内镜技术成为筛查、诊断、治疗上消化道早癌疾病的重要手段之一，内镜下病损组织活检病理则是诊断上消化道早癌的“金标准”。内镜诊疗技术是医务人员通过消化管腔或人工建立的通道，使用内镜器械在直视下或辅助设备支持下，对局部病灶进行观察、组织取材、止血、切除、引流、修补或重建通道等，以明确诊断、治愈疾病、缓解症状、改善功能等为目的诊断、治疗措施。然而，目前医护人员在开展消化内镜诊疗过程中，主要依赖人工观察记录，但是人工观察主观性大，且一般观察速度较快，难以确定每个消化系统脏器解剖部位是否观察全面并留取图像证据，因此导致诸多误诊漏诊。由此，目前的消化内镜技术还需要加强规范和管理，消化内镜质控工作需要进一步加强和完善。
技术实现思路
为了克服现有技术中的上述不足，本申请的目的在于提供一种内窥镜检查监控方法及装置，以解决或者改善上述问题。为了实现上述目的，本申请实施例采用的技术方案如下：第一方面，本申请实施例提供一种内窥镜检查监控方法，应用于与消化道内窥镜通信连接的计算机设备，所述方法包括：基于预先训练的体内外识别模型和消化系统脏器预测模型对所述消化道内窥镜采集到的医学影像中的每一关键帧进行图像识别，得到图像识别结果和第一检查评分，其中，所述图像识别结果包括每一关键帧的消化系统脏器解剖部位，所述第一检查评分为所述消化道内窥镜在体内停留的时间对应的检查评分；根据所述图像识别结果将消化系统脏器解剖部位为目标部位的关键帧作为消化内镜摄图，得到多个包括有目标部位的消化内镜摄图；根据所述图像识别结果将每个消化内镜摄图填充在预先配置的图像填充区域中对应的目标部位的图像填充框中，并统计图像填充框的未填充数量，生成第二检查评分，其中，所述图像填充框包括有预设数量个图像填充框，每个图像填充框与每个目标部位一一对应；对所述图像填充区域中填充的每个消化内镜摄图进行图像分析识别，并根据图像分析识别结果生成第三检查评分；根据所述第一检查评分、第二检查评分以及第三检查评分生成内窥镜检查监控结果。可选地，所述基于预先训练的体内外识别模型和消化系统脏器预测模型对所述消化道内窥镜采集到的医学影像中的每一关键帧进行图像识别，得到图像识别结果和第一检查评分的步骤，包括：从所述消化道内窥镜采集到的医学影像的单位时间视频流中获取第一数量帧关键帧；基于预先训练的体内外识别模型判断每一关键帧是否为上消化道内的图像关键帧，并根据判断结果得到上消化道内的图像关键帧以及所述消化道内窥镜在体内停留的时间；基于预先训练的消化系统脏器预测模型对所述消化道内窥镜采集到的医学影像中的每一上消化道内的图像关键帧进行图像识别，得到图像识别结果；根据预设的时间与检查评分的对应关系和所述消化道内窥镜在体内停留的时间，得到所述第一检查评分。可选地，所述体内外识别模型通过如下方式训练得到：搭建全连接深度学习网络；获取各个上消化道的上消化道内部的正训练样本集和上消化道外部的负训练样本集；基于所述各个上消化道的上消化道内部的正训练样本集和上消化道外部的负训练样本集训练所述全连接深度学习网络，得到所述体内外识别模型。可选地，所述消化系统脏器预测模型通过如下方式训练得到：搭建多个备选卷积神经网络；获取各个消化系统脏器的不同消化系统脏器解剖部位的训练样本集、验证样本集和测试样本集，所述训练样本集包括标注有各个消化系统脏器的不同消化系统脏器解剖部位的多个检查图像样本；基于各个消化系统脏器的不同消化系统脏器解剖部位的训练样本集和对应的验证样本集对每个备选卷积神经网络进行训练，并在检测到每个备选卷积神经网络的损失率稳定后停止训练，保存训练后的各个备选卷积神经网络；将所述测试样本集分别输入到训练后的每个备选卷积神经网络中进行解剖部位预测，绘制每个备选卷积神经网络预测的ROC曲线；计算每个备选卷积神经网络预测的ROC曲线的AUC面积，将AUC面积最大的备选卷积神经网络作为所述消化系统脏器预测模型。可选地，所述根据所述图像识别结果将消化系统脏器解剖部位为目标部位的关键帧作为消化内镜摄图的步骤，包括：根据所述图像识别结果判断每一关键帧的消化系统脏器解剖部位是否为目标部位；若是，则将该关键帧作为消化内镜摄图。可选地，所述根据所述图像识别结果将每个消化内镜摄图填充在预先配置的图像填充区域中对应的目标部位的图像填充框中，并统计图像填充框的未填充数量，生成第二检查评分的步骤，包括：根据所述图像识别结果确定每个消化内镜摄图中的目标部位；将每个消化内镜摄图填充在预先配置的图像填充区域中对应的目标部位的图像填充框中，并统计图像填充框的填充数量；根据所述图像填充框的填充数量计算图像填充框的未填充数量；将所述图像填充框的未填充数量乘以第一预设系数得到第二检查评分。可选地，所述对所述图像填充区域中填充的每个消化内镜摄图进行图像分析识别，并根据图像分析识别结果生成第三检查评分的步骤，包括：计算所述图像填充区域中填充的每个消化内镜摄图的图像暴露信息和图像中心区域的摄图清晰度，并根据所述图像暴露信息和摄图清晰度得到每个消化内镜摄图的第一评分信息；提取所述图像填充区域中填充的每个消化内镜摄图的黏膜气泡信息，并将所述黏膜气泡信息作为特征输入到预先训练的深度学习模型中，得到每个消化内镜摄图的第二评分信息，其中，所述黏膜气泡信息包括气泡数量、气泡大小以及气泡位置；识别所述图像填充区域中填充的每个消化内镜摄图的边界区域，并计算所述边界区域在对应的消化内镜摄图的占比，根据计算得到的占比得到每个消化内镜摄图的第三评分信息；根据每个消化内镜摄图的第一评分信息、第二评分信息以及第三评分信息得到所述第三检查评分。可选地，所述对所述图像填充区域中填充的每个消化内镜摄图进行图像分析识别，并根据图像分析识别结果生成第三检查评分的步骤之后，所述方法还包括：根据所述图像识别结果获取已识别到的目标部位，以确定对应的消化系统脏器平面展开图中与所述已识别到的目标部位对应的目标部位区域，并根据每个已识别到的目标部位对应的消化内镜摄图的第二评分信息对每个所述目标部位区域进行对应可视化状态的标注。可选地，所述根据所述第一检查评分、第二检查评分以及第三检查评分生成内窥镜检查监控结果的步骤，包括：根据所述第一检查评分、第二检查评分以及第三检查评分得到总检查评分；将所述总检查评分与各个操作评级对应的评分范围进行匹配，并将匹配成功的操作评级作为所述内窥镜检查监控结果输出。第二方面，本申请实施例还提供一种内窥镜检查监控装置，应用于与消化道内窥镜通信连接的计算机设备，所述装置包括：图像识别模块，用于基于预先训练的体内外识别模型和消化系统脏器预测模型对所述消化道内窥镜采集到的医学影像中的每一关键帧进行图像识别，得到图像识别结果和第一检查评分，其中，所述图像识别结果包括每一关键帧的消化系统脏器解剖部位，所述第一检查评分为所述消化道内窥镜在体内停留的时间对应的检查评分；摄图确定模块，用于根据所述图像识别结果将消化系统脏器解剖部位为目标部位的关键帧作为消化内镜摄图，得到多个包括有目标部位的消化内镜摄图；填充统计模块，用于根据所述图像识别结果将每个消化内镜摄图填充在预先配置的图像填充区本文档来自技高网...

【技术保护点】
1.一种内窥镜检查监控方法，其特征在于，应用于与消化道内窥镜通信连接的计算机设备，所述方法包括：基于预先训练的体内外识别模型和消化系统脏器预测模型对所述消化道内窥镜采集到的医学影像中的每一关键帧进行图像识别，得到图像识别结果和第一检查评分，其中，所述图像识别结果包括每一关键帧的消化系统脏器解剖部位，所述第一检查评分为所述消化道内窥镜在体内停留的时间对应的检查评分；根据所述图像识别结果将消化系统脏器解剖部位为目标部位的关键帧作为消化内镜摄图，得到多个包括有目标部位的消化内镜摄图；根据所述图像识别结果将每个消化内镜摄图填充在预先配置的图像填充区域中对应的目标部位的图像填充框中，并统计图像填充框的未填充数量，生成第二检查评分，其中，所述图像填充框包括有预设数量个图像填充框，每个图像填充框与每个目标部位一一对应；对所述图像填充区域中填充的每个消化内镜摄图进行图像分析识别，并根据图像分析识别结果生成第三检查评分；根据所述第一检查评分、第二检查评分以及第三检查评分生成内窥镜检查监控结果。

【技术特征摘要】
1.一种内窥镜检查监控方法，其特征在于，应用于与消化道内窥镜通信连接的计算机设备，所述方法包括：基于预先训练的体内外识别模型和消化系统脏器预测模型对所述消化道内窥镜采集到的医学影像中的每一关键帧进行图像识别，得到图像识别结果和第一检查评分，其中，所述图像识别结果包括每一关键帧的消化系统脏器解剖部位，所述第一检查评分为所述消化道内窥镜在体内停留的时间对应的检查评分；根据所述图像识别结果将消化系统脏器解剖部位为目标部位的关键帧作为消化内镜摄图，得到多个包括有目标部位的消化内镜摄图；根据所述图像识别结果将每个消化内镜摄图填充在预先配置的图像填充区域中对应的目标部位的图像填充框中，并统计图像填充框的未填充数量，生成第二检查评分，其中，所述图像填充框包括有预设数量个图像填充框，每个图像填充框与每个目标部位一一对应；对所述图像填充区域中填充的每个消化内镜摄图进行图像分析识别，并根据图像分析识别结果生成第三检查评分；根据所述第一检查评分、第二检查评分以及第三检查评分生成内窥镜检查监控结果。2.根据权利要求1所述的内窥镜检查监控方法，其特征在于，所述基于预先训练的体内外识别模型和消化系统脏器预测模型对所述消化道内窥镜采集到的医学影像中的每一关键帧进行图像识别，得到图像识别结果和第一检查评分的步骤，包括：从所述消化道内窥镜采集到的医学影像的单位时间视频流中获取第一数量帧关键帧；基于预先训练的体内外识别模型判断每一关键帧是否为上消化道内的图像关键帧，并根据判断结果得到上消化道内的图像关键帧以及所述消化道内窥镜在体内停留的时间；基于预先训练的消化系统脏器预测模型对所述消化道内窥镜采集到的医学影像中的每一上消化道内的图像关键帧进行图像识别，得到图像识别结果；根据预设的时间与检查评分的对应关系和所述消化道内窥镜在体内停留的时间，得到所述第一检查评分。3.根据权利要求1所述的内窥镜检查监控方法，其特征在于，所述体内外识别模型通过如下方式训练得到：搭建全连接深度学习网络；获取各个上消化道的上消化道内部的正训练样本集和上消化道外部的负训练样本集；基于所述各个上消化道的上消化道内部的正训练样本集和上消化道外部的负训练样本集训练所述全连接深度学习网络，得到所述体内外识别模型。4.根据权利要求1所述的内窥镜检查监控方法，其特征在于，所述消化系统脏器预测模型通过如下方式训练得到：搭建多个备选卷积神经网络；获取各个消化系统脏器的不同消化系统脏器解剖部位的训练样本集、验证样本集和测试样本集，所述训练样本集包括标注有各个消化系统脏器的不同消化系统脏器解剖部位的多个检查图像样本；基于各个消化系统脏器的不同消化系统脏器解剖部位的训练样本集和对应的验证样本集对每个备选卷积神经网络进行训练，并在检测到每个备选卷积神经网络的损失率稳定后停止训练，保存训练后的各个备选卷积神经网络；将所述测试样本集分别输入到训练后的每个备选卷积神经网络中进行解剖部位预测，绘制每个备选卷积神经网络预测的ROC曲线；计算每个备选卷积神经网络预测的ROC曲线的AUC面积，将AUC面积最大的备选卷积神经网络作为所述消化系统脏器预测模型。5.根据权利要求1所述的内窥镜检查监控方法，其特征在于，所述根据所述图像识别结果将消化系统脏器解剖部位为目标部位的关键帧作为消化内镜摄图的步骤，包括：根据所述图像识别结果判断每一关键帧的消化系统脏器解剖部位是否为目标部位；若是，则将该关键帧作为消化内镜摄图。6.根据权利要求1所述的内窥镜检查监控方法，其特征在于，所述根据所述图像...

【专利技术属性】
技术研发人员：李延青，冯健，左秀丽，李真，李广超，邵学军，赖永航，
申请(专利权)人：青岛美迪康数字工程有限公司，
类型：发明
国别省市：山东,37