基于深度神经网络的肠镜退镜质量智能监控系统及方法技术方案

本发明专利技术涉及结肠镜检查过程质量评价领域，提出一种基于深度神经网络的肠镜退镜质量智能监控系统及方法，系统包括：质量监控模型端、后台视频处理和调用端和视频流展示端；方法包括：获取结肠镜检查时生成的视频流并拆分成图像帧；检测出每一帧图像中的目标区域并分割出来；对分割后的目标区域进行视野的有效性判定，并将有效视野的图像的数量和总图像数量的比值作为退镜过程中的视野有效率返回至视频流展示端；将判定为有效视野的图像按照四个象限等分为四份，分别进行管腔、局部和模糊的三分类判定，并将局部分类的图像数量和有效视野的图像数量的比值，以及管腔分类的图像数量和有效视野的图像数量的比值返回至视频流展示端。

【技术实现步骤摘要】
基于深度神经网络的肠镜退镜质量智能监控系统及方法
本专利技术涉及结肠镜检查过程质量评价领域，具体涉及一种基于深度神经网络的肠镜退镜质量智能监控系统及方法。
技术介绍
结直肠癌（colorectalcancer,CRC）是一种比较常见的癌症，为第三大常见的癌症死亡类型。据统计，其发病率于男性与女性中分别位居癌症第3位和第2位，2015年结直肠癌新发病例数达165万，死亡病例近83.5万。早期结肠癌的主要发病人群为欧美国家人群，但近年来亚洲群体中结直肠癌的发病率不断增长。结肠息肉是结直肠癌症的前身，因此对于早期结直肠病人，临床医生通过结肠镜检查发现息肉至关重要。只有尽早的进行结直肠镜检查，才能早发现进而早治疗。结肠镜检查在费时、费力的同时，仍存在效率低、漏检率和误检率偏高的情况。因为当人工判读结肠镜影像数据时，医生的判断结果对医生本身的技术能力、临床经验乃至结肠镜检查的前期准备工作有着较高的要求。医生通过使用内窥镜对患者结肠进行观察，往往分为进镜和退镜两个步骤。其中对诊断起主要作用的是退镜部分对结肠内壁的观察，查看有无明显病变组织等。这种情况下，结肠镜检查的退镜过程质量对医生的诊断效果有着重要的影响。而人工判读下，这种退镜质量并没有一个客观的评价指标，造成结肠镜诊断过程的混乱和无序。在当前的医疗实践中，结肠癌疾病的早期症状非常不明显，一旦有症状，大多数患者都到了中晚期。早期发现结肠癌的最直接、有效的手段就是结肠镜检查。目前有一些工作关注了结肠镜检查过程中的质量问题，利用计算机软件技术辅助医生的结肠镜检查过程，包括对退镜过程总时长的记录以及结肠镜检查过程中杂质的干扰，因为对结肠镜检查时间的要求可以强制医生进行更充分细致的检查，而对检查过程中粪渣等杂质的识别可以从侧面评估这次检查的质量。少部分尝试对结肠镜检查过程质量进行评价的工作具有局限性，仅仅关注了退镜过程的总时长以及病人结肠内的粪渣等杂质的干扰。退镜检查的时长仅仅是一个退镜过程的间接指标，隐含着只有足够的检查时间才能有足够的检查质量，甚至有了足够的检查时间就有足够的检查质量的假设，并没有切实评估退镜操作的有效性；而杂质干扰只是从结肠镜检查的前期准备方面来试图评价整个结肠镜检查的质量，与实际的结肠镜检查操作无关，无法切实评价结肠镜检查的质量。在实际的结肠镜检查中，受限于医生操作的专业程度和医生自身的业务水平，检查的质量往往由两个方面的质量来评估，一是视野的有效性，二是旋镜操作的程度。视野有效性指的是因为肠镜的探头由医生人为控制，由于医生操作手法、业务水平的不同，往往存在由于镜头稳定性缺失、过度摇晃造成的视野模糊、花屏现象；以及由于镜头距离肠壁距离过短造成的视野偏红无法识别，这些无法识别的图像被判定为无效视野，而这些情况之外的有效视野在所有视野中的比例即为视野有效性；旋镜操作程度指的是医生在实际的结肠镜检查中往往需要通过对镜头的不断旋转来更细致的观察结肠局部是否存在病变，而旋镜操作的程度直接关系到这次检查漏检的可能性，所以需要同通过统计旋镜操作观察到的局部数量在整个观察过程中的比例来评价结肠镜检查的质量。总的来说：结直肠癌高发，需要通过结肠镜检查来发现早期的结直肠病变，这对与结直肠癌的诊断和治疗具有重要意义。但结直肠内镜检查具有高度依赖医生业务能力的特点，对结直肠内镜检查过程中医生的操作过程并没有一个客观、公正的评价指标，造成了结直肠内镜检查的混乱和无序。因此开发一套肠镜退镜质量智能监控模型对于评价结肠镜的操作水准，进而提高医生结肠镜诊断的质量和效率十分必要。
技术实现思路
本专利技术的目的是提供一种基于深度神经网络的肠镜退镜质量智能监控系统及方法，能够对退镜过程中影响医生质量的两个重要指标——退镜稳定程度和旋镜水平进行客观评估。本专利技术解决其技术问题，采用的技术方案是：本专利技术首先提出一种基于深度神经网络的肠镜退镜质量智能监控系统，包括：后台视频处理和调用端，用于将获取到的视频流拆分成图像帧，并调用质量监控模型；质量监控模型端，用于运行基于深度神经网络的目标区域检测模型和分类模型；具体包括如下：在启动时调用基于深度神经网络的目标区域检测模型，检测出帧图像中的目标区域，并将检测出的目标区域从对应的图像帧中分割出来，并将分割出来的目标区域进行视野的有效性判定，并记录有效视野的图像和总图像数量，并将有效视野的图像的数量和总图像数量的比值作为退镜过程中的视野有效率返回至视频流展示端；将判定为有效视野的图像按照四个象限等分为四份，分别调用基于深度神经网络的分类模型进行管腔、局部和模糊的三分类判定，并将其中局部分类的图像数量和有效视野的图像数量的比值，以及管腔分类的图像数量和有效视野的图像数量的比值返回至视频流展示端；视频流展示端，用于展示质量控制指标，所述质量控制指标包括退镜过程中的视野有效率、局部分类的图像数量和有效视野的图像数量的比值以及管腔分类的图像数量和有效视野的图像数量的比值。进一步的是，所述质量监控模型端在将获取到的视频流拆分成图像帧时，设定规定帧率，当视频流中的视频的帧率超过所述规定帧率时，则对于视频进行降帧处理。进一步的是，利用OpenCV软件包将获取到的视频流拆分成图像帧。进一步的是，所述基于深度神经网络的目标区域检测模型利用YoloV5算法，检测每帧图像的目标区域。进一步的是，利用Pillow工具包将所述退镜过程中的视野有效率以及旋镜操作的评估指标编辑在从视频流中拆分出的图像帧上，并将编辑后的图像帧展示在使用PyQt工具包创建的视频流展示端界面上。进一步的是，所述视频流展示端包括开始检测按钮、AI开启或关闭按钮、全屏按钮以及视频展示区；所述开始检测按钮，用于在按下时，启动后台视频处理和调用端；所述AI开启或关闭按钮，用于自动控制开启或关闭后台视频处理和调用端；所述视频展示区，用于展示编辑后的图像帧；所述全屏按钮，用于在按下时，将视频展示区全屏展示。进一步的是，在编辑时，质量控制指标将编辑在图像帧的控制信息部分。另外，本专利技术还提出一种基于深度神经网络的肠镜退镜质量智能监控方法，应用于所述的基于深度神经网络的肠镜退镜质量智能监控系统，包括如下步骤：步骤1.获取结肠镜检查时生成的视频流；步骤2.将获取到的视频流拆分成图像帧；步骤3.检测出每一帧图像中的目标区域，并将检测出的目标区域从对应的图像帧中分割出来；步骤4.对分割后的目标区域进行视野的有效性判定，并记录有效视野的图像和总图像数量；步骤5.将有效视野的图像的数量和总图像数量的比值作为退镜过程中的视野有效率返回至视频流展示端；步骤6.将判定为有效视野的图像按照四个象限等分为四份，分别进行管腔、局部和模糊的三分类判定；步骤7.将三分类判定结果中局部分类的图像数量和有效视野的图像数量的比值，以及管腔分类的图像数量和有效视野的图像数量的比值返回至视频流展示端。本专利技术的有益效果是，通过上述基于深度神经网络的肠镜退镜质量本文档来自技高网...

【技术保护点】
1.基于深度神经网络的肠镜退镜质量智能监控系统，其特征在于，包括：/n后台视频处理和调用端，用于将获取到的视频流拆分成图像帧，并调用质量监控模型；/n质量监控模型端，用于运行基于深度神经网络的目标区域检测模型和分类模型；具体包括如下：/n在启动时调用基于深度神经网络的目标区域检测模型，检测出帧图像中的目标区域，并将检测出的目标区域从对应的图像帧中分割出来，并将分割出来的目标区域进行视野的有效性判定，并记录有效视野的图像和总图像数量，并将有效视野的图像的数量和总图像数量的比值作为退镜过程中的视野有效率返回至视频流展示端；/n将判定为有效视野的图像按照四个象限等分为四份，分别调用基于深度神经网络的分类模型进行管腔、局部和模糊的三分类判定，并将其中局部分类的图像数量和有效视野的图像数量的比值，以及管腔分类的图像数量和有效视野的图像数量的比值返回至视频流展示端；/n视频流展示端，用于展示质量控制指标，所述质量控制指标包括退镜过程中的视野有效率、局部分类的图像数量和有效视野的图像数量的比值以及管腔分类的图像数量和有效视野的图像数量的比值。/n

【技术特征摘要】
1.基于深度神经网络的肠镜退镜质量智能监控系统，其特征在于，包括：
后台视频处理和调用端，用于将获取到的视频流拆分成图像帧，并调用质量监控模型；
质量监控模型端，用于运行基于深度神经网络的目标区域检测模型和分类模型；具体包括如下：
在启动时调用基于深度神经网络的目标区域检测模型，检测出帧图像中的目标区域，并将检测出的目标区域从对应的图像帧中分割出来，并将分割出来的目标区域进行视野的有效性判定，并记录有效视野的图像和总图像数量，并将有效视野的图像的数量和总图像数量的比值作为退镜过程中的视野有效率返回至视频流展示端；
将判定为有效视野的图像按照四个象限等分为四份，分别调用基于深度神经网络的分类模型进行管腔、局部和模糊的三分类判定，并将其中局部分类的图像数量和有效视野的图像数量的比值，以及管腔分类的图像数量和有效视野的图像数量的比值返回至视频流展示端；
视频流展示端，用于展示质量控制指标，所述质量控制指标包括退镜过程中的视野有效率、局部分类的图像数量和有效视野的图像数量的比值以及管腔分类的图像数量和有效视野的图像数量的比值。


2.根据权利要求1所述的基于深度神经网络的肠镜退镜质量智能监控系统，其特征在于，所述质量监控模型端在将获取到的视频流拆分成图像帧时，设定规定帧率，当视频流中的视频的帧率超过所述规定帧率时，则对于视频进行降帧处理。


3.根据权利要求1或2所述的基于深度神经网络的肠镜退镜质量智能监控系统，其特征在于，利用OpenCV软件包将获取到的视频流拆分成图像帧。


4.根据权利要求1所述的基于深度神经网络的肠镜退镜质量智能监控系统，其特征在于，所述基于深度神经网络的目标区域检测模型利用YoloV5算法，检测每帧图像的目标区域。


5.根据权利要求1所述的基于深度神...

【专利技术属性】
技术研发人员：胡兵，章毅，吴雨，刘伟，周尧，庞博，袁湘蕾，甘雨，
申请(专利权)人：四川大学，
类型：发明
国别省市：四川;51