基于卷积神经网络的内窥镜评估方法及评估系统技术方案

本发明专利技术公开了一种基于卷积神经网络的内窥镜评估方法及评估系统。所述内窥镜评估方法包括：获取内窥镜的评估图像；获取所述评估图像中的特征目标及其位置信息；计算所述评估图像中不同种类的特征目标之间的距离，以及同一种类特征目标出现的比例，对所述特征目标进行特征过滤；对通过所述特征过滤的特征目标进行连续计时，获取评估结果，用于指示所述内窥镜是否正常。本发明专利技术所提供的内窥镜评估方法及评估系统能够准确的判断内窥镜术前准备是否完成喷气喷水检查准备工作，并准确给出是否通过术前准备工作的指示，避免术中因术前准备不足的原因而导致手术或检查中断的问题，极大地提高了医生进行术前准备的效率，节省了医生的精力。力。力。

【技术实现步骤摘要】
基于卷积神经网络的内窥镜评估方法及评估系统


[0001]本专利技术涉及图像识别
，尤其涉及一种基于卷积神经网络的内窥镜评估方法及评估系统。

技术介绍

[0002]在内窥镜领域，基于深度学习的计算机辅助诊断系统因为其很高的应用价值得到了研究人员越来越对的关注。基于卷积神经网的人工智能算法的主要应用领域包括：息肉的自动检出，盲区监测，早癌识别，质量控制。大量的临床研究数据表明，较为成熟的人工智能算法主要集中在书中对于病变的检测和识别，如息肉，早癌识别，而作为实验重要一环的术前设备状况的智能检测，如内窥镜能否正常喷气、喷水的检查还没有与之相关的自动化算法。
[0003]人工智能在内窥镜操作质量评估上的应用还较为少见，且仅有的一些多为手术途中对医生操作的评估，并没有术前对手术设备能否正常工作的评估。而术前准备中比较重要的一个应用场景，便是评估内窥镜的前端能否顺畅喷气、喷水，以确保手术中的操作能够正常进行。目前内镜内窥镜前端能否喷气、喷水的检测均为医生人工判断，医生通过观察内镜内窥镜前端能否在水中喷出气泡来判断其能否正常喷气，通过观察内窥镜前端喷出的水滴是否顺畅来判断其能否喷水。由于对于肠胃镜检测的需求增加迅速，内窥镜操作医生人数相对缺乏，面对大量的病人，医生有时会误判，漏判术前准备结果，进而增加影响手术正常进程，延误病人病情的概率。

技术实现思路

[0004]针对现有技术的不足，本专利技术的目的在于提供一种基于卷积神经网络的内窥镜评估方法及评估系统。
[0005]为实现前述专利技术目的，本专利技术采用的技术方案包括：
[0006]第一方面，本专利技术提供一种基于卷积神经网络的内窥镜评估方法，所述内窥镜至少具有喷气和喷水两种功能，所述的内窥镜评估方法包括：
[0007]1)通过摄像模块获取内窥镜的评估图像；
[0008]2)通过目标检测获取所述评估图像中的特征目标及其位置信息，所述特征目标至少包括含有液体以及气泡的透明容器、连续液滴以及所述内窥镜的前端；
[0009]3)基于所述特征目标及其位置信息计算所述评估图像中不同种类的特征目标之间的距离，以及计算连续多个所述评估图像中同一种类的特征目标出现的比例，基于所述距离和比例对所述特征目标进行特征过滤；
[0010]4)对通过所述特征过滤的特征目标进行连续计时，并基于计时结果获取所述内窥镜的评估结果，所述评估结果用于指示所述内窥镜的喷气和喷水功能是否正常。
[0011]第二方面，本专利技术还提供一种内窥镜评估系统，其包括：
[0012]摄像模块，用于获取内窥镜的评估图像；
[0013]目标检测器，用于通过目标检测获取所述评估图像中的特征目标及其位置信息，所述特征目标至少包括含有液体以及气泡的透明容器、连续液滴以及所述内窥镜的前端；
[0014]特征过滤器，用于基于所述特征目标及其位置信息计算所述评估图像中不同种类的特征目标之间的距离，以及计算连续多个所述评估图像中同一种类的特征目标出现的比例，基于所述距离和比例对所述特征目标进行特征过滤；
[0015]信号计时器，用于对通过所述特征过滤的特征目标进行连续计时，并基于计时结果获取所述内窥镜的评估结果，所述评估结果用于指示所述内窥镜的喷气和喷水功能是否正常。
[0016]基于上述技术方案，与现有技术相比，本专利技术的有益效果至少包括：
[0017]本专利技术提供的基于卷积神经网络的内窥镜评估方法及评估系统能够高效准确的寻找出内窥镜的前端喷气时含有液体及气泡的透明容器，喷水时放入连续液滴以及内窥镜前端，然后对检测目标结果进行处理过滤，仅输出正确结果，最后正确的特征目标信号触发计时器，并基于计时器的计时结果指示内窥镜是否评估通过；该方法及系统能够准确的判断内窥镜术前准备是否完成喷气喷水检查准备工作，并准确给出是否通过术前准备工作的指示，避免术中因术前准备不足的原因而导致手术或检查中断的问题，极大地提高了医生进行术前准备的效率，节省了医生的精力。
[0018]上述说明仅是本专利技术技术方案的概述，为了能够使本领域技术人员能够更清楚地了解本申请的技术手段，并可依照说明书的内容予以实施，以下以本专利技术的较佳实施例并配合详细附图说明如后。
附图说明
[0019]图1是本专利技术一具体实施方案提供的基于卷积神经网络的内窥镜评估方法的使用场景示图；
[0020]图2是本专利技术一具体实施方案提供的特征目标的图像示例图；
[0021]图3是本专利技术一具体实施方案提供的基于卷积神经网络的内窥镜评估方法的总体流程示意图；
[0022]图4是本专利技术一具体实施方案提供的目标检测器结构示意图；
[0023]图5是本专利技术一具体实施方案提供的特征过滤器中处理神经网络识别结果的信号处理的详细过程示意图；
[0024]图6是本专利技术一具体实施方案提供的信号计时器的结构示意图。
具体实施方式
[0025]需要首先声明，虽然内窥镜属于医疗器械的一种，但仍然需强调的是，本专利技术所基于的技术构思以及采取的技术方案，均是服务于内窥镜的前期检测，属于一种对器械或设备的自动化视觉检测方法，该方法仅仅给出了上述内窥镜的功能是否正常的相关信息，而丝毫未涉及到直接用于判断生物体是否健康的诊断信息，更与任何疾病的治疗和诊断方法无直接关联，具体而言，医生仅根据本专利技术实施例所提供的方法完全无法直接单独判断生物体的健康状况和疾病状态，本专利技术实施例所提供的评估方法仅仅告诉医生，其使用的内窥镜是否功能正常。
[0026]因此，本专利技术所保护的技术方案未涉及疾病的诊断与治疗方法，完全属于专利保护客体。
[0027]在本专利技术技术方案属于专利保护客体的基础上，鉴于现有技术中的不足，本案专利技术人经长期研究和大量实践，得以提出本专利技术的技术方案。如下将对该技术方案、其实施过程及原理等作进一步的解释说明。
[0028]在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，但是，本专利技术还可以采用其他不同于在此描述的方式来实施，因此，本专利技术的保护范围并不受下面公开的具体实施例的限制。
[0029]而且，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个与另一个具有相同名称的部件或方法步骤区分开来，而不一定要求或者暗示这些部件或方法步骤之间存在任何这种实际的关系或者顺序。
[0030]在传统目标检测算法中，通常使用人工设计的形状特征当作模版对图像全局进行索引来找到符合特征的目标。该类型算法通用性较差，需要大量人工设计对应特征，并且大多只能对特定目标进行检测。传统算法应使用中央处理器(CPU)运行算法，其效率也远远低于现在使用显卡运行的深度学习算法。随着深度学习的发展，基于CNN的目标检测算法在准确度和速度方面均有了飞跃的发展。基于CNN的目标检测算法通过骨干CNN提取的特征更加通用，通过训练可以抽取各种目标的特征，搭配区域候选网络等CNN网络，深度学习算法还能更快更准确找到目标。近年来，随着显卡硬件性能的提升以及深度学习算法的快速迭代优化，人工智能(AI)本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于卷积神经网络的内窥镜评估方法，所述内窥镜至少具有喷气和喷水两种功能，其特征在于，所述内窥镜评估方法包括：1)通过摄像模块获取内窥镜的评估图像；2)通过目标检测获取所述评估图像中的特征目标及其位置信息，所述特征目标至少包括含有液体以及气泡的透明容器、连续液滴以及所述内窥镜的前端；3)基于所述特征目标及其位置信息计算所述评估图像中不同种类的特征目标之间的距离，以及计算连续多个所述评估图像中同一种类的特征目标出现的比例，基于所述距离和比例对所述特征目标进行特征过滤；4)对通过所述特征过滤的特征目标进行连续计时，并基于计时结果获取所述内窥镜的评估结果，所述评估结果用于指示所述内窥镜的喷气和喷水功能是否正常。2.根据权利要求1所述的内窥镜评估方法，其特征在于，步骤1)中，所述摄像模块固设于术前准备台上，且拍摄方向朝向所述术前准备台的操作平台；优选的，所述摄像模块距离所述操作平台中心为L cm，其中L∈[15，24]。3.根据权利要求1所述的内窥镜评估方法，其特征在于，步骤2)中，利用目标检测器执行所述目标检测；优选的，所述目标检测器包括依次串联的骨干神经网络、区域候选网络以及分类器；所述骨干神经网络用于基于所述评估图像转化生成特征图像；所述区域候选网络用于基于所述特征图像获取检测目标及其位置信息；所述分类器用于将所述检测目标分类为不同种类的所述特征目标。4.根据权利要求3所述的内窥镜评估方法，其特征在于，所述骨干神经网络包括ResnNet、SqueezeNet、ShuffleNNet、VGGNnet以及DenseNet中的任意一种；和/或，所述分类器包括softmax分类器。5.根据权利要求3所述的内窥镜评估方法，其特征在于，所述目标检测器通过标记训练得到；优选的，所述标记训练包括对所述骨干神经网络的预训练；优选的，所述预训练在ImageNet进行。6.根据权利要求5所述的内窥镜评估方法，其特征在于，所述标记训练具体包括：提供目标初始检测器、训练图像及其对应的标签；利用所述目标初始检测器对所述训练图像进行目标检测，获得训练检测结果；基于所述训练检测结果和标签，对所述目标初始检测器进行参数更新，获得所述目标检测器。7.根据权利要求1所述的内窥镜评估方法，其特征在于，步骤3)包括：当所述评估图像中未检测到所述内窥镜的前端时，使检测到的所述含有液体以及气泡的透明容器和/或连续液滴被去除；和/或，当所述透明容器与内窥镜的前端之间的第一目标距离在第一预设阈值以下时，使所述透明容器与内窥镜的前端通过所述特征过滤；当所述连续液滴与内窥镜的前端之间的第二目标距离在第二预设阈值以下时，使所述连续液滴与内窥镜的前端通过所述距离过滤器；优选的，所述第一预设阈值为7cm，所述第二预设阈值为7cm；
优选的，具体包括：第一检测目标为内窥镜的前端，其中心坐标记为c1，第二检测目标为含有液体以及气泡的透明容器，其中心坐标记为c2，第三检测目标为连续液滴，其中心坐标记为c3，所述特征过滤的结果包括：当所述评估图像中检测到含有液体以及气泡的透明容器和/或连续液滴，而未检测到内窥镜的前端时，判断检测到的含有液体以及气泡的透明...

【专利技术属性】
技术研发人员：曹鱼，张晨曦，陈齐磊，刘本渊，
申请(专利权)人：苏州慧维智能医疗科技有限公司，
类型：发明
国别省市：