内窥镜图像检测辅助系统、方法、介质和电子设备技术方案

本公开涉及一种内窥镜图像检测辅助系统、方法、介质和电子设备，所述系统包括：图像处理模块，用于对内窥镜采集的内窥镜图像进行实时处理，获得组织图像；腔体定位模块，用于确定所述组织图像对应的组织腔体的目标点，所述目标点用于指示所述内窥镜在其当前所处位置进镜的下一目标移动点；其中，在所述组织图像中存在组织腔体时，所述目标点为所述内窥镜图像对应的组织腔体的中心点，在所述组织图像中不存在组织腔体时，所述目标点为所述内窥镜图像对应的组织腔体的方向点；息肉识别模块，用于对内窥镜在退镜模式下获得的组织图像进行实时的息肉识别，获得息肉识别结果；显示模块，用于对所述目标点和所述息肉识别结果进行显示。对所述目标点和所述息肉识别结果进行显示。对所述目标点和所述息肉识别结果进行显示。

【技术实现步骤摘要】
内窥镜图像检测辅助系统、方法、介质和电子设备


[0001]本公开涉及图像处理领域，具体地，涉及一种内窥镜图像检测辅助系统、方法、介质和电子设备。

技术介绍

[0002]内窥镜检查作为常用的检查手段，能够使得医师更加直观看观察到人体内部环境的真实状态，在医疗领域被广泛用于息肉病变、癌症的检测，以使得患者能够在疾病初期得到有效的干预和治疗。
[0003]内窥镜检查通常分为进镜和退镜过程，进镜过程通常是由医师控制内窥镜操作，然而由于人体内部环境的复杂性、图像采集设备成像质量好坏不同、医生操作水平高低不一、患者肠道准备质量参差不齐、内窥镜和肠道一直处于相对运动状态等，内窥镜图像中可能存在气泡遮挡、过度曝光、运动模糊等情况，并且容易出现视野盲区，使得医师需要靠自己的经验对内窥镜进行控制，导致进镜过慢甚至进镜失败，甚至可能给被检查者户造成伤害，不仅需要花费医师更多的精力和时间，对于医师的技术和经验要求较高。

技术实现思路

[0004]提供该
技术实现思路
部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该
技术实现思路
部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0005]第一方面，本公开提供一种内窥镜图像检测辅助系统，所述系统包括：
[0006]图像处理模块，用于对内窥镜采集的内窥镜图像进行实时处理，获得组织图像；
[0007]腔体定位模块，用于确定所述组织图像对应的组织腔体的目标点，所述目标点用于指示所述内窥镜在其当前所处位置进镜的下一目标移动点；其中，在所述组织图像中存在组织腔体时，所述目标点为所述内窥镜图像对应的组织腔体的中心点，在所述组织图像中不存在组织腔体时，所述目标点为所述内窥镜图像对应的组织腔体的方向点；
[0008]息肉识别模块，用于对所述内窥镜在退镜模式下获得的组织图像进行实时的息肉识别，获得息肉识别结果；
[0009]显示模块，用于对所述目标点和所述息肉识别结果进行显示。
[0010]第二方面，本公开提供一种内窥镜图像检测辅助方法，所述方法包括：
[0011]对内窥镜采集的内窥镜图像进行实时处理，获得组织图像；
[0012]响应于确定所述内窥镜处于进镜模式，确定所述组织图像对应的组织腔体的目标点，所述目标点用于指示所述内窥镜在其当前所处位置进镜的下一目标移动点；其中，在所述组织图像中存在组织腔体时，所述目标点为所述内窥镜图像对应的组织腔体的中心点，在所述组织图像中不存在组织腔体时，所述目标点为所述内窥镜图像对应的组织腔体的方向点；
[0013]响应于确定所述内窥镜处于退镜模式，对所述内窥镜在退镜模式下获得的组织图
像进行实时的息肉识别，获得息肉识别结果；
[0014]在显示界面中的图像展示区域中，对所述目标点和所述息肉识别结果进行显示。
[0015]第三方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现第二方面所述方法的步骤。
[0016]第四方面，本公开提供一种电子设备，包括：
[0017]存储装置，其上存储有计算机程序；
[0018]处理装置，用于执行所述存储装置中的所述计算机程序，以实现第二方面所述方法的步骤。
[0019]由此，通过上述技术方案，可以在内窥镜的进镜过程中，通过对组织图像中的腔体的实时检测和识别，确定出组织图像中的目标点，从而可以为进镜过程提供可靠准确的自动导航，提高内窥镜的进镜效率和进镜准确度，降低内窥镜使用对医师经验的高要求避免对被检查者造成伤害，提升用户使用体验。
[0020]本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0021]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：
[0022]图1是根据本公开的一种实施方式提供的内窥镜图像检测辅助系统的框图；
[0023]图2A和图2B是根据本公开的一种实施方式提供的目标点的显示示意图；
[0024]图3是根据本公开的一种实施方式提供的显示界面的示意图；
[0025]图4是三维重建肠道的示意图；
[0026]图5是根据本公开的一种实施方式提供的内窥镜图像检测辅助方法的流程图；
[0027]图6是示出了适于用来实现本公开实施例的电子设备的结构示意图。
具体实施方式
[0028]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0029]应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
[0030]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
[0031]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0032]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0033]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
[0034]图1所示，为根据本公开的一种实施方式提供的内窥镜图像检测辅助系统的框图，如图1所示，所述内窥镜图像检测辅助系统10可以包括：
[0035]图像处理模块100，用于对内窥镜采集的内窥镜图像进行实时处理，获得组织图像。
[0036]其中，在医疗内窥镜图像识别中，内窥镜在生物体例如人体内部进行实时拍摄获得视频流，从而可以从该视频流中按照预设采集周期进行抽帧以采集内窥镜图像。作为示例，可以对采集的内窥镜图像进行处理，如裁剪、归一化、重采样等方式将内窥镜图像处理到预设尺寸，以获得该组织图像，即在当前检测的过程中对应的组织的图像，以便于对组织图像进行统一的处理。示例地，当前检测的组织可以肠道、胸腔、腹腔等。
[0037]在内窥镜采集图像的原始信号中通常会包含内窥镜的设备信息本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种内窥镜图像检测辅助系统，其特征在于，所述系统包括：图像处理模块，用于对内窥镜采集的内窥镜图像进行实时处理，获得组织图像；腔体定位模块，用于确定所述组织图像对应的组织腔体的目标点，所述目标点用于指示所述内窥镜在其当前所处位置进镜的下一目标移动点；其中，在所述组织图像中存在组织腔体时，所述目标点为所述内窥镜图像对应的组织腔体的中心点，在所述组织图像中不存在组织腔体时，所述目标点为所述内窥镜图像对应的组织腔体的方向点；息肉识别模块，用于对所述内窥镜在退镜模式下获得的组织图像进行实时的息肉识别，获得息肉识别结果；显示模块，用于对所述目标点和所述息肉识别结果进行显示。2.根据权利要求1所述的系统，其特征在于，所述系统还包括：盲区比例检测模块，用于根据所述内窥镜在退镜模式下获得的组织图像，确定显示比例和盲区比例，所述显示比例和所述盲区比例之和为1；所述显示模块还用于显示所述显示比例和/或所述盲区比例，并在所述盲区比例大于盲区阈值的情况下，显示第一提示信息，所述第一提示信息用于指示存在漏检风险。3.根据权利要求2所述的系统，其特征在于，所述盲区比例检测模块还用于：根据所述内窥镜在退镜模式下获得的组织图像进行三维重建，获得三维组织图像；并根据所述三维组织图像和所述三维组织图像对应的目标拟合组织图像，确定显示比例和盲区比例。4.根据权利要求3所述的系统，其特征在于，所述盲区比例检测模块还用于：将所述三维组织图像中的点云数量、和所述目标拟合组织图像的目拟合点云数量的比值，确定为所述显示比例，并根据所述显示比例确定所述盲区比例。5.根据权利要求1所述的系统，其特征在于，所述系统还包括：三维定位模块，用于根据所述内窥镜在进镜模式下获得的组织图像进行三维重建，获得三维组织图像；并将所述三维组织图像的中心线上、与所述目标点距离最近的点，确定为所述目标点在所述三维组织图像的三维目标点；姿态确定模块，用于根据当前所处位置对应的组织图像、历史时段内的组织图像，确定所述内窥镜的姿态信息；轨迹确定模块，用于根据所述当前所处位置、所述姿态信息和所述三维目标点生成导航轨迹；所述显示模块还用于显示所述内窥镜的姿态信息和所述三维组织图像，并在所述三维组织图像中显示所述三维目标点和所述导航轨迹。6.根据权利要求1所述的系统，其特征在于，所述系统还包括：图像分类模块，用于对所述内窥镜在进镜模式下的组织图像进行分类，获得所述组织图像对应的目标分类，其中，所述目标分类包括异常分类和多个内窥镜分类；检测模式识别模块，用于根据所述组织图像对应的目标分类，对每一内窥镜分类的计数器进行更新，并在任一内窥镜分类对应的计数器的数值达到计数阈值时，停止各个所述计数器的计数操作，并根据计数器的数值达到计数阈值的内窥镜分类确定所述内窥镜的检测模式，其中，每一所述内窥镜分类具有其对应的计数器，每一所述计数器的数值初始为零；所述息肉识别模块还用于：根据所述检测模式识别模块确定出的检测模式所对应的息
肉识别模型，对所述内窥镜在退镜模式下获得的组织图像进行实时的息肉识别。7.根据权利要求6所述的系统，其特征在于，所述检测模式识别模块通过如下方式根据所述组织图像对应的目标分类，对每一内窥镜分类的计数器进行更新：在所述目标分类为内窥镜分类时，对所述目标分类对应的计数器进行加一操作，对除所述目标分类之外、计数器数值不为零的内窥镜分类对应的计数器进行减一操作；在所述目标分类为异常分类时，则对计数器数值不为零的各个内窥镜分类对应的计数器进行减一操作，以对每一内窥镜分类的计数器进行更新。8.根据权利要求1所述的系统，其特征在于，所述系统还包括：模式识别模块，用于根据图像识别模型对所述内窥镜的组织图像进行识别，在所述图像识别模型输出的对应于体内图像的参数大于第一参数阈值的情况下，确定所述内窥镜的图像模式为进镜模式，在所述图像识别模型输出的对应于回盲瓣图像的参数大于第二参数阈值的情况下，确定所述内窥镜的图像模式为退镜模式；模式切换模块，用于在内窥镜的图像模式为体外模式、且所述模式识别模块确定所述内窥镜的图像模式为进镜模式的情况下，将所述内窥镜的图像模式切换至进镜模式，在所述内窥镜的图像模式为进镜模式、且所述模式识别模块确定所述内窥镜的图像模式为退镜模式的情况下，将所述内窥镜的图像模式切换至退镜模式，并输出第二提示信息，所述第二提示信息用于提示进入退镜模式。9.根据权利要求1所述的系统，其特征在于，所述系统还包括：速度确定模块，用于在所述内窥镜图像的模式为退镜模式时，获取当前组织图像对应的多个历史组织图像，并计算每一所述历史组织图像与当前组织图像之间的相似度，根据多个所述相似度确定退镜速度；所述显示模块还用于显示所述内窥镜对应的所述退镜速度。10.根据权利要求9所述的系统，其特征在于，所述系统还包括：清洁度确定模块，用于对所述内窥镜在退镜模式下的组织图像进行清洁度分类，并确定每一清洁度分类下的组织图像的数量；根据每一所述清洁度分类下的组织图像的数量，确定所述组织图像对应的组织的清洁度。11.根据权利要求1所述的系统，其特征在于，所述息肉识别模块包括：息肉检测子模块，用于基于检测模型对所述内窥镜在退镜模式下获得的组织图像进行检测，在检测到所述组织图像存在息肉时，确定所述息肉的位置信息；息肉识别子模块，用于从所述组织图像中提取与所述位置信息对应的检测图像；根据所述检测图像和识别模型确定所述息肉的分类；所述显示模块还用于显示所述组织图像，并在所述组织图像中显示所述息肉的位置信息对应的标识和所述分类。12.一种内窥镜图像检测辅助方法，其特征在于，所述方法包括：对内窥镜采集的内窥镜图像进行实时处理，获得组织图像；响应于确定所述内窥镜处于进镜模式，确定所述组织图像对应的组织腔体的目标点，所述目标点用于指示所述内窥镜在其当前所处位置进镜的下一目标移动点；其中，在所述组织图像中存在组织腔体时，所述目标点为所述内窥镜图像对应的组织腔体的...

【专利技术属性】
技术研发人员：边成，李剑，赵秋阳，赵家英，石小周，杨志雄，薛云鹤，李帅，刘威，
申请(专利权)人：小荷医疗器械海南有限公司，
类型：发明
国别省市：