内窥镜辅助支气管自动导航方法、装置、介质及电子设备制造方法及图纸

本发明专利技术提供了一种内窥镜辅助支气管自动导航方法、装置、介质及电子设备，应用于内窥镜辅助支气管自动导航系统，该方法包括：S1，根据获取的支气管内的当前帧图像和当前帧图像的下一帧图像识别洞口目标；S2，根据当前帧图像和下一帧图像的洞口目标进行匹配跟踪得到匹配结果；S3，确定跟踪导航洞口，按照预设的导航策略进行跟踪导航，控制机械臂系统导航；S4，更新当前帧图像，获取下一帧图像，对当前帧图像和下一帧图像重复执行S1至S3直至内窥镜到达导航目标点。应用该方法进行支气管导航的整个导航流程仅依靠支气管内窥镜和自动控制机械臂系统状态即可确定导航策略，不依赖任何传感器定位、不依赖额外的数据、不需要术前规划，简单高效。单高效。单高效。

【技术实现步骤摘要】
内窥镜辅助支气管自动导航方法、装置、介质及电子设备


[0001]本专利技术涉及医疗器械导航
，尤其涉及一种内窥镜辅助支气管自动导航方法、装置、介质及电子设备。

技术介绍

[0002]随着肺部手术创伤小、精度高、操作灵活等需求的提升，支气管导航机器人应运而生。目前肺部诊断和治疗疾病的主要方式有经皮穿刺、经支气管镜和经支气管电磁导航方式，经皮穿刺和经支气管电磁导航方式需要借助病人肺部计算机断层扫描影像数据(CT)，识别病灶形态位置，基于磁导航的方式需要重建气管和支气管的三维模型，根据支气管和病灶的形态位置规划最优导航路径，术中根据规划的最优路径导航。
[0003]从上述现有技术中应用的方法可以看出，进行支气管导航通常需要借助CT数据进行术前规划，需要借助外部工具进行术前和术中坐标系的统一，手术规划操作相对复杂。因此，有必要提供一种新的支气管术中导航方法以解决上述问题。

技术实现思路

[0004]本专利技术的目的在于提供一种内窥镜辅助支气管自动导航方法、装置、介质及电子设备，以解决进行支气管导航手术时由于术前规划麻烦使支气管导航手术效率低的问题。
[0005]第一方面，本专利技术提供的内窥镜辅助支气管自动导航方法，应用于内窥镜辅助支气管自动导航系统，包括：S1，根据内窥镜获取的支气管内的当前帧图像和所述当前帧图像的下一帧图像，识别所述当前帧图像中的洞口目标和所述下一帧图像中的洞口目标；S2，根据所述当前帧图像的洞口目标和所述下一帧图像的洞口目标进行匹配跟踪，得到匹配结果；S3，根据所述匹配结果确定跟踪导航洞口，根据所述跟踪导航洞口按照预设的导航策略进行跟踪导航，控制机械臂系统导航；S4，更新当前帧图像，获取下一帧支气管内部内窥镜图像，对所述当前帧图像和所述下一帧支气管内部内窥镜图像重复执行S1至S3，直至内窥镜到达导航目标点。
[0006]本专利技术提供的内窥镜辅助支气管自动导航方法的有益效果在于：通过内窥镜辅助支气管自动导航辅助以确定导航路径，整个导航流程仅依靠支气管内窥镜和自动控制机械臂系统状态即可确定导航策略，不依赖任何传感器定位、不依赖额外CT/MRI等数据、不需要术前规划，简单、高效。
[0007]一种可能的实施例中，根据所述当前帧图像的洞口目标和所述下一帧图像的洞口目标进行匹配跟踪，包括：根据所述当前帧图像的洞口目标跟踪框位置进行预测得到所述下一帧图像的洞口目标预测框；对所述预测框和所述下一帧图像的洞口目标检测框进行级联匹配和基于IOU的匈牙利匹配，对级联匹配未匹配上的预测框和检测框进行基于IOU的匈牙利匹配；其中，进行基于IOU的匈牙利匹配时，距离上一次被匹配上的帧数越短的预测框越优先匹配。
[0008]另一种可能的实施例中，根据所述匹配结果确定跟踪导航洞口，包括：当所述匹配
结果包括至少两个匹配洞口且所述下一帧图像处于分叉路口时，接收用户交互信息以确定跟踪导航洞口。
[0009]其它可能的实施例中，根据所述跟踪导航洞口按照预设的导航策略进行跟踪导航，包括：根据所述跟踪导航洞口的尺寸、所述跟踪导航洞口距离所述下一帧图像中心点的距离和上次操作的类型确定进行跟踪导航的操作类型和操作步长。
[0010]确定进行跟踪导航的操作类型和操作步长之后，还包括：当跟踪导航的操作类型为旋转操作时，对机械臂系统旋转后的角度进行判断，若旋转的行程越界则根据正向或反向越界判断进行对应策略的旋转；当跟踪导航的操作类型为打弯操作时，对机械臂系统打弯后的角度进行判断，若打弯的行程越界则根据正向或反向越界判断进行对应策略的打弯；当跟踪导航的操作类型为前进后退操作时，根据所述下一帧图像计算机械臂系统的操作步长。
[0011]所述内窥镜辅助支气管自动导航系统包括：支气管内窥镜系统、自动导航计算系统、自动控制机械臂系统；所述自动导航计算系统包括自动导航软件模块和基于内窥镜图像的自动导航控制算法模块，所述自动控制机械臂系统包括机械模块和控制模块；所述自动导航软件模块连接所述支气管内窥镜系统获取内窥镜图像，所述自动导航软件模块界面提供内窥镜实时显示图像、所述自动控制机械臂系统的电机状态和所述自动导航控制算法模块输出的机械臂控制操作，所述自动导航控制算法模块连接所述控制模块用于控制所述机械模块进行跟踪导航操作。
[0012]所述自动控制机械臂系统通过接收启动命令或停止命令以控制电机运行或停止。
[0013]所述自动控制机械臂系统获取导航策略，根据所述导航策略控制电机运行方向和行程，当所述电机运行至定义位置后停止运行。
[0014]第二方面，本专利技术还提供了一种内窥镜辅助支气管自动导航装置，应用于内窥镜辅助支气管自动导航系统，包括：
[0015]获取单元，用于根据内窥镜获取的支气管内的当前帧图像和所述当前帧图像的下一帧图像，识别所述当前帧图像中的洞口目标和所述下一帧图像中的洞口目标；
[0016]匹配单元，用于根据所述当前帧图像的洞口目标和所述下一帧图像的洞口目标进行匹配跟踪，得到匹配结果；
[0017]跟踪单元，用于根据所述匹配结果确定跟踪导航洞口，根据所述跟踪导航洞口按照预设的导航策略进行跟踪导航，控制机械臂系统导航；
[0018]导航单元，用于更新当前帧图像，获取下一帧支气管内部内窥镜图像，对所述当前帧图像和所述下一帧支气管内部内窥镜图像重复执行获取单元、匹配单元、跟踪单元的操作，即重复执行获取单元识别所述当前帧图像和下一帧图像中的洞口目标，所述匹配单元进行匹配跟踪得到匹配结果，所述跟踪单元确定跟踪导航洞口进行跟踪导航并控制机械臂系统导航的操作，直至内窥镜到达导航目标点。
[0019]第三方面，本专利技术还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法。
[0020]第四方面，本专利技术还提供了一种电子设备，包括：处理器及存储器；所述存储器用于存储计算机程序；所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行上述方法。
[0021]关于上述第二方面至第四方面的有益效果可以参见上述第一方面的描述。
附图说明
[0022]图1为本专利技术实施例提供的内窥镜辅助支气管自动导航方法的流程示意图；
[0023]图2为本专利技术实施例提供的支气管洞口检测结果示意图；
[0024]图3为本专利技术实施例提供的支气管洞口分割结果示意图；
[0025]图4为本专利技术实施例提供的支气管洞口跟踪结果示意图；
[0026]图5为本专利技术实施例提供的内窥镜辅助支气管自动导航装置的结构示意图；
[0027]图6为本专利技术实施例提供的一种电子设备结构示意图。
具体实施方式
[0028]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种内窥镜辅助支气管自动导航方法，应用于内窥镜辅助支气管自动导航系统，其特征在于，包括：S1，根据内窥镜获取的支气管内的当前帧图像和所述当前帧图像的下一帧图像，识别所述当前帧图像中的洞口目标和所述下一帧图像中的洞口目标；S2，根据所述当前帧图像的洞口目标和所述下一帧图像的洞口目标进行匹配跟踪，得到匹配结果；S3，根据所述匹配结果确定跟踪导航洞口，根据所述跟踪导航洞口按照预设的导航策略进行跟踪导航，控制机械臂系统导航；S4，更新当前帧图像，获取下一帧支气管内部内窥镜图像，对所述当前帧图像和所述下一帧支气管内部内窥镜图像重复执行S1至S3，直至内窥镜到达导航目标点。2.根据权利要求1所述的方法，其特征在于，根据所述当前帧图像的洞口目标和所述下一帧图像的洞口目标进行匹配跟踪，包括：根据所述当前帧图像的洞口目标跟踪框位置进行预测得到所述下一帧图像的洞口目标预测框；对所述预测框和所述下一帧图像的洞口目标检测框进行级联匹配和基于IOU的匈牙利匹配，对级联匹配未匹配上的预测框和检测框进行基于IOU的匈牙利匹配；其中，进行基于IOU的匈牙利匹配时，距离上一次被匹配上的帧数越短的预测框越优先匹配。3.根据权利要求1所述的方法，其特征在于，根据所述匹配结果确定跟踪导航洞口，包括：当所述匹配结果包括至少两个匹配洞口且所述下一帧图像处于分叉路口时，接收用户交互信息以确定跟踪导航洞口。4.根据权利要求1所述的方法，其特征在于，根据所述跟踪导航洞口按照预设的导航策略进行跟踪导航，包括：根据所述跟踪导航洞口的尺寸、所述跟踪导航洞口距离所述下一帧图像中心点的距离和上次操作的类型确定进行跟踪导航的操作类型和操作步长。5.根据权利要求4所述的方法，其特征在于，确定进行跟踪导航的操作类型和操作步长之后，还包括：当跟踪导航的操作类型为旋转操作时，对机械臂系统旋转后的角度进行判断，若旋转的行程越界则根据正向或反向越界判断进行对应策略的旋转；当跟踪导航的操作类型为打弯操作时，对机械臂系统打弯后的角度进行判断，若打弯的行程越界则根据正向或反向越界判断进行对应策略的打弯；当跟踪导航的操作类型为前进后退操作时，根据所述下一帧图像计算机械臂系统的操作步长。6.根据权利要求1所述的方法，其特征在于，所述内窥镜辅助...

【专利技术属性】
技术研发人员：吕文尔，侯小燕，王少白，刘金涛，
申请(专利权)人：上海卓昕医疗科技有限公司，
类型：发明
国别省市：