一种自动气管插管导航方法及计算机设备技术

本发明专利技术涉及一种自动气管插管导航方法及计算机设备，属于医疗器械技术领域；本发明专利技术的气管插管导航方法包括：获取插管设备前端探头在气管内当前位置的结构光图像以及双目立体视觉图像；对所述结构光图像以及双目立体视觉图像分别进行三维重建，得到当前位置的第一三维模型和第二三维模型；对所述第一三维模型和第二三维模型进行特征点融合，得到融合后的当前位置的第三三维模型；基于所述第三三维模型，预测得到前端探头的下一步导航方向。解决了现有技术中的气管插管导航方法无法自动获取高精度的图像及位置信息，依靠医生的经验和判断进行手动或半自动操作，无法实现全自动气管插管以及由于人为因素造成误判给患者带来风险的问题。风险的问题。风险的问题。

【技术实现步骤摘要】
一种自动气管插管导航方法及计算机设备


[0001]本专利技术涉及医疗器械
，特别涉及一种自动气管插管导航方 法及计算机设备。

技术介绍

[0002]气管插管是呼吸支持治疗的关键技术，一旦气管插管失败往往导致 患者窒息死亡并引发医疗纠纷。在围术期领域，气道管理失败是麻醉相 关死亡原因的首要因素。
[0003]目前主要根据气管插管设备前端摄像头提供的图像信息，人工操作， 完成气管插管。而操作医师根据设备前端摄像头反馈的平面图像人工控 制，存在一定的学习难度，操作医师需要利用自身已掌握的解剖知识， 在大脑中构建出立体解剖进行操作，存在一定的误差。因此实现自动化 气管插管操作，根据气道解剖导航规划路径至关重要。在此背景下，急 需建立一种自动导航的气管插管方法。

技术实现思路

[0004]鉴于上述的分析，本专利技术旨在提供一种自动气管插管导航方法及计 算机设备；解决现有技术中的气管插管导航方法无法自动获取高精度的 图像及位置信息，依靠医生的经验和判断进行手动或半自动操作，无法 实现全自动气管插管以及由于人为因素造成误判给患者带来风险的问题。
[0005]本专利技术的目的主要是通过以下技术方案实现的：
[0006]一方面，本专利技术提供了一种自动气管插管导航方法，包括以下步骤：
[0007]获取插管设备前端探头在气管内当前位置的结构光图像以及双目立 体视觉图像；
[0008]对所述结构光图像以及双目立体视觉图像分别进行三维重建，得到 当前位置的第一三维模型和第二三维模型；
[0009]对所述第一三维模型和第二三维模型进行特征点融合，得到融合后 的当前位置的第三三维模型；
[0010]基于所述第三三维模型，计算得到前端探头的下一步导航方向。
[0011]进一步的，利用光源投射条纹结构光，并通过红外摄像头采集气管 内当前位置的结构光图像；采用格雷码和插值查找算法对所述结构光图 像进行三维重建，得到所述第一三维模型。
[0012]进一步的，利用光源投射均匀红外光，通过两个红外摄像头采集气 管内当前位置图像，得到所述双目视觉图像；采用立体视觉视差匹配的 方法对所述双目视觉图像进行三维重建，得到所述第二三维模型。
[0013]进一步的，所述对所述第一三维模型和第二三维模型进行特征点融合 包括：
[0014]对第一三维模型和第二三维模型进行坐标系归一化；
[0015]基于第一三维模型和第二三维模型对应的特征点的深度差异和角度 差异得到每
个特征点的空间位置差异，对每个特征点的空间位置差异进 行求和，得到全局特征点空间位置差异，最小化全局特征点空间位置差 异，构建得到三维融合重建结果；
[0016]对所述三维融合重建结果进行平滑滤波处理，得到所述第三三维模型。 进一步的，通过下式最小化第一三维模型和第二三维模型全局特征点的 空间位置差异，构建得到三维融合重建的结果：
[0017][0018]其中，ε(Γ)为全局特征点的空间位置差异；为第二三维模型中特征 点(i,j,k)表面的垂直单位向量；为第一三维模型中与之匹配的特征 点(i
′
,j
′
,k
′
)表面的垂直单位向量；为第二三维模型中特征点(i,j,k) 对应的向量；为第一三维模型中特征点(i
′
,j
′
,k
′
)对应的向量。 表示表面的垂直单位向量夹角差异；表示特 征点对应向量夹角差异；表示特征点对应向量距离原点距离差异。
[0019]进一步的，还包括：利用光源投射可见光，通过摄像头采集气管内 当前位置的可见光图像；利用所述可见光图像对第三三维模型进行三维 建模贴图操作，得到气管中当前位置的三维彩色图像；
[0020]基于当前位置的所述三维彩色图像，辅助人为判断下一步导航方向。
[0021]进一步的，所述判断下一步导航方向包括：根据可见光图像，通过 预先训练的图像识别模型判断当前位置是否为关键位置；
[0022]若非关键位置，则获取当前位置的第三三维模型的三维信息，并搜 索深度最深的方向坐标，根据所述深度最深的方向坐标得到下一步导航 方向；
[0023]若为关键位置，则获取所述图像识别模型的指导导航方向坐标和三 维信息中深度最深方向的坐标；若坐标夹角大于预先设置的阈值，则判 断为转角，以所述深度最深的方向为下一步导航方向；若坐标夹角小于 阈值，则以两个坐标中间的方向为下一步导航方向。
[0024]进一步的，所述判断下一步导航方向还包括通过惯性导航系统对插 管探头坐标系与地球坐标系进行坐标变换，得到地球坐标系下三维模型 的姿态，并根据三维模型的所述姿态预测前进方向的坐标。
[0025]进一步的，所述预先训练的图像识别模型为通过海量样本图片对神 经网络模型进行预先训练得到的辅助诊断模型，所述样本图片为带有标 注标签的气管内各位置图像，包括二维图像和三维立体图像，所述标注 标签为标注关键特征位置和关键位置指导导航方向的标签。
[0026]另一方面，还包括一种计算机设备，包括至少一个处理器，以及至 少一个与所述处理器通信连接的存储器；
[0027]所述存储器存储有可被所述处理器执行的指令，所述指令用于被所 述处理器执行以实现前述的气管插管导航方法。
[0028]本技术方案的有益效果：
[0029]本专利技术通过融合结构光三维模型与双目视觉三维模型，能够获得精 确的气管内三维图像，实现了精准的深度信息获取并自动判断下一步导 航移动方向，实现了高精度的全自动气管插管导航方法。
[0030]本专利技术采用格雷码编码方式进行图像三维重建，可以获得与图像传 感器像素点一样的精度，三维重建后的精度可达微米级，充分利用了适 于体内应用的结构光三维重建算法的优势，并结合插值搜索的自适应的 条纹搜索算法，实现了高精度、快速的三维重建，提高了气管插管导航 方法的精度和效率。
[0031]本专利技术还通过结合可见光图像贴图操作和惯性测量单元，为医生提 供直观的气管插管导航设备前端的视频图像，用于辅助气管插管操作或 进行其他诊疗操作，可精确的确定手术工具在进入过程中的前方情况、 位置信息或者空间姿态，可以帮助医生在手动、自动操作的过程中实现 精准导航。
[0032]本专利技术的其他特征和优点将在随后的说明书中阐述，并且，部分的 从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的 和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指 出的结构来实现和获得。
附图说明
[0033]附图仅用于示出具体实施例的目的，而并不认为是对本专利技术的限制， 在整个附图中，相同的参考符号表示相同的部件。
[0034]图1为本专利技术实施例的气管插管导航方法流程图。
[0035]图2为本专利技术实施例的气管导航方法过程示意图。
[0036]图3为本专利技术实施例的基于插值搜索的自适应的条纹搜索示意图。...

【技术保护点】

【技术特征摘要】
1.一种自动气管插管导航方法，其特征在于，包括以下步骤：获取插管设备前端探头在气管内当前位置的结构光图像以及双目立体视觉图像；对所述结构光图像以及双目立体视觉图像分别进行三维重建，得到当前位置的第一三维模型和第二三维模型；对所述第一三维模型和第二三维模型进行特征点融合，得到融合后的当前位置的第三三维模型；基于所述第三三维模型，预测得到前端探头的下一步导航方向。2.根据权利要求1所述的气管插管导航方法，其特征在于，利用光源投射条纹结构光，并通过红外摄像头采集气管内当前位置的结构光图像；采用格雷码和插值查找算法对所述结构光图像进行三维重建，得到所述第一三维模型。3.根据权利要求2所述的气管插管导航方法，其特征在于，利用光源投射均匀红外光，通过两个红外摄像头采集气管内当前位置图像，得到所述双目视觉图像；采用立体视觉视差匹配的方法对所述双目视觉图像进行三维重建，得到所述第二三维模型。4.根据权利要求3所述的气管插管导航方法，其特征在于，所述对所述第一三维模型和第二三维模型进行特征点融合包括：对第一三维模型和第二三维模型进行坐标系归一化；基于第一三维模型和第二三维模型对应特征点的深度差异和角度差异得到每个特征点的空间位置差异，对每个特征点的空间位置差异进行求和，得到全局特征点空间位置差异，最小化全局特征点空间位置差异，构建得到三维融合重建结果；对所述三维融合重建结果进行平滑滤波处理，得到所述第三三维模型。5.根据权利要求4所述的气管插管导航方法，其特征在于，通过下式最小化第一三维模型和第二三维模型全局特征点的空间位置差异，构建得到三维融合重建的结果：其中，ε(Γ)为全局特征点的空间位置差异；为第二三维模型中特征点(i,j,k)表面的垂直单位向量；为第一三维模型中与特征点(i,j,k)匹配的特征点(i
′
,j
′
,k
′
)表面的垂直单位向量；为第二三维模型中特征点(i,j,k)对应的向量；为第一三维模型中特征点(i
′
...

【专利技术属性】
技术研发人员：韩永正，郭江真，付铭明，贾斐，张佳楠，原青，黄河，闵栋，郭向阳，
申请(专利权)人：北京大学第三医院北京大学第三临床医学院，
类型：发明
国别省市：