基于结构光立体视觉的气管插管导航系统技术方案

本发明专利技术涉及一种基于结构光立体视觉的气管插管导航系统，包括光源模块、气管识别模块、数据处理模块和控制模块；光源模块包括光源、光纤和滤波片，用于为导管探头的当前位置投射结构光、红外光或可见光；气管识别模块包括第一摄像头模块和第二摄像头模块，设置于导管探头内，用于获取气管内的图像；数据处理模块用于对获取的气管内的图像进行融合处理，并基于融合处理后得到的图像，利用预先训练的图像识别模型判定下一步导航方向；控制模块与导管探头连接，用于驱动导管探头根据下一步导航方向引导导管探头移动。解决了现有技术中的气管插管导航系统需要依靠医生的经验和判断进行手动或半自动操作，无法实现全自动气管插管的问题。题。题。

【技术实现步骤摘要】
基于结构光立体视觉的气管插管导航系统


[0001]本专利技术涉及医疗器械
，特别涉及一种基于结构光立体视觉的气管插管导航系统。

技术介绍

[0002]气管插管是急救和手术的首要步骤，对于挽救生命至关重要，需要专业医师经过长时间培训方能熟练掌握。在气管插管操作时，医师与患者呼吸道直接近距离接触，职业暴露感染风险较高。因此，对患者的气管插管实现机器智能化操作，可显著降低医务人员的职业暴露风险。同时可有效解决灾难现场(高楼楼顶、灾害、航母、核污染现场等)抢救工作中专家缺乏、无法随行的缺陷。因此实现自动化气管插管操作，根据气道解剖导航规划路径至关重要。在此背景下，建立一套自动气管插管导航系统对于完善国家公共卫生应急体系建设具有重大的战略意义。

技术实现思路

[0003]鉴于上述的分析，本专利技术旨在提供一种基于结构光立体视觉的气管插管导航系统；解决现有技术中的气管插管系统，需要依靠医生的经验和判断进行手动或半自动操作，无法实现气管插管自动导航的问题。
[0004]本专利技术的目的主要是通过以下技术方案实现的：
[0005]一方面，本专利技术提供了一种基于结构光立体视觉的气管插管导航系统，包括：光源模块、气管识别模块、数据处理模块和控制模块；
[0006]其中，光源模块用于为导管探头的当前位置投射不同的环境光；
[0007]气管识别模块包括第一摄像头模块和第二摄像头模块，设置于导管探头内，通过设置于导管内的数据传输线与所述数据处理模块通信连接，用于获取气管内的图像；
>[0008]数据处理模块用于对获取的气管内的图像进行三维融合处理，并基于融合处理后得到的三维图像，利用预先训练的图像识别模型判定下一步导航方向；
[0009]所述控制模块用于根据预设的流程控制所述光源模块产生不同的环境光，并控制所述气管识别模块根据当前的环境光利用对应的摄像头模块获取图像；所述控制模块还用于通过设置于导管内的电机驱动线驱动所述探头根据下一步所述导航方向引导探头移动。
[0010]进一步的，所述光源模块包括光源、光纤、滤光片、透镜组和光栅；所述滤光片、透镜组和光栅均通过电机驱动线与所述控制模块连接；所述光源发出的光束经过依次设置于光纤的光束入射端的一组滤光片和透镜组进行滤波整形后，得到均匀的平行光；所述平行光经过光纤传导到光纤的光束出射端，所述光束出射端出射的光束再依次经过另一组滤光片、透镜组和光栅滤波整形后输出，为气管内探头当前位置提供结构光、红外光或可见光。
[0011]进一步的，第一摄像头模块包括一个红外摄像头，用于在光源模块投射结构光的状态下获取气管内的结构光图像；
[0012]第二摄像头模块包括两个相同的红外摄像头，用于在光源模块投射红外光的条件
下，获取双目视觉图像。
[0013]进一步的，系统还包括可见光摄像头模块，可见光摄像头模块包括至少一个可见光摄像头；可见光摄像头设置于探头内，通过设置于导管内的数据传输线与所述数据处理模块通信连接，用于在光源模块投射可见光的状态下，采集气管内当前位置的可见光图像；利用可见光图像对融合处理后得到的三维图像进行三维建模贴图操作，得到气管中当前位置的三维彩色图像；
[0014]基于当前位置的三维彩色图像，辅助判断下一步导航方向。
[0015]进一步的，还包括惯性导航模块，惯性导航模块包括加速度计、磁力计和陀螺仪，通过设置于导管内的数据传输线与所述数据处理模块通信连接；用于获取导管探头在导管探头坐标系下的姿态信息并发送至数据处理模块，数据处理模块将所述导管探头坐标系下的姿态信息转换至地球坐标系得到地球坐标系下的导管探头姿态信息，并基于地球坐标系下的导管探头姿态信息得到地球坐标系下的所述三维模型的姿态，并根据三维模型的所述姿态预测前进方向的坐标。
[0016]进一步的，数据处理模块用于对获取的气管内的图像进行三维融合处理，包括：
[0017]对结构光图像和双目视觉图像分别进行三维重建，得到结构光三维模型和双目视觉三维模型；
[0018]对结构光三维模型和双目视觉三维模型进行特征点融合，得到三维融合重建模型；
[0019]三维融合重建模型用于判定下一步导航方向。
[0020]进一步的，对结构光三维模型和双目视觉三维模型进行特征点融合，包括：
[0021]对结构光三维模型和双目视觉三维模型进行坐标系归一化；
[0022]基于结构光三维模型和双目视觉三维模型对应的两个特征点的深度差异和角度差异得到每个特征点的空间位置差异，对于每个特征点的空间位置差异进行求和，得到全局特征点空间位置差异，最小化全局特征点空间位置差异，构建得到三维融合重建结果；
[0023]对三维融合重建结果进行平滑滤波处理，得到三维融合重建模型。
[0024]进一步的，通过下式最小化结构光三维模型和双目视觉三维模型全局特征点的空间位置差异，构建得到三维融合重建的结果：
[0025][0026]其中，ε(Γ)为全局特征点的空间位置差异；为双目视觉三维模型中特征点(i,j,k)表面的垂直单位向量；为结构光三维模型中与特征点(i,j,k)匹配的特征点(i
′
,j
′
,k
′
)表面的垂直单位向量；为双目视觉三维模型中特征点(i,j,k)对应的向量；为结构光三维模型中特征点(i
′
,j
′
,k
′
)对应的向量。表示表面的垂直单位向量夹角差异；表示特征点对应向量夹角差异；表示
特征点对应向量距离原点距离差异。。
[0027]进一步的，判断下一步导航方向包括：根据摄像头获取的图像，通过预先训练的图像识别模型判断导管探头所在的当前位置是否为关键位置；
[0028]若非关键位置，则获取当前位置的三维融合重建模型的三维信息，并搜索深度最深的方向坐标，根据深度最深的方向坐标得到下一步导航方向；
[0029]若为关键位置，则获取图像识别模型的指导导航方向坐标和三维信息中深度最深方向的坐标；若坐标夹角大于预先设置的阈值，则判断为转角，以深度最深的方向为下一步导航方向；若坐标夹角小于阈值，则以两个坐标中间的方向为下一步导航方向。
[0030]进一步的，预先训练的图像识别模型为通过海量样本图片对神经网络模型进行预先训练得到的辅助诊断模型，样本图片为带有标注标签的气管内各位置图像，包括二维图像和三维立体图像；标注标签为标注关键特征位置和关键位置指导导航方向的标签。
[0031]本技术方案的有益效果：
[0032]本专利技术通过光源控制系统可以投射不同形式的光源，通过摄像头获取不同光照条件下的气管内图像，经过三维重建和融合处理，能够获得精确的深度信息并自动判断下一步导航移动方向，实现了高精度的全自动气管插管导航方法。
[0033]本专利技术通过融合结构光图像和双目视觉图像，得到气管内精确的三维图像，极大程度上提高了自动气管插管导航的准确性。
[0034]本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于结构光立体视觉的气管插管导航系统，其特征在于，包括：光源模块、气管识别模块、数据处理模块和控制模块；所述光源模块用于为导管探头的当前位置投射不同的环境光；所述气管识别模块包括第一摄像头模块和第二摄像头模块，设置于导管探头内，通过设置于导管内的数据传输线与所述数据处理模块通信连接，用于获取气管内的图像；所述数据处理模块用于对获取的气管内的图像进行三维融合处理，并基于融合处理后得到的三维图像，利用预先训练的图像识别模型判定下一步导航方向；所述控制模块用于根据预设的流程控制所述光源模块产生不同的环境光，并控制所述气管识别模块根据当前的环境光通过对应的摄像头模块获取图像；所述控制模块还用于通过设置于导管内的电机驱动线驱动所述探头根据下一步所述导航方向引导探头移动。2.根据权利要求1所述的气管插管导航系统，其特征在于，所述光源模块包括光源、光纤、滤光片、透镜组和光栅；所述滤光片、透镜组和光栅均通过电机驱动线与所述控制模块连接；所述光源发出的光束经过依次设置于光纤的光束入射端的一组滤光片和透镜组进行滤波整形后，得到均匀的平行光；所述平行光经过光纤传导到光纤的光束出射端，所述光束出射端出射的光束再依次经过另一组滤光片、透镜组和光栅滤波整形后输出，为气管内探头当前位置提供结构光、红外光或可见光。3.根据权利要求2所述的气管插管导航系统，其特征在于，所述第一摄像头模块包括一个红外摄像头，用于在所述光源模块投射结构光的状态下获取气管内的结构光图像；所述第二摄像头模块包括两个相同的红外摄像头，用于在所述光源模块投射红外光的条件下，获取双目视觉图像。4.根据权利要求1所述的气管插管导航系统，其特征在于，所述系统还包括可见光摄像头模块，所述可见光摄像头模块包括至少一个可见光摄像头；所述可见光摄像头设置于探头内，通过设置于导管内的数据传输线与所述数据处理模块通信连接，用于在光源模块投射可见光的状态下，采集气管内当前位置的可见光图像；利用所述可见光图像对融合处理后得到的所述三维图像进行三维建模贴图操作，得到气管中当前位置的三维彩色图像；基于当前位置的所述三维彩色图像，辅助判断下一步导航方向。5.根据权利要求1所述的气管插管导航系统，其特征在于，还包括惯性导航模块，所述惯性导航模块包括加速度计、磁力计和陀螺仪；所述惯性导航模块通过设置于导管内的数据传输线与所述数据处理模块通信连接，并将获取的导管探头在导管探头坐标系下的姿态信息发送至数据处理模块，数据处理模块将所述导管探头坐标系下的姿态信息转换至地球坐标系得到地球坐标系下的导管探头姿态信息，并基于地球坐标系下的导管探头姿态信息得到地球坐标系下的所述三维模型的姿态，并根据三维模型的所述姿态预测前进方向的坐标。6.根据权利要求3所述的气管插管...

【专利技术属性】
技术研发人员：韩永正，付铭明，刘畅，贾斐，黄河，原青，郭江真，朱罡，王豫，谭宏宇，郭向阳，
申请(专利权)人：北京大学第三医院北京大学第三临床医学院，
类型：发明
国别省市：