一种基于磁传感器的支气管镜的病灶识别方法及系统技术方案

本申请涉及一种基于磁传感器的支气管镜的病灶识别方法及系统，所述方法包括步骤：生成至目标病灶位置的支气管导航路径；操作带磁传感器模块的支气管镜沿导航路径行进至目标病灶位置；通过摄像头组件采集目标病灶的病灶图像；基于已训练好的量化的神经网络模型对病灶图像进行标记，并输出带标记的病灶图像。所述系统包括导航路径规划模块，磁传感器模块，摄像头组件，显示模块和处理模块。上述方案能够利用磁传感器导航，制订行进路线，快速到达目标位置；并且能够获取病灶的测绘信息，有利于为临床手术制定方案。于为临床手术制定方案。于为临床手术制定方案。

【技术实现步骤摘要】
一种基于磁传感器的支气管镜的病灶识别方法及系统


[0001]本专利技术涉及医疗辅助设备
，尤其涉及一种基于磁传感器的支气管镜的病灶识别方法及系统。

技术介绍

[0002]支气管镜检查是呼吸系统疾病重要的诊疗手段之一，它可对气管、支气管管腔直接肉眼观察同时做活组织检查正确诊断疾病支气管镜可以对肺部疾病作治疗如吸引痰液、局部止血、新生物的摘除等还可以局部给药以达到更好的治疗效果。当病变位置需要经过多重支气管树分支的时候仅有当前支气管镜图像已经不足以辅助医生判断到达病变处的路径使得手术操作难度增加。
[0003]因此，如何在可视化的基础上为操作者提供在支气管树的精准导航，以及如何测绘靶病灶信息以帮助完善医疗方案是本领域技术人员需要解决的技术问题。

技术实现思路

[0004]为了解决上述问题，本专利技术的目的在于提供一种基于磁传感器的支气管镜的病灶识别方法及系统。
[0005]为了实现上述的目的，本专利技术采用了以下的技术方案：
[0006]一种基于磁传感器的支气管镜的病灶识别方法，包括以下步骤：
[0007]S1，生成至目标病灶位置的支气管导航路径；
[0008]S2，操作带磁传感器模块的支气管镜沿导航路径行进至目标病灶位置，建立人体内至目标病灶位置的支气管插管通道；
[0009]S3，摄像头组件沿所述支气管插管通道移送至目标位置；
[0010]S4，通过摄像头组件采集目标病灶的病灶图像；
[0011]S5，基于已训练好的量化的神经网络模型对病灶图像进行标记，并输出带标记的病灶图像；所述对病灶图像进行标记，包括，对病灶图像进行矩形框标记，获取对应的矩形框的位置信息和尺寸信息，以及对病灶图像中对应的器官进行分类标记。
[0012]本专利技术的目的还在于提供一种基于磁传感器的支气管镜的病灶识别系统，包括
[0013]导航路径规划模块，用于基于CT原始图像数据进行三维重建得到患者的虚拟支气管树，并生成至所述虚拟支气管树上目标位置的导航路径；
[0014]磁传感器模块，用于在人体内对支气管镜沿所述导航路径进行导航；
[0015]摄像头组件，用于采集人体内支气管及病灶图像；
[0016]显示模块，用于显示图像信息和标记信息；
[0017]处理模块，用于基于已训练好的量化的神经网络模型对病灶图像进行标记，并输出带标记的病灶图像；所述对病灶图像进行标记，包括，对病灶图像进行矩形框标记，获取对应的矩形框的位置信息和尺寸信息，以及对病灶图像中对应的器官进行分类标记。
[0018]本专利技术相比现有技术突出且有益的技术效果是：
[0019]1)利用磁传感器导航，制订行进路线，快速到达目标位置。
[0020]2)在确定目标病灶后，通过获取病灶的图像信息，使用已训练好的量化的神经网络模型对其进行分析，能够得出需要的病灶信息，有利于为临床手术方案制定最优方案。
附图说明
[0021]图1为本专利技术的方法流程图；
[0022]图2为本专利技术的结构示意图。
具体实施方式
[0023]下面结合附图详细描述本专利技术的实施例。
[0024]如图1所示，本专利技术提供了一种基于磁传感器的支气管镜的病灶识别方法，该方法包括以下步骤：
[0025]S1，生成至目标病灶位置的支气管导航路径；
[0026]S2，操作带磁传感器模块的支气管镜沿导航路径行进至目标病灶位置，建立人体内至目标病灶位置的支气管插管通道；
[0027]S3，摄像头组件沿所述支气管插管通道移送至目标位置；
[0028]S4，通过摄像头组件采集目标病灶的病灶图像；
[0029]S5，基于已训练好的量化的神经网络模型对病灶图像进行标记，并输出带标记的病灶图像；所述对病灶图像进行标记，包括，对病灶图像进行矩形框标记，获取对应的矩形框的位置信息和尺寸信息，以及对病灶图像中对应的器官进行分类标记。
[0030]通过上述步骤，利用磁传感器导航，制订行进路线，快速到达目标位置；并且可实现对目标支气管的目标病灶进行识别，并输出病灶信息，以便于为临床手术制定最优方案。
[0031]所述S1具体包括以下步骤：导入患者的CT原始图像，进行三维重建后产生患者的虚拟支气管树图像，找到目标病灶并标记，系统自动识别生成通往目标病灶的导航路径。其对应图1中的插管前准备阶段。
[0032]步骤S2中的磁传感器模块产生磁信号用于定位。患者全身麻醉后，行单腔气管插管(7.5号及以上单腔插管)，操作电子支气管镜，通过扩展通道置入定位导管，首先进行注册过程，即将虚拟气管镜图像与患者实际的支气管树进行匹配，随后沿导航规划路径行进，该过程中虚拟气管镜图像与实际气管镜图像匹配，操作者结合两种图像，将虚拟气管镜图像上的探头标记引导至选定的目标病灶标记位置，即顺利到达病灶处，可进行针吸、钳检、刷检、注入染料定位等操作。
[0033]磁传感器的原理是基于霍尔效应原理。传感器控制单元SCU为磁场发生器提供电力，进而产生一系列变化的磁场，产生已知体积的变化磁通量。传感器通常嵌入在工具中，它们连接到串行接口单元SIU，而SIU又连接到SCU。如果这些传感器被放置在极光的探测区域内，那么由磁场发电机产生的不同磁场就会产生一个电压。感应电压的特性取wSIU将在传感器中感应到的电压转换为数字数据，并将其发送到SCU。SCU会分析数据，并计算出传感器的位置和方向。
[0034]作为优选，上述方法还包括：根据磁传感器预设导航路径，绘制支气管树状图，标注并计算出沿途左右支气管隆突尺寸位置大小，并通过显示模块显示。这样设置有利于在
插管自动寻路步骤更容易的找到目标位置。其中标注并计算沿途左右支气管隆突尺寸位置大小的具体实现方式可参考申请人提交的名称为“一种具有辅助识别和双目摄像头的支气管镜系统及使用、识别方法”的在先申请，在此不再展开描述。
[0035]到达目标病灶位置后，将本专利技术步骤S3中所述的摄像头组件沿支气管插管通道送入。
[0036]上述步骤S3中的目标位置指的是摄像头对目标病灶进行观察和记录图像数据的位置，一般选择目标病灶所在的支气管中测量精度较高的位置。所述步骤S3包括：
[0037]S31，显示模块实时显示摄像头组件采集到的画面；
[0038]S32，在画面中出现支气管时，显示模块实时标定支气管在图像中的位置，并且显示摄像头组件到目标的相对距离及支气管的大小；
[0039]S33，当摄像头组件到达最佳工作距离时，即显示模块上显示的相对距离在预设值时，达到所述目标位置，保持该位置进行观察和记录图像数据。所述预设值为本领域技术人员根据试验获得的数值或数值范围，一般在10
‑
30mm，在该位置的测量精度较高。
[0040]上述步骤S32的具体实现包括基于已训练好的量化的神经网络模型，即yolov4
‑
tiny，对支气管图像进行矩形框标记，获取对应矩形框本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于磁传感器的支气管镜的病灶识别方法，其特征在于，包括以下步骤：S1，生成至目标病灶位置的支气管导航路径；S2，操作带磁传感器模块的支气管镜沿导航路径行进至目标病灶位置，建立人体内至目标病灶位置的支气管插管通道；S3，摄像头组件沿所述支气管插管通道移送至目标位置；S4，通过摄像头组件采集目标病灶的病灶图像；S5，基于已训练好的量化的神经网络模型对病灶图像进行标记，并输出带标记的病灶图像；所述对病灶图像进行标记，包括，对病灶图像进行矩形框标记，获取对应的矩形框的位置信息和尺寸信息，以及对病灶图像中对应的器官进行分类标记。2.根据权利要求1所述的基于磁传感器的支气管镜的病灶识别方法，其特征在于，所述量化的神经网络模型通过如下方式获得：1)摄像头组件采集大量的受试者的病灶图像，在所述病灶图像上用矩形框标记，获取对应矩形框的位置信息和尺寸信息；2)摄像头组件采集大量的受试者的病灶图像，在所述病灶图像上对包含的器官进行分类标记；3)将上述得到的图像样本进行预处理获得训练集；4)利用训练集在深度学习环境下训练得到量化的神经网络模型。3.根据权利要求1所述的基于磁传感器的支气管镜的病灶识别方法，其特征在于，所述步骤S1包括：基于患者的CT原始图像数据进行三维重建得到患者的虚拟支气管树，标记目标病灶，在所述虚拟支气管树上生成至所述目标病灶的导航路径。4.根据权利要求1所述的...

【专利技术属性】
技术研发人员：杨本全，狄观友，泮邵，王思博，李宏博，李卫平，王卫东，王桃红，
申请(专利权)人：浙江优亿医疗器械股份有限公司，
类型：发明
国别省市：