基于多任务神经网络与偏转扫描的穿刺针定位方法和系统技术方案

本发明专利技术公开了医学图像分析与医学图像介入技术领域的一种基于多任务神经网络与偏转扫描的穿刺针定位方法和系统，方法的步骤包括：A，实时采集偏转扫描超声图像和正常超声图像；B，将偏转扫描超声图像输入预先训练好的多任务神经网络，输出所述偏转扫描超声图像中含有穿刺针的概率值、所述穿刺针的针体分割图以及所述穿刺针的针尖分割图；C，判断含有穿刺针的概率值是否大于第一阈值，如果是，则根据针体分割图和针尖分割图，在正常超声图像中显示穿刺针的融合图。本发明专利技术将偏转扫描与多任务神经网络相结合，大幅度提高了现有方法的定位精度，降低了算法运算时间，可以达到实时实现针体和针尖的定位和增强显示。

【技术实现步骤摘要】
基于多任务神经网络与偏转扫描的穿刺针定位方法和系统
本专利技术涉及医学图像分析与医学图像介入
，具体而言，涉及基于多任务神经网络与偏转扫描的穿刺针定位方法和系统。
技术介绍
医学超声技术被广泛的运用在治疗性注射、活检、麻醉等介入性手术中。在这些应用在穿刺针的针体的清晰显示与针尖位置的精准定位是十分关键的。但是由于穿刺针的表面光滑的特性，在超声穿刺成像时，穿刺针的显示往往十模糊，甚至是有时是不可见的。另外，由于生物体组织的复杂性，常常有骨头以及软组织等高亮反射信号出现在穿刺针的介入路径上，从而进一步的影响穿刺针的显示。所以精确的检测与定位穿针现在仍然是一个非常具有挑战性的工作。现有的穿针定位与增强方法与系统主要包括两个大类：基于硬件的方法与基于软件算法的方法。基于硬件的方法主要包括：a)主动磁导航技术，b)被动磁定位技术，c)红外导航技术，d)穿刺架辅助导引技术等。这些技术主要是动过增强硬件设备，通过不同原理的定位技术，定位穿刺针进入人体后的位置，并显示在超声图像上，为临床医生准确的把握穿刺在人体内的位置，减小穿刺中的风险。基于软件的方法主要包括：a)线检测算法，b)3D超声下的定位技术，c)基于投影的定位技术，d)基于学习的定位技术等等，这些技术部依赖于增加硬件设备，他们使用不同的软件算法，检测并定位穿刺针在超声图像中的位置，并增强显示到超声图像上，为超声医师提供准确的穿刺针在人体内的信息，减少穿刺中的风险。然而，基于硬件的技术需要增加额外的设备，价格非常昂贵，增加患者的开支，同时使用起来限制很多，对使用环境要求高。软件的方法中的a)线检测算法，b)3D超声下的定位技术和c)基于投影的定位技术方法是基于穿刺针在超声图像中的强度信息来检测定位穿刺针，但是由于穿刺针表面光滑，并且超声波的反射特性作用下，穿刺针在图像中的强度很微弱，有时甚至看不见，同时由于人体组织结构的复杂性，进一步的影响了穿刺针的强度信息。所以此类方法检测定位非常的不稳定。基于学习的方法依靠算法本身的能力，很大程度上缓解了算法稳定性的问题，但是由于算法的复杂性，很多算法不能实时实现穿刺针的定位(需要满足每秒30帧的处理速度)。论文“Hatt,C.R.,etal.:Enhancedneedlelocalizationinultrasoundusingbeamsteeringandlearning-basedsegmentation.ComputMedImagingGraph,41,46-54(2015)”公开了一种基于机器学习的二维波束引导超声图像针分割方法，采用像素级分类器来进行针的分割，然后利用Radon变换从分割后的图像中找到针的位置和方向，但是采用该方法，运行时间较长，定位的准确性也有待提高。
技术实现思路
本专利技术的目的在于克服现有技术中所存在的上述不足，结合偏转扫描与多任务神经网络，实现了穿刺针的实时定位和增强，不仅能实时准确定位针尖，也能实时定位针体，大大降低算法运算时间，提供了一种基于多任务神经网络与偏转扫描的穿刺针定位方法和系统。为了实现上述专利技术目的，本专利技术提供了以下技术方案：基于多任务神经网络与偏转扫描的穿刺针定位方法，包括以下步骤：S1，采用超声波束的偏转角度采集第一偏转扫描超声图像；S2，将第一偏转扫描超声图像输入预先训练好的多任务神经网络，输出第一偏转扫描超声图像中含有穿刺针的第一概率值；S3，判断第一概率值是否大于第一阈值，如果是，则设置当前偏转角度为超声前端发射角度，执行步骤S4，否则，调整超声波束的偏转角度，返回步骤S1；S4，采用超声前端发射角度采集第二偏转扫描超声图像，同时采用超声波束的常规角度采集正常超声图像；S5，将第二偏转扫描超声图像输入预先训练好的多任务神经网络，输出第二偏转扫描超声图像中含有穿刺针的第二概率值、穿刺针的针体分割图以及穿刺针的针尖分割图；S6，判断第二概率值是否大于第一阈值，如果是，则根据针体分割图和针尖分割图，在正常超声图像中显示穿刺针的融合图；否则，调整超声波束的偏转角度，返回步骤S4。作为本专利技术的优选方案，多任务神经网络包括图像分割器模型和图像分类器模型，图像分割器模型主干是一个U-net神经网络，并且在U-net的最后一个上采样层添加了两个分支网络，其中一个分支网络用于分割出穿刺针体，输出针体分割图；另一个分支网络用于分割出穿刺针尖，输出针尖分割图。进一步的，图像分类器模型是在U-net神经网络最后一个下采样层添加一个第二分支网络，第二分支网络输出概率值，用于判别偏转扫描超声图像中是否含有穿刺针。进一步的，多任务神经网络在训练的过程中采用了鉴别器模型，鉴别器模型为PatchGan对抗网络，多任务神经网络训练过程包括以下步骤：A1：将多任务神经网络输出的针体分割图以及针尖分割图输入到鉴别器模型，同时输入鉴别器模型的还包括标记图像，标记图像上对穿刺针的针尖和针体进行了人为标注；A2：鉴别器模型输出N×N的矩阵块的判别结果，鉴别器模型基于二值交叉熵训练得到；A3：根据判别结果调整多任务神经网络的参数。作为本专利技术的优选方案，根据针体分割图和针尖分割图，在正常超声图像中显示穿刺针的融合图，具体包括以下步骤：B1：将针体分割图和针尖分割图分别进行中值滤波，输出滤波后的针体分割滤波图和针尖分割滤波图；B2：采用质心检测算法，从针尖分割滤波图中获取针尖的位置；采用最小二乘回归算法，检测出针体分割滤波图中的穿刺针角度；根据针尖的位置和穿刺针角度，生成偏转扫描超声图像中针尾的坐标；B3：将针尾的坐标进行偏转角度—正常角度的坐标变换，输出穿刺针在正常角度图像中的针尾坐标；将针尖的位置进行偏转角度—正常角度的坐标变换，输出穿刺针在正常角度图像中的针尖坐标；根据穿刺针在正常角度图像中的针尾坐标和针尖坐标，生成穿刺针图像，并在正常超声图像中显示穿刺针图像。作为本专利技术的优选方案，根据穿刺针在正常角度图像中的角度和针尖位置，生成一个宽度为8个像素宽的穿刺针；根据公式SFusion＝max(γSMask+NI,255)，0≤γ≤1，实现穿刺针与所述正常超声图像的融合，在所述正常超声图像中显示所述穿刺针图像，其中，NI为所述正常超声图像，γ为融合系数，SMask是穿刺针的图像，SFusion是融合后的图像。进一步的，步骤S6具体包括以下步骤：S601，判断第二概率值是否大于第一阈值，如果是，则执行步骤S602，否则，调整超声波束的入射角度，返回步骤S4；S602，根据针体分割图和针尖分割图，计算穿刺针的插入角度和针尖的位置；S603，根据超声波束的入射角度和穿刺针的插入角度，计算参考角度；S604，如果参考角度小于或等于第二阈值，则根据针体分割图和针尖分割图，在正常超声图像中显示穿刺针的融合图；否则，调整超声波束的入射角度，使得超声波束的入射方向与穿刺针垂直或近似垂直，本文档来自技高网...

【技术保护点】
1.基于多任务神经网络与偏转扫描的穿刺针定位方法，其特征在于，包括以下步骤：/nS1，采用超声波束的偏转角度采集第一偏转扫描超声图像；/nS2，将所述第一偏转扫描超声图像输入预先训练好的多任务神经网络，输出所述第一偏转扫描超声图像中含有穿刺针的第一概率值；/nS3，判断所述第一概率值是否大于第一阈值，如果是，则设置当前偏转角度为超声前端发射角度，执行步骤S4，否则，调整所述超声波束的偏转角度，返回所述步骤S1；/nS4，采用所述超声前端发射角度采集第二偏转扫描超声图像，同时采用超声波束的常规角度采集正常超声图像；/nS5，将所述第二偏转扫描超声图像输入预先训练好的多任务神经网络，输出所述第二偏转扫描超声图像中含有穿刺针的第二概率值、所述穿刺针的针体分割图以及所述穿刺针的针尖分割图；/nS6，判断所述第二概率值是否大于第一阈值，如果是，则根据所述针体分割图和所述针尖分割图，在所述正常超声图像中显示穿刺针的融合图；否则，调整所述超声波束的偏转角度，返回所述步骤S4。/n

【技术特征摘要】
1.基于多任务神经网络与偏转扫描的穿刺针定位方法，其特征在于，包括以下步骤：
S1，采用超声波束的偏转角度采集第一偏转扫描超声图像；
S2，将所述第一偏转扫描超声图像输入预先训练好的多任务神经网络，输出所述第一偏转扫描超声图像中含有穿刺针的第一概率值；
S3，判断所述第一概率值是否大于第一阈值，如果是，则设置当前偏转角度为超声前端发射角度，执行步骤S4，否则，调整所述超声波束的偏转角度，返回所述步骤S1；
S4，采用所述超声前端发射角度采集第二偏转扫描超声图像，同时采用超声波束的常规角度采集正常超声图像；
S5，将所述第二偏转扫描超声图像输入预先训练好的多任务神经网络，输出所述第二偏转扫描超声图像中含有穿刺针的第二概率值、所述穿刺针的针体分割图以及所述穿刺针的针尖分割图；
S6，判断所述第二概率值是否大于第一阈值，如果是，则根据所述针体分割图和所述针尖分割图，在所述正常超声图像中显示穿刺针的融合图；否则，调整所述超声波束的偏转角度，返回所述步骤S4。


2.根据权利要求1所述的基于多任务神经网络与偏转扫描的穿刺针定位方法，其特征在于，所述多任务神经网络包括图像分割器模型和图像分类器模型，所述图像分割器模型主干是一个U-net神经网络，并且在U-net的最后一个上采样层添加了两个分支网络，其中一个分支网络用于分割出穿刺针体，输出所述针体分割图；另一个分支网络用于分割出穿刺针尖，输出所述针尖分割图。


3.根据权利要求2所述的基于多任务神经网络与偏转扫描的穿刺针定位方法，其特征在于，所述图像分类器模型是在所述U-net神经网络最后一个下采样层添加一个第二分支网络，所述第二分支网络输出概率值，用于判别所述偏转扫描超声图像中是否含有穿刺针。


4.根据权利要求3所述的基于多任务神经网络与偏转扫描的穿刺针定位方法，其特征在于，所述多任务神经网络在训练的过程中采用了鉴别器模型，所述鉴别器模型为PatchGan对抗网络，所述多任务神经网络训练过程包括以下步骤：
A1：将所述多任务神经网络输出的所述针体分割图以及所述针尖分割图输入到所述鉴别器模型，同时输入所述鉴别器模型的还包括标记图像，所述标记图像上对穿刺针的针尖和针体进行了人为标注；
A2：所述鉴别器模型输出N×N的矩阵块的判别结果，所述鉴别器模型基于二值交叉熵训练得到；
A3：根据所述判别结果调整所述多任务神经网络的参数。


5.根据权利要求1所述的基于多任务神经网络与偏转扫描的穿刺针定位方法，其特征在于，根据所述针体分割图和所述针尖分割图，在所述正常超声图像中显示穿刺针的融合图，具体包括以下步骤：
B1：将所述针体分割图和所述针尖分割图分别进行中值滤波，输出滤波后的针体分割滤波图和针尖分割滤波图；
B2：采用质心检测算法，从所述针尖分割滤波图中获取针尖的位置；
采用最小二乘回归算法，检测出所述针体分割滤波图中的穿刺针角度；
根据所述针尖的位置和所述穿刺针角度，生成所述偏转扫描超声图像中针尾的坐标；
B3：将所述针尾的坐标进行偏转角度—正常角度的坐标变换...

【专利技术属性】
技术研发人员：高君，张琳，刘西耀，刘东权，
申请(专利权)人：成都思多科医疗科技有限公司，
类型：发明
国别省市：四川;51