基于超声图像特征平面检测的手术导航方法及介质技术

本发明专利技术涉及一种基于超声图像特征平面检测的手术导航方法及介质的技术方案，包括：创建深度卷积神经网络，将术前增强三维CT图像数据进行预处理，通过深度卷积神经网络对经过预处理的术前增强三维CT图像数据进行多点定位，得到多点定位模型；基于DQN框架及多点定位模型构建检测模型，通过检测模型将输入的任意术前三维CT图像及术中二维超声影像进行处理，得到用于对齐术前三维CT图像及术中二维超声影像的三维空间转换矩阵，通过三维空间转换矩阵进行手术导航。本发明专利技术的有益效果为：实现了术前三维CT数据中超声特征标准切面智能定位方法，避免了在手术过程中手动、耗时、费力定位关键点位置。键点位置。键点位置。

【技术实现步骤摘要】
基于超声图像特征平面检测的手术导航方法及介质


[0001]本专利技术涉及计算机领域，具体涉及了一种基于超声图像特征平面检测的手术导航方法及介质。

技术介绍

[0002]临床上通常使用超声或CT影像对穿刺手术路径进行导航。介入治疗手术的导航系统中一般采用的影像导航技术包括4种：
[0003]一、CT引导：其增强CT影像可以清晰显示血管的走势，肿瘤区域的大小、位置及其周围的组织结构。但是无法做到实时检测手术器械在患者体内的位置，整个介入手术依赖于介入医师的经验，手术过程中需要进行多次CT扫描，不断调整穿刺针的位置。一般手术时间较长，易出现出血等并发症；
[0004]二、MRI引导：清晰地显示肿瘤，但是对于身上带有磁性物质的患者，同时手术器械要具备电磁兼容性，且价格昂贵；
[0005]三、超声引导：可以实时检测手术器械的位置且价格低廉，但是成像质量查，且一般是二维成像；
[0006]四、多模态影像融合引导：结合不同模态影像的优势，准确度高，显示图像具有更高分辨率，引导更准确。临床实践表明，术中二维超声和术前三维CTCT在肿瘤消融，胸腹部穿刺活检等介入治疗领域发挥着各自影像优势互补的作用。
[0007]目前，导航系统中最准确也是最广泛应用的对齐方法是基于标记点的手术配准方法。
[0008]现有技术存在以下缺点：非常依赖介入医师的经验，此过程费力、耗时，严重阻碍了介入技术的实施和推广；标记物在手术过程中容易滑落，会导致配准精度降低；若标记物的位置被移动，需要重新进行标记，并且重复图像扫描的过程，比较繁琐。

技术实现思路

[0009]本专利技术的目的在于至少解决现有技术中存在的技术问题之一，提供了一种基于超声图像特征平面检测的手术导航方法及介质，实现了术前三维CT数据中超声特征标准切面智能定位方法，避免了在手术过程中手动、耗时、费力定位关键点位置。
[0010]本专利技术的技术方案包括一种基于超声图像特征平面检测的手术导航方法，其特征在于，该方法包括：术前图像训练，创建深度卷积神经网络，将术前增强三维CT图像数据进行预处理，通过所述深度卷积神经网络对经过预处理的术前增强三维CT图像数据进行多点定位，得到多点定位模型；超声影像对齐，基于DQN框架及所述多点定位模型构建检测模型，通过检测模型将输入的任意术前三维CT图像及术中二维超声影像进行处理，得到用于对齐术前三维CT图像及术中二维超声影像的三维空间转换矩阵，通过三维空间转换矩阵进行手术导航。
[0011]根据所述的基于超声图像特征平面检测的手术导航方法，其中预处理包括：将不
包括有手术对象的增强三维CT图像数据进行删除，从若干术前增强三维CT数据重采样到指定分辨率并且进行手动标注。
[0012]根据所述的基于超声图像特征平面检测的手术导航方法，其中超声影像对齐包括：网络模型的构建，搭建多点联合检测的网络模型，使用3个智能体联合学习3个关键点的特征，每个智能体训练得到一个检测对应关键点的模型；构建智能体学习探索的环境，将每个输入的三维CT图像数据作为智能体的活动环境；配置智能体的动作空间，动作空间包括上、下、左、右、前、后动作，其中网络模型的4个卷积层和3个最大池化层作为3个智能体共有的网络部分，采用3个并列的3层全连接层作为各个智能体特有部分。
[0013]根据所述的基于超声图像特征平面检测的手术导航方法，其中超声影像对齐还包括：智能体的策略，从三维CT图像数据中的随机起始点出发根据策略选择动作；奖励函数，智能体从当前位置P
t
出发，以P
t
为智能体位置中心采样大小的图像数据作为当前状态S
t
，根据策略π选择动作a
t
后进入下一个位置P
t+1
，反馈大小为
[0014]R
t+1
＝|P
t-P
g
|
2-|P
t+1-P
g
|2[0015]的奖励给对应智能体，P
t+1
对应的智能体的状态为S
t+1
；终止状态，判断智能体的当前位置与检测目标的位置距离小于1时，以及，智能体在当前环境中已经行走超过1500步时，使智能体进入终止状态。
[0016]根据所述的基于超声图像特征平面检测的手术导航方法，其中该方法还包括：若智能体过去的20个历史位置中同一位置出现的次数大于等于4时，智能体进入下一状态，直至所有尺度都进入终止状态，重新采样一个输入数据。
[0017]根据所述的基于超声图像特征平面检测的手术导航方法，其中策略配置为decayε-greedy策略。
[0018]根据所述的基于超声图像特征平面检测的手术导航方法，其中方法还包括：搭建经验池，对智能体停止对应环境下的探索之前的状态、策略选择动作及尺度放入经验池，在训练开始阶段，从经验池中随机选取一组智能体的状态、策略选择动作及尺度进行训练，直至网络训练的趋势使累计奖励最大。
[0019]本专利技术的技术方案还包括一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现任一所述的方法步骤。
[0020]本专利技术的有益效果为：实现了术前三维CT数据中超声特征标准切面智能定位方法，避免了在手术过程中手动、耗时、费力定位关键点位置。
附图说明
[0021]下面结合附图和实施例对本专利技术进一步地说明；
[0022]图1所示为现有技术的处理流程图；
[0023]图2所示为根据本专利技术实施方式的流程图；
[0024]图3所示为根据本专利技术实施方式的强化学习方法在术前三维CT数据中定位术中二维超声中的特征平面示意图；
[0025]图4所示为根据本专利技术实施方式的强化学习方法在术前三维CT数据中定位术中二维超声中的特征平面流程图；
[0026]图5所示为根据本专利技术实施方式的装置及介质图。
具体实施方式
[0027]本部分将详细描述本专利技术的具体实施例，本专利技术之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本专利技术的每个技术特征和整体技术方案，但其不能理解为对本专利技术保护范围的限制。
[0028]在本专利技术的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。
[0029]在本专利技术的描述中，对方法步骤的连续标号是为了方便审查和理解，结合本专利技术的整体技术方案以及各个步骤之间的逻辑关系，调整步骤之间的实施顺序并不会影响本专利技术技术方案所达到的技术效果。
[0030]本专利技术的描述中，除非另有明确的限定，设置等词语应做广义理解，所属
技术人员可以结合技术方案的具体内容合理确定上述词语在本专利技术中的具体含义。
[0031]图1所示为现有技术的处理流程图，图像空间在肝脏介入手术中指术前采集三维CT数据构成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于超声图像特征平面检测的手术导航方法，其特征在于，该方法包括：术前图像训练，创建深度卷积神经网络，将术前增强三维CT图像数据进行预处理，通过所述深度卷积神经网络对经过预处理的术前增强三维CT图像数据进行多点定位，得到多点定位模型；超声影像对齐，基于DQN框架及所述多点定位模型构建检测模型，通过检测模型将输入的任意术前三维CT图像及术中二维超声影像进行处理，得到用于对齐术前三维CT图像及术中二维超声影像的三维空间转换矩阵，通过三维空间转换矩阵进行手术导航。2.根据权利要求1所述的基于超声图像特征平面检测的手术导航方法，其特征在于，所述预处理包括：将不包括有手术对象的增强三维CT图像数据进行删除，从若干术前增强三维CT数据重采样到指定分辨率并且进行手动标注。3.根据权利要求1所述的基于超声图像特征平面检测的手术导航方法，所述超声影像对齐包括：网络模型的构建，搭建多点联合检测的网络模型，使用3个智能体联合学习3个关键点的特征，每个智能体训练得到一个检测对应关键点的模型；构建智能体学习探索的环境，将每个输入的三维CT图像数据作为智能体的活动环境；配置智能体的动作空间，动作空间包括上、下、左、右、前、后动作，其中网络模型的4个卷积层和3个最大池化层作为3个智能体共有的网络部分，采用3个并列的3层全连接层作为各个智能体特有部分。4.根据权利要求3所述的基于超声图像特征平面检测的手术导航方法，所述超声影像对齐还包括：智能体的策略，从三维CT图像数据中的随机起始点出发根据策略选择动作；奖励函数，智能体从当前位置P
t
出发，以P
t...

【专利技术属性】
技术研发人员：滕皋军，陆建，温铁祥，王澄，朱海东，张毅，
申请(专利权)人：珠海横乐医学科技有限公司，
类型：发明
国别省市：