一种智能超声多模态导航系统及方法技术方案

本发明专利技术公开了一种智能超声多模态导航系统及方法，可以实现术中无辐射的手术环境，通过智能的超声采集、定位及融入空时特征机制的实时影像处理，并以多维导航信息呈现方式为医生提供实时三维术中信息引导。

An intelligent ultrasonic multimodal navigation system and method

【技术实现步骤摘要】
一种智能超声多模态导航系统及方法
本专利技术涉及手术导航
，尤其是一种智能超声多模态导航系统及方法。
技术介绍
手术微创化是近些年来外科发展的重要趋势，在骨科表现为越来越多的微创治疗技术的出现，如椎间孔镜、髋关节镜、经皮椎弓根钉、经皮椎体成型、以及髓内钉内固定等技术。微创治疗通过尽量小的外科创伤实现精准的手术，为了满足这一需求，通常需要使用术中影像进行引导，临床上最常用的是术中X线和计算机断层(CT)，然而术中大量使用X线，会带来大量辐射，对于患者及医生的健康都造成潜在的威胁，同时由于单次X线与CT的非实时性，造成漂移等误差，也影响了手术的准确性甚至增加了手术并发症的风险。超声是近年来逐渐应用于手术引导的成像工具，具有其独特的优势，在于：(1)超声对于人体无辐射危害，不会影像患者和医生的健康；(2)超声是实时成像的，连续、不间断的追踪，不受术中移位的影响；(3)超声可获得不同组织的显像，特别是骨表面的形态特征，较体外定位装置更直接，更加准确。当今超声引导的介入性操作，主要应用在超声引导穿刺活检、神经阻滞等手术。然而目前超声引导并未广泛应用于临床，特别是骨科微创治疗中，主要存在以下几个问题：(1)目前的超声引导中，未实现超声图像中关键骨解剖结构的自动识别，需要临床医生掌握超声下各个骨解剖结构的超声影像特征，进行人工解剖结构判别，临床实用性差；(2)超声本身的成像特点决定了遇到气体、骨骼等界面，其后方结构无法显示，只能提供给医生局部的术中三维骨结构信息；(3)现有术前术中结构融合方法，需要操作者或者医生手动找到术前结构匹配的关键点，需要较长的学习曲线，并且配准融合精度有限。
技术实现思路
本专利技术所要解决的技术问题在于，提供一种智能超声多模态导航系统及方法，能够实现无辐射的手术环境，通过智能的超声采集、定位及融入空时特征机制的实时影像处理，并以多维导航信息呈现方式为医生提供丰富的引导信息。为解决上述技术问题，本专利技术提供一种智能超声多模态导航系统，包括：超声实时采集传输模块、图像位姿获取模块、自适应空时特征重标定的骨结构识别模块、术前术中骨结构快速融合模块、植入器械定位模块和导航信息多维显示模块；超声实时采集传输模块，通过高性能视频传输卡，将实时二维超声图像序列从超声成像设备传输至影像智能分析端；图像位姿获取模块，利用磁定位仪，采集超声成像探头的三维空间信息，并结合超声探头标定技术，获取二维超声图像序列的空间位姿，用于辅助智能三维重建；自适应空时特征重标定的骨结构识别模块，提出基于自适应空时特征重标定的多尺度卷积神经网络算法，实现二维超声序列中骨结构的智能检测识别及三维关键结构分布预测，并结合超声图像序列的位姿信息实现骨结构三维重建；术前术中骨结构快速融合模块，将重建的术中局部骨结构与术前的全局骨结构模型配准融合，校正术前的骨结构模型，以确保校正后的骨结构能体现术中信息，且该模块利用骨结构识别模块中提供的三维关键结构分布预测信息，实现快速鲁棒的术前术中骨结构融合；植入器械定位模块，其通过细小电磁线圈实现骨植入器械的三维位置追踪；导航信息多维显示模块，将术前术中骨结构融合信息与器械位置信息进行实时渲染与显示，实现多种方式的导航信息呈现。优选的，导航信息的显示方式包括普通显示器、虚拟现实及增强现实多种方式。相应的，一种智能超声多模态导航系统的导航方法，包括如下步骤：(1)通过超声实时采集传输模块获取术中局部骨结构的二维超声图像序列，并通过超声图像位姿获取模块采集超声图像序列中每帧图像的三维位姿信息；(2)通过自适应空时特征重标定的卷积神经网络实时分割二维超声图像序列中的骨结构，并利用步骤(1)获取的图像位姿信息，实现三维骨结构模型重建；(3)通过基于三维关键结构分布信息的快速配准技术，实现术前术中骨结构快速融合，确保校正后的全局骨结构能体现术中信息；(4)将步骤(3)获得的校正后的全局骨结构模型传输至导航信息多维显示模块，在不依赖术中X线辐射成像的情况下，提供实时三维术中导航信息。优选的，步骤(2)中，通过自适应空时特征重标定的卷积神经网络实时识别分割二维超声图像中的骨结构，并利用步骤(1)获取的图像位姿信息，实现三维超声骨结构模型重建具体为：将二维超声图像序列S＝[S1,S2,S3,…SN]逐帧通过全卷积神经网络FCN提取单帧高级语义特征，N为输入超声序列帧数，FCN由6个级联卷积操作构成，为了增大卷积层感受野，在第3个和第6个卷积层增加滑动步长以实现两次降采样操作，FCN＝{conv1_16,conv2_16,conv3_16，conv4_32,conv5_32,conv6_32,}，其中convi_j表示第i个卷积操作且j表示第i个卷积层输出的特征通道数，第n帧超声图像经全卷积网络FCN映射为32通道的特征张量Fn，且其尺寸为原图的四分之一Fn＝FCN(Sn)；接下来对连续超声图像进行帧间特征重标定，即基于连续超声图像特征，为每帧特征张量Fn学习其对应的权重系数wn，从而调整连续帧图像的相关性强弱；应用全局平均池化来聚合原特征张量Fn，并通过全连接层来学习帧间非线性依赖关系，对N维权重向量进行非线性softmax归一化，得到所有特征张量的权重W＝[w1,w2,w3…wn]，及重加权的特征张量Fn′F′n＝Fn*wn，wn为第n个特征张量的权重；然后，进行连续帧信息融合，利用卷积长短期记忆网络ConvLSTM对重标定的帧间特征时序建模，融合当前帧之前的所有帧信息，得到卷积长短期记忆网络通过记忆门控和卷积运算同时融合时间特征和空间特征；在骨结构语义特征解码部分，引入多尺度空间特征重标定机制；骨结构语义特征解码网络由5个ConvLSTM解码器单元级联构成，每个单元实现了不同空间尺度的骨结构预测；多尺度空间特征重标定即利用每个解码器单元ConvLSTMk的骨结构预测结果对其输出特征张量N为输入超声序列帧数，进行空间加权，加权运算为该操作消除背景及不相关区域的干扰，其中n表示第n帧，(s,t)表示2维空间位置，该部分可自适应地调整各空间卷积特征描述符的权重，从而保证对局部细节区域投入更多注意力，提高网络的分割准确性；另外，通过结合多尺度空间特征解码，获得三维关键结构分布图优选的，步骤(3)中，通过基于三维关键结构分布信息的快速配准技术，实现术前术中骨结构快速融合，确保校正后的全局骨结构能体现术中信息，具体为：充分利用智能化骨结构分割模块输出的三维关键结构分布图A，进行关键结构快速定位及结构点、边缘、定向弧度曲面的自动检测；不同尺度上网络的共同关注点即为骨结构重建及融合中的关键结构，以结构分布图的均值作为阈值，其中S，T为超声图像尺寸，N为超声图像序列帧数，生成关键结构图，如下关键结构的分布信息决定了局部骨结构和术前骨结构配准融合过程中结构点几何位置匹配集基于该几何位置匹配集，搜索最优几何变换T；其中配准相似性测度采用基于高斯核平滑的三维互信息(NMI)，这里，H(·)表示三维图像熵z表示几何位置匹配集TS中的结构点，M为TS本文档来自技高网...

【技术保护点】
1.一种智能超声多模态导航系统，其特征在于，包括：超声实时采集传输模块、图像位姿获取模块、自适应空时特征重标定的骨结构识别模块、术前术中骨结构快速融合模块、植入器械定位模块和导航信息多维显示模块；超声实时采集传输模块，通过高性能视频传输卡，将实时二维超声图像序列从超声成像设备传输至影像智能分析端；图像位姿获取模块，利用磁定位仪，采集超声成像探头的三维空间信息，并结合超声探头标定技术，获取二维超声图像序列的空间位姿，用于辅助智能三维重建；自适应空时特征重标定的骨结构识别模块，提出基于自适应空时特征重标定的多尺度卷积神经网络算法，实现二维超声序列中骨结构的智能检测识别及三维关键结构分布预测，并结合超声图像序列的位姿信息实现骨结构三维重建；术前术中骨结构快速融合模块，将重建的术中局部骨结构与术前的全局骨结构模型配准融合，校正术前的骨结构模型，以确保校正后的骨结构能体现术中信息，且该模块利用骨结构识别模块中提供的三维关键结构分布预测信息，实现快速鲁棒的术前术中骨结构融合；植入器械定位模块，其通过细小电磁线圈实现骨植入器械的三维位置追踪；导航信息多维显示模块，将术前术中骨结构融合信息与器械位置信息进行实时渲染与显示，实现多种方式的导航信息呈现。/n...

【技术特征摘要】
1.一种智能超声多模态导航系统，其特征在于，包括：超声实时采集传输模块、图像位姿获取模块、自适应空时特征重标定的骨结构识别模块、术前术中骨结构快速融合模块、植入器械定位模块和导航信息多维显示模块；超声实时采集传输模块，通过高性能视频传输卡，将实时二维超声图像序列从超声成像设备传输至影像智能分析端；图像位姿获取模块，利用磁定位仪，采集超声成像探头的三维空间信息，并结合超声探头标定技术，获取二维超声图像序列的空间位姿，用于辅助智能三维重建；自适应空时特征重标定的骨结构识别模块，提出基于自适应空时特征重标定的多尺度卷积神经网络算法，实现二维超声序列中骨结构的智能检测识别及三维关键结构分布预测，并结合超声图像序列的位姿信息实现骨结构三维重建；术前术中骨结构快速融合模块，将重建的术中局部骨结构与术前的全局骨结构模型配准融合，校正术前的骨结构模型，以确保校正后的骨结构能体现术中信息，且该模块利用骨结构识别模块中提供的三维关键结构分布预测信息，实现快速鲁棒的术前术中骨结构融合；植入器械定位模块，其通过细小电磁线圈实现骨植入器械的三维位置追踪；导航信息多维显示模块，将术前术中骨结构融合信息与器械位置信息进行实时渲染与显示，实现多种方式的导航信息呈现。


2.如权利要求1所述的智能超声多模态导航系统，其特征在于，导航信息的显示方式包括普通显示器、虚拟现实及增强现实多种方式。


3.一种智能超声多模态导航系统的导航方法，其特征在于，包括如下步骤：
(1)通过超声实时采集传输模块获取术中局部骨结构的二维超声图像序列，并通过超声图像位姿获取模块采集超声图像序列中每帧图像的三维位姿信息；
(2)通过自适应空时特征重标定的卷积神经网络实时分割二维超声图像序列中的骨结构，并利用步骤(1)获取的图像位姿信息，实现三维骨结构模型重建；
(3)通过基于三维关键结构分布信息的快速配准技术，实现术前术中骨结构快速融合，确保校正后的全局骨结构能体现术中信息；
(4)将步骤(3)获得的校正后的全局骨结构模型传输至导航信息多维显示模块，在不依赖术中X线辐射成像的情况下，提供实时三维术中导航信息。


4.如权利要求3所述的智能超声多模态导航系统的导航方法，其特征在于，步骤(2)中，通过自适应空时特征重标定的卷积神经网络实时识别分割二维超声图像中的骨结构，并利用步骤(1)获取的图像位姿信息，实现三维超声骨结构模型重建具体为：
将二维超声图像序列S＝[S1，S2，S3，…SN]逐帧通过全卷积神经网络FCN提取单帧高级语义特征，N为输入超声序列帧数，FCN由6个级联卷积操作构成，为了增大卷积层感受野，在第3个和第6个卷积层增加滑动步长以实现两次降采样操作，FCN＝{conv1_16，conv2_16，conv3_16，conv4_32，conv5_32，conv6_32，}，其中convi_j表示第i个卷积操作且i表示第i个卷积层输出的特征通道数，第n帧超声图像经全卷积网络FCN映射为32通道的特征张量Fn，且其尺寸为原图的四分之一Fn＝FCN(Sn)；
接下...

【专利技术属性】
技术研发人员：陈芳，万鹏，张道强，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏;32