手术穿刺路径智能自动化规划方法及系统和医疗系统技术方案

本发明专利技术提供能够快速确定手术穿刺路径及入针点位置、可供脑立体定位仪或医疗机械臂实现自动穿刺手术操作的基于机器学习的手术穿刺路径智能自动化规划方法及系统和医疗系统。本发明专利技术的规划方法包括：步骤(1)，获取现有病例的样本图像数据，制作训练数据及测试数据；步骤(2)，设计三维分割深度神经网络模型，并对其进行训练；步骤(3)，利用训练完成的三维分割深度神经网络模型对患者的样本图像数据进行分割、识别；步骤(4)，基于分割识别结果和样本图像数据，构建三维模型；步骤(5)，基于靶点位置及医学先验信息，确定安全进针约束区域；和步骤(6)，在安全进针约束区域内，利用三维空间轨迹规划算法，完成手术穿刺路径规划。

Intelligent automatic planning method and system of surgical puncture path and medical system

【技术实现步骤摘要】
手术穿刺路径智能自动化规划方法及系统和医疗系统
本专利技术属于人工智能与医疗自动化
，涉及基于机器学习的手术穿刺路径智能自动化规划方法及手术穿刺路径智能自动化规划系统、和包括该手术穿刺路径智能自动化规划系统的医疗系统，本专利技术能够用于医疗手术穿刺机器人或无创式手术3D自动定位导航平台。
技术介绍
在外科穿刺手术(穿刺活检、定向血肿抽吸、定向植入等)中，医生进行穿刺路径规划时需要在手术导航软件上反复查看计算机断层扫描(CT)图像或核磁共振成像(MRI)图像，通过在患者头部或腹胸腔部等的横断面、矢状面、冠状面视图中不断调整穿刺针轨迹来完成手术规划。在这个过程中，医生需要花费大量时间来确保靶点准确和调整合适的穿刺路径以避开重要组织，这不仅要求医生临床经验丰富，熟练手术导航软件，而且增加了手术时间和医生工作量，长时间的人工操作还容易造成医生的视觉与体力疲劳，不利于手术的顺利进行，同时造成了潜在的医疗安全隐患。随着机器学习在各个领域的应用发展，将机器学习运用于医疗领域具有很大的发展潜力，过往有研究通过机器学习的方法对组织图像进行分割、识别，判断病变部位和种类来辅助医生完成医疗诊断等，但借助机器学习的方法获取脑部或腹胸腔部图像以及靶区组织(病灶、血肿、特定组织等)的相应特征，从而自动规划穿刺路径、用于穿刺手术的研究未有报道。《中国微侵袭神经外科杂志》2017年2月20日第22卷第2期p.49-50报道了一种“功能神经外科精准时代的助推器——ROSA手术机器人”，采用一种无标记点的激光自动注册和配准方式来实现术中激光定向与定位功能，同时带有强大的影像处理功能，可将病人多种影像资料(如CTA、MRA等)进行高质量融合，形成三维图像，进而根据靶点核团或血肿形态、颅内血管走行等设计个性化手术路径；医生提前设定好手术靶点和手术路径后，机械臂可自行定位和穿刺。该机器人系统可适用于神经内镜手术并可术中实时导航，极大地增加神经外科手术精准度和安全性，且操作简易，应用范围广，减少围手术期并发症。但该机器人系统庞大复杂，造价昂贵，一套机器人系统需要耗资上千万，并且应用范围不够广泛，由于需要脑深部电刺激(DBS)植入，故只能用于神经外科领域，无法推广至胸、腹部外科手术等其他应用场合。CN107669342A(申请号：CN201711068286.7)公开了“一种具有精确定位效果的手术机器人”，主要用于心脏外科和前列腺切除术，通过红外感应器和深度感应器的配合使用，可以检测到人体的红外线从而通过控制器控制驱动器的运转，通过控制器控制驱动器能够带动手术刀进行手术工作，具有精确定位效果，能大大提高对患者的手术效果。然而机器人缺乏一套完善可靠的术前手术计划系统，智能化程度不够高。CN104083217A(申请号：CN201410314667.9)公开了“一种手术定位装置和方法以及机器人手术系统”，该手术定位装置包括定位标尺、上位机和至少六自由度的串联机械臂，上位机与串联机械臂连接，定位标尺包括透X光的两相对面，两相对面通过透X光的连接面固定连接，两相对面上均设置有一组标记，每组标记包括至少四个不在一条直线上的标记点，标记点为不透X光的部件；任一相对面或连接面固定连接标尺柄，标尺柄通过接口与串联机械臂末端连接；上位机通过控制串联机械臂的运动来调整定位标尺的位置以进行透射角度的变换，并根据采集的图像中的标记点进行空间定位计算，得到规划路径。该装置能够实现任意角度的透视定位，并能消除计算手术路径时引起的系统误差，增大工作空间，提高手术定位精度。但该装置的手术路径规划及定位系统比较复杂繁琐，且缺乏一定的力和位置检测反馈系统，无法获得针对患者要害区域和关键器官部位的准确分割识别结果以及安全进针约束区域，规划效率不够高。CN106236258A(申请号：CN201610681311.8)公开了一种“腹腔微创手术穿刺路径的规划方法及装置”，通过超声单元实时捕获腹腔中病灶脏器生成超声图像；根据实时捕获的所述超声图像确定腹腔中病灶脏器的动态变化；以及根据所述病灶脏器的动态变化，对预先规划的穿刺路径进行微调，以使微调后的穿刺路径仅针对所述病灶脏器而避开除所述病灶脏器外的敏感器官。该规划方法实现了对穿刺路径的微调，使得微调后的穿刺路径准确地对准病灶脏器上的靶点，从而降低了手术方案的制定难度。但该规划方法仍属于传统领域的影像特征识别方法，不具备人工智能因素，识别精确度与操作智能化程度有限。
技术实现思路
专利技术要解决的技术问题本专利技术是为避免上述现有技术所存在不足之处，提供一种智能化程度高、规划效率高、定位精度高、安全性好、性价比高的基于机器学习的手术穿刺路径智能自动化规划方法、手术穿刺路径智能自动化规划系统、和包括该手术穿刺路径智能自动化规划系统的医疗系统，其能够用于医疗手术穿刺机器人或无创式手术3D自动定位导航平台。用于解决技术问题的手段为解决上述技术问题，本专利技术提供一种基于机器学习的手术穿刺路径智能自动化规划方法，其包括以下步骤(1)～(6)。步骤(1)，获取多个现有病例中的与待手术患者病灶所在区域相同的区域的样本图像数据，对该样本图像数据进行预处理，在经预处理后的该样本图像数据所表示的图像中标注重要血管、神经和关键组织、器官以及进针约束区域，制作训练数据及测试数据。所述现有病例的数量例如可以为50例以上。所述样本图像数据例如可以为计算机断层扫描(CT)数据和核磁共振成像(MRI)数据中的至少一者。在所述预处理中，对所述样本图像数据进行例如偏置场校正(biasfieldcorrection)、灰度均衡化等预处理。磁共振成像系统常常由于磁场的变化导致同一组织内扫描图像亮度的不均匀性，这一现象称为偏置场。偏置场的存在对后续的组织器官的分割将产生重要影响，因此，需要对所获取的磁共振图像统计偏移值，使用例如插值算法，进行偏置场校正处理。灰度均衡化是指通过拉伸像素强度分布范围来增强图像对比度的处理。灰度均衡化的方法例如为直方图均衡化，通过统计图像的灰度直方图，调整图像灰度级动态范围，用于提高计算机断层扫描(CT)数据和核磁共振成像(MRI)数据的对比度。图像中的重要血管、神经和关键组织、器官的标注可以是人工进行，也可以是由专业软件进行，还可以是由专业软件标注后再人工进行修正。步骤(2)，基于聚类的思想，构造三维分割深度神经网络损失函数，并设计三维分割深度神经网络结构，以步骤(1)中标注的多模态数据作为训练数据输入该三维分割深度神经网络进行深度学习，训练得到三维分割深度神经网络模型。步骤(2)中的聚类是指将多个对象的集合分成由类似的对象组成的多个类别的过程，通过聚类生成的一组对象的集合称为簇，同一个簇中的对象彼此相似、且与其它簇中的对象相异，某一类别特征的中心称为质心即簇心，在步骤(2)中基于聚类的思想构造所述三维分割深度神经网络损失函数时，使得在特征空间，同一类别的特征与其类内质心距离尽可能小，与不同类别的质心距离尽可能大，步骤(2)中构造的所述三维分割深度神经网络损失函数包括本文档来自技高网...

【技术保护点】
1.一种基于机器学习的手术穿刺路径智能自动化规划方法，其特征在于，包括：/n步骤(1)，获取多个现有病例中的与待手术患者病灶所在区域相同的区域的样本图像数据，对该样本图像数据进行预处理，在经预处理后的该样本图像数据所表示的图像中标注重要血管、神经和关键组织、器官以及进针约束区域，制作训练数据及测试数据；/n步骤(2)，基于聚类的思想，构造三维分割深度神经网络损失函数，并设计三维分割深度神经网络结构，以步骤(1)中标注的多模态数据作为训练数据输入该三维分割深度神经网络进行深度学习，训练得到三维分割深度神经网络模型；/n步骤(3)，获取所述待手术患者的所述病灶所在区域的样本图像数据，对该样本图像数据进行预处理，将经预处理后的该样本图像数据作为输入数据放入步骤(2)中训练完成的所述三维分割深度神经网络模型，利用所述三维分割深度神经网络模型对潜在穿刺路径周围重要血管、神经和关键组织、器官进行分割、识别，得到重要血管、神经和关键组织、器官的分割识别结果；/n步骤(4)，基于步骤(3)中得到的所述分割识别结果和步骤(3)中获取的所述样本图像数据，对所述待手术患者的所述样本图像数据中的重要血管、神经和关键组织、器官以及靶点组织进行三维重构，构建人体局部三维模型；/n步骤(5)，将步骤(1)中在所述多个现有病例中标注的所述进针约束区域的样本图像数据作为深度学习目标检测算法的训练数据，训练得到用于进针区域检测的深度神经网络模型，使用该深度神经网络模型，基于给定的靶点位置及医学先验信息，确定符合医学要求的进针约束区域即安全进针约束区域；和/n步骤(6)，在步骤(5)中确定的所述安全进针约束区域内，以需要避开的血管、神经、组织、器官作为障碍物，使用三维空间轨迹规划算法得到最佳穿刺点及穿刺路径，基于穿刺视角对手术规划路径进行三维验证并就穿刺过程进行三维模拟，完成手术穿刺路径规划。/n...

【技术特征摘要】
1.一种基于机器学习的手术穿刺路径智能自动化规划方法，其特征在于，包括：
步骤(1)，获取多个现有病例中的与待手术患者病灶所在区域相同的区域的样本图像数据，对该样本图像数据进行预处理，在经预处理后的该样本图像数据所表示的图像中标注重要血管、神经和关键组织、器官以及进针约束区域，制作训练数据及测试数据；
步骤(2)，基于聚类的思想，构造三维分割深度神经网络损失函数，并设计三维分割深度神经网络结构，以步骤(1)中标注的多模态数据作为训练数据输入该三维分割深度神经网络进行深度学习，训练得到三维分割深度神经网络模型；
步骤(3)，获取所述待手术患者的所述病灶所在区域的样本图像数据，对该样本图像数据进行预处理，将经预处理后的该样本图像数据作为输入数据放入步骤(2)中训练完成的所述三维分割深度神经网络模型，利用所述三维分割深度神经网络模型对潜在穿刺路径周围重要血管、神经和关键组织、器官进行分割、识别，得到重要血管、神经和关键组织、器官的分割识别结果；
步骤(4)，基于步骤(3)中得到的所述分割识别结果和步骤(3)中获取的所述样本图像数据，对所述待手术患者的所述样本图像数据中的重要血管、神经和关键组织、器官以及靶点组织进行三维重构，构建人体局部三维模型；
步骤(5)，将步骤(1)中在所述多个现有病例中标注的所述进针约束区域的样本图像数据作为深度学习目标检测算法的训练数据，训练得到用于进针区域检测的深度神经网络模型，使用该深度神经网络模型，基于给定的靶点位置及医学先验信息，确定符合医学要求的进针约束区域即安全进针约束区域；和
步骤(6)，在步骤(5)中确定的所述安全进针约束区域内，以需要避开的血管、神经、组织、器官作为障碍物，使用三维空间轨迹规划算法得到最佳穿刺点及穿刺路径，基于穿刺视角对手术规划路径进行三维验证并就穿刺过程进行三维模拟，完成手术穿刺路径规划。


2.根据权利要求1所述的基于机器学习的手术穿刺路径智能自动化规划方法，其特征在于：
所述样本图像数据是计算机断层扫描数据和核磁共振成像数据，
所述多模态数据是计算机断层扫描数据和核磁共振成像数据。


3.根据权利要求1所述的基于机器学习的手术穿刺路径智能自动化规划方法，其特征在于：
所述现有病例的数量为50以上。


4.根据权利要求1所述的基于机器学习的手术穿刺路径智能自动化规划方法，其特征在于：
在所述预处理中，对所述样本图像数据进行偏置场校正处理和灰度均衡化处理。


5.根据权利要求1所述的基于机器学习的手术穿刺路径智能自动化规划方法，其特征在于：
步骤(2)中的聚类是指将多个对象的集合分成由类似的对象组成的多个类别的过程，通过聚类生成的一组对象的集合称为簇，同一个簇中的对象彼此相似、且与其它簇中的对象相异，某一类别特征的中心称为质心即簇心，
在步骤(2)中基于聚类的思想构造所述三维分割深度神经网络损失函数时，使得在特征空间，同一类别的特征与其类内质心距离尽可能小，与不同类别的质心距离尽可能大，
步骤(2)中构造的所述三维分割深度神经网络损失函数包括下述三个部分：
(1)方差项Lvar，其用于在特征空间使同一类别的数据向其簇心聚集的拉力；
(2)距离项Ldist，其用于在特征空间使不同类别的簇心之间相互远离的斥力；和
(3)正则化项Lreg，其用于在特征空间使所有的簇心向原点的拉力，
设当同一类别的数据距离其簇心的距离小于阈值δv时，方差项Lvar产生的拉力将不再产生作用，
设当两个不同类别簇心之间的距离大于阈值2δd时，距离项Ldist产生的斥力将不再产生作用，
设步骤(2)中使用的所述训练数据的类别数为C，第c类含有的元素个数为Nc，xi为第c类中的元素，μc为第c类的簇心，||·||表示L2距离即定义[x]+＝max(0，x)时，方差项Lvar、距离项Ldist和正则化项Lreg分别由下述式子表示：









其中，1≤c≤C，1≤i≤Nc，表示类别A的簇心，表示类别B的簇心，
所述三维分割深度神经网络损失函数由下述的L表示：
L＝α·Lvar+β·Ldist+γ·Lreg
其中，α、β、γ为权重项，0≤α≤10，0≤β≤10，0≤γ≤1。


6.根据权利要求5所述的基于机器学习的手术穿刺路径智能自动化规划方法，其特征在于：
α＝1，β＝1，γ＝0.001。


7.根据权利要求1所述的基于机器学习的手术穿刺路径智能自动化规划方法，其特征在于：
步骤(2)中的所述三维分割深度神经网络为改进的3DV-Net网络，3DV-Net使用三维卷积，将所述训练数据和测试数据作为输入数据，经过多次交替卷积、下采样操作，再经过相同次数的交替卷积、上采样操作，得到预测结果，用于分割血管、神经、组织、器官，
步骤(5)中用于进针区域检测的所述深度学习目标检测算法为Faster-RCNN算法，所述Faster-RCNN算法以计算机断层扫描数据或者核磁共振成像数据的2D切片作为输入数据，用于检测进针区域。


8.根据权利要求1所述的基于机器学习的手术穿刺路径智能自动化规划方法，其特征在于：
在步骤(6)中，以需要避开的血管、神经、组织、器官作为障碍物，以图像坐标系原点作为世界坐标系原点，将图像坐标乘以像素的物理间距，沿图像坐标系xyz方向构建世界坐标系XYZ，在世界坐标系下，靶点位置为(X0，Y0，Z0)，在所述安全进针约束区域与靶点构成的锥形区域内，规划穿刺路径，使得穿刺针离所有障碍物的最小距离尽可能大，且穿刺路径尽可能短，即使得目标优化函数取值最小，
设核磁共振成像的每一层之间的物理间距为dmm，则靶点往上第k层序列距离为kd，穿刺针在第k层的坐标为(Xk，Yk，Zk)，穿刺针运动学方程如下：






Zk＝kd+Z0



其中，θ和为球坐标系下的天顶角和方位角，r表示(Xk，Yk，Zk)到靶点的距离，穿刺针路径的目标优化函数如下：



其中，Dk表示核磁共振成像序列图像每一层穿刺位置与障碍物之间的最小距离，n表示入针点至靶点核磁共振成像序列的层数，(Xn，Yn，Zn)为在所述安全进针约束区域的入针点位置坐标，a、b为权重参数，a+b＝1，0＜a＜1，0＜b＜1，
在锥形约束区域内，通过遍历迭代寻优，调整球坐标系下的天顶角θ和方位角直至目标优化函数取值最小即得到最佳穿刺点及穿刺路径。


9.一种基于机器学习的手术穿刺路径智能自动化规划系统，其特征在于，包括：
训练数据及测试数据制作模块，其获取多个现有病例中的与待手术患者病灶所在区域相同...

【专利技术属性】
技术研发人员：宋博，牛朝诗，张强，熊赤，蔡斌，阚宏林，
申请(专利权)人：中国科学院合肥物质科学研究院，中国科学技术大学附属第一医院，
类型：发明
国别省市：安徽;34