一种基于标记点的多视觉2D-3D图像非刚性配准方法及系统技术方案

本发明专利技术涉及图像处理领域，具体公开了一种基于标记点的多视觉2D

【技术实现步骤摘要】
一种基于标记点的多视觉2D
‑
3D图像非刚性配准方法及系统


[0001]本专利技术涉及图像处理领域，具体公开了一种基于标记点的多视觉2D
‑
3D图像非刚性配准方法及系统。

技术介绍

[0002]临床医学中的影像导航手术通常需要在术前获取3D人体病灶图像帮助医生了解病人病情和制定手术规划，同时还需要在术中获取2D人体图像一边引导医生在手术中实现跟踪和校正手术器械相对病人病灶的空间位置，手术的关键就在于准确的建立术前3D图像和术中2D图像之间的空间位置关系，即2D
‑
3D医学图像。
[0003]2D
‑
3D图像配准是指病人的术前拍摄的三维CT图像与术中拍摄的二维X
‑
ray图像进行配准，使配准后的三维CT图像尽量接近术中实际的人体姿态，使通过该配准后的CT图像进行重建得到的二维图像(digitally reconstructed radiographs，DRR)与X
‑
ray图像尽量相似。该技术主要应用于肺结节穿刺定位手术等。
...

【技术保护点】

【技术特征摘要】
1.一种基于标记点的多视觉2D
‑
3D图像非刚性配准方法，其特征在于，包括以下步骤：S1，获取目标对象的N个视觉下的二维DR图像，记作DR1、DR2、
…
、DR
N
，并通过相机标定算法得到各DR图像的内参和外参，对目标对象的三维CT图像进行重建得到N个二维DRR图像，记作DRR1、DRR2、
…
、DRR
N
；其中N为正整数；S2，将各DR图像和DRR图像分别输入神经网络，得到每个图像的K个二维标记点结果；S3，对于DR图像，将N个视觉下的神经网络输出的二维标记点坐标通过反向映射算法得到与人体对应的第一组三维标记点集同理对于DRR图像，得到与CT对应的第二组三维标记点集对应的第二组三维标记点集所述第一组三维标记点集与所述第二组三维标记点集分别一一对应形成K对匹配点；S4，通过最小化K对匹配点的点距离总和，拟合出刚性配准的变换矩阵，然后利用K对匹配点，通过基于控制点的插值法得到非刚性配准的位移场三维矩阵，最后通过迭代的方式优化该结果。2.如权利要求1所述的基于标记点的多视觉2D
‑
3D图像非刚性配准方法，其特征在于，所述S2具体包括：所述神经网络的输入为单个二维的DR图像或DRR图像，所述神经网络的输出为与输入尺寸相同的K个通道的概率图，单个概率图中的像素的值表示该像素是对应标记点的概率，取该概率图中的概率最大值对应的像素即为对应标记点的位置。3.如权利要求2所述的基于标记点的多视觉2D
‑
3D图像非刚性配准方法，其特征在于，所述神经网络为以Unet为基础的U型结构，所述U型结构的左侧编码器由四个残差模块(Residual Modules)和四个下采样交替组成，所述U型结构的右侧解码器由四个Residual Modules和四个上采样交替组成，并通过残差连接(skip
‑
connection)将所述主网络的编码器中部分较浅层的高分辨率特征与解码器中对应层的特征进行融合，以补充由下采样带来的细节损失，解码器最后一个Residual Modules后接一个通道数为K的卷积层，输出多通道概率图。4.如权利要求1所述的基于标记点的多视觉2D
‑
3D图像非刚性配准方法，其特征在于，所述S3具体包括：记第n个视觉的内参矩阵为Intri
n
，大小为3x3，其X射线源位置相对于第1个视觉的X射线源位置的偏移量为Offset
n
，大小为3x1，记矩阵，大小为3x1，记矩阵，大小为3x1，记矩阵为点的第1个维度的坐标值，为点的第2个维度的坐标值；
其中，A
k
为N个矩阵拼接组成，同理B
k
为N个矩阵拼接组成；则第k个三维标记点的坐标为：其中，为A
k
的广义逆矩阵；分别对DR图像和DRR图像的K个标记点作上述步骤，得到与人体对应的三维标记点集与CT对应的三维标记点集与CT对应的三维标记点集便得到了K对匹配点。5.如权利要求1所述的基于标记点的多视觉2D
‑
3D图像非刚性配准方法，其特征在于，所述S4具体包括：得到刚性配准的变换矩阵R和位移向量t后，基于此重新生成N个DRR图像，用神经网络预测二维标记点，反向映射得到三维标记点，与DR的三维标记点组成匹配点对进行非刚性配准。6.如权利要求5所述的基于标记点的多视觉2D
‑
3D图像非刚性配准方法，其特征在于，所述S4具体包括：初始化位移场三维矩阵为零矩阵，其大小与三维CT相同，对矩阵中属于CT的匹配点的像素赋值为与该点对应的属于目标对象的匹配点的物理坐标的差值；然后采用如下基于控制点的样条插值法得到位移场矩阵剩余像素点的值；B0(t)＝(1
‑
t)3/6B1(t)＝(3t3‑
6t2+4)/6B2(t)＝(
‑
3t3+3t2+3t+1)/6B3(t)＝t3/6其中(x,y,z)为位移场矩阵中某个已赋值的像素点在此新坐标系下的坐标...

【专利技术属性】
技术研发人员：李松峰，魏军，赖耀明，蒋斌，
申请(专利权)人：广州柏视数据科技有限公司，
类型：发明
国别省市：