2D-3D图像配准中的初始位姿估计方法技术

本发明专利技术公开了2D‑3D图像配准中的总体初始位姿估计方法，步骤为：识别原始正交平面图像，对包含多个目标的图像通过分割、赋值得到待配准正交图像；然后从扫描得到的包含待配准目标的原始三维数据中提取、赋值得到待配准目标体数据，通过相关数字重建影像将目标体数据投影生成原始空间位姿下的正交匹配模板。后续将正交匹配模板与待配准正交图像配准得到的平面配准参数通过正交投影原理转换为空间参数，再利用空间参数生成新的参照图与待配准图像重叠显示，根据正侧位重叠效果的不同进行人工校正，最后按人工校正对象得到的平面参数选择对应映射处理，即可实现空间5个参数的有效估计。采用本方法加快了配准效率，减少了初始位姿估计的误差。

【技术实现步骤摘要】
2D-3D图像配准中的初始位姿估计方法
本专利技术涉及初始位姿估计方法，尤其涉及2D-3D图像配准中的初始位姿估计方法。
技术介绍
2D-3D配准是利用计算机技术实现同一目标物体的二维平面图像数据与三维空间图像数据在空间位置和结构纹理上的对齐，完成二维像素平面和三维模型空间的统一，进而建立二者坐标的转换关系。大部分2D-3D配准是将三维体数据通过数字重建影像技术投影生成DRR图像，比较DRR图像与平面图像的相似性，再不断改变投影环境下三维体数据的六个空间参数，生成新的DRR图像继续与平面图像比较，直至某一位置下投影生成的DRR图像和平面图像间的相似性达到最大，此时得到的三维体数据的空间参数，就是在相同相机坐标系下生成2D平面图像所对应3D实体的三维位姿，当生成DRR图像的起始空间参数即初始位姿越接近3D实体的真实位姿，配准的成功率就越高，配准时间也越短。目前，对于初始位姿的估计通常有以下方法，如目标对象植入标记物、粘贴标记点和探针拾取点的方式，在配准前进行标记物的追踪获取初始位姿；或者通过成像设置，限制目标在成像设备下的位置(如正侧位、本文档来自技高网...

【技术保护点】
1.2D-3D图像配准中的总体初始位姿估计方法，其特征在于包括以下步骤：/n(1)识别原始正交双平面图像，所述的原始正交双平面图像包括原始正位图像和原始侧位图像，原始正位图像和原始侧位图像都是在同一相机坐标系下，拍摄角度相差90°生成的图像，相机正位光源到原始正位图像中点、相机侧位光源到原始侧位图像中点的距离都为s，同时相机正位光源与原始正位图像中点连线所在的直线为原始正位图像的法向量，相机侧位光源与原始侧位图像中点连线所在的直线为原始侧位图像的法向量；对原始正交双平面图像中含多目标的图像通过区域生长算法进行分割，提取原始正交双平面图像中需要进行配准的2D目标用于后续初始位姿估计；/n(2)采...

【技术特征摘要】
1.2D-3D图像配准中的总体初始位姿估计方法，其特征在于包括以下步骤：
(1)识别原始正交双平面图像，所述的原始正交双平面图像包括原始正位图像和原始侧位图像，原始正位图像和原始侧位图像都是在同一相机坐标系下，拍摄角度相差90°生成的图像，相机正位光源到原始正位图像中点、相机侧位光源到原始侧位图像中点的距离都为s，同时相机正位光源与原始正位图像中点连线所在的直线为原始正位图像的法向量，相机侧位光源与原始侧位图像中点连线所在的直线为原始侧位图像的法向量；对原始正交双平面图像中含多目标的图像通过区域生长算法进行分割，提取原始正交双平面图像中需要进行配准的2D目标用于后续初始位姿估计；
(2)采用图像处理软件Mimics从包含待配准目标实体的原始三维体数据中，提取与待配准正位图像以及待配准侧位图像中的2D待配准目标相对应的3D目标体数据，再通过MATLAB软件对提取的待配准目标的3D目标体数据进行格式转换和重采样处理，最后构建投影坐标系O-XYZ，通过正交投影获得与待配准正位图像分辨率大小和像素尺寸一致的原始空间位姿下的正位匹配模板，以及与待配准侧位图像分辨率大小和像素尺寸一致的原始空间位姿下的侧位匹配模板，所述的正位匹配模板和侧位匹配模板组成双平面匹配模板，所述原始空间位姿是指目标体数据在投影坐标系下沿X轴、Y轴和Z轴的移动参数和转动参数都为0时的空间位姿；
(3)利用归一化互相关作为相似性测度，分别实现待配准正位图像和正位匹配模板之间以及待配准侧位图像和侧位匹配模板之间的配准，得到正位和侧位的配准参数，具体步骤包括：
(3a)在待配准正位图像上建立正位配准坐标系o-uvw，所述的正位配准坐标系以待配准正位图像的中心点作为坐标系原点，水平轴为u轴，与正位像素坐标系x轴平行，垂直轴为v轴，与正位像素坐标系轴y平行，根据右手法则确定z轴为待配准正位图像的中心法向量，采用同样的方法在正位匹配模板上建立正位配准坐标系，将待配准正位图像和正位匹配模板进行配准，步骤为：
待配准正位图像作为固定图像，正位匹配模板图像作为移动图像，通过Powell优化搜索算法实现对固定图像平面三个参数的搜索，所述的三个参数包括沿正位配准坐标系下的u/v轴方向的两个平面移动参数和一个绕w轴的转动参数，当作为衡量图像间相似性的归一化互相关系数值最大时，待配准正位图像与正位匹配模板完成配准，此时的三个平面参数即为正位配准的参数；
(3b)重复步骤(3a)实现待配准侧位图像和侧位匹配模板的配准，得到三个侧位配准参数，正位配准参数和侧位配准参数构成了平面配准参数；
(4)根据步骤(2)中构建的投影坐标系，能够通过正交投影原理得到空间参数与平面参数的映射关系，然后将步骤(3)得到的平面配准参数转换为空间参数，实现对目标体数据在构建的投影坐标系下5个空间参数的初始位姿估计，所述的5个参数为目标体数据沿投影坐标系的X、Y、Z坐标轴的移动参数Tx、Ty、Tz以及绕X、Y坐标轴的转动参数Rx和Ry；
(5)利用步骤(4)得到的5个空间转换参数的估计值，再设置绕Z坐标轴转动参数Rz的值为0，即能够通过这6个空间参数生成正位参照图和侧位参照图，所述的正位参照图、待配准正位图像、侧位参照图以及待配准侧位图像具有相同的图像分辨率和像素尺寸；
(6)将待配准正位图像和正位参照图进行显示，当两张图像重叠效果好、图像间的差异小，不需要对步骤(3)得到的正位平面配准参数进行校正，执行步骤(8)；当两张图像重叠效果差、图像间的差异大，需要对步骤(3)得到的正位平面配准参数校正，执行下一步；
(7)通过MATLAB软件采用人机交互的方法实现待配准正位图像与正位匹配模板的重新配准，得到正位的新的平面配准参数；
(8)将待配准侧位图像和侧位参照图进行显示，重复步骤(6)若两张图像重叠效果好、图像间的差异小，则执行步骤(9)；否则重复步骤(7)，得到侧位的新的平面配准参数，然后再执行步骤(9)；
(9)根据正位平面配准参数和侧位平面配准参数是否需要进行人工校正的不同情形，分别进行以下操作：
若正位平面配准参数和侧位平面配准参数都不需要进行人工校正，则步骤(4)得到的估计值即为初始位姿估计参数；
若正位平面配准参数和侧位平面配准参数都需要进行人工校正，则将人工校正得到的正位和侧位的新的平面配准参数通过步骤(4)中的映射关系转换为空间参数，即得到人工校正后目标体数据在投影坐标系下5个参数的初始位姿估计；
若正位平面配准参数需要进行人工校正而侧位平面配准参数不需要进行人工校正，则将正位的新的平面配准参数代替步骤(3)中的正位平面配准参数，然后和侧位平面配准参数通过步骤(4)中的映射关系转换为空间参数，即得到人工校正后目标体数据在投影坐标系下5个参数的初始位姿估计；
若正位平面配准参数不需要进行人工校正而侧位平面配准参数需要进行人工校正，则将侧位的新的平面配准参数代替步骤(3)中的侧位平面配准参数，然后和正位平面配准参数通过步骤(4)中的映射关系转换为空间参数，即得到人工校正后目标体数据在投影坐标系下5个参数的初始位姿估计。


2.根据权利要求1所述的2D-3D图像配准中的总体初始位姿估计方法，其特征在于：采用MATLAB软件执行步骤(1)具体过程为：
(1a)采用人机交互的方法对原始正交双平面图像进行识别，如...

【专利技术属性】
技术研发人员：孙涛，郭可，刘传耙，宋轶民，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12