一种三维模型的配准方法、医疗终端及装置制造方法及图纸

本申请提供一种三维模型的配准方法、医疗终端及装置，涉及图像配准领域。在根据术中目标部位的内窥镜图像对术前目标部位的初始三维模型进行刚性配准，得到参考三维模型后，可以确定参考三维模型对应的至少一个模型关键点，以及内窥镜图像对应的至少一个图像关键点，根据各个模型关键点的位置信息以及各个图像关键点的位置信息，确定每个模型关键点与对应的图像关键点之间的位移信息，并根据各个位移信息对参考三维模型对应的四面体网格执行形变操作，获得形变配准后的目标三维模型。从而可以使得获得的目标三维模型更能正确和合理地反映目标部位在手术中的显示形态，进而基于该目标三维模型可以更为精准地指导手术，提高手术的安全性。高手术的安全性。高手术的安全性。

【技术实现步骤摘要】
一种三维模型的配准方法、医疗终端及装置


[0001]本申请涉及图像配准领域，具体涉及一种三维模型的配准方法、医疗终端及装置。

技术介绍

[0002]内窥镜是集中了传统光学、人体工程学、精密机械、现代电子、数学以及软件等一体的检测仪器。它包括图像传感器、光学镜头、光源照明、机械装置等，可以经口腔进入胃内或经其他天然孔道和手术切口进入体内。在现代医学中，通过内窥镜可以看到X射线不能显示的病变。
[0003]增强现实技术可以将基于术前医学影像重建的模型数据与术中图像进行融合显示，使得医生能够直观的看到器官表面以下的解剖结构，有效解决深度感知信息与触觉反馈信息缺失的问题，使外科手术更快速、更精确、更安全。
[0004]但是，在手术过程中，由于病人的体位变化(重力因素)和各种手术操作，会导致手术部位发生比较大的形变，使得当前形态下的手术部位与术前拍摄的手术部位相比，形成了比较大的差异，所以使用术前对手术部位进行拍摄以及三维重建得到的三维模型无法精准地指导手术，从而导致手术的安全性较低。

技术实现思路

[0005]为解决现有存在的技术问题，本申请实施例提供一种三维模型的配准方法、医疗终端及装置，可以获得与术中手术部位更为匹配的目标三维模型，从而基于得到的目标三维模型可以更为精准地指导手术，提高手术的安全性。
[0006]第一方面，本申请实施例提供一种医疗终端，包括：
[0007]收发单元，用于接收术中内窥镜采集的目标部位的内窥镜图像；
[0008]存储器，用于存储术前对所述目标部位进行拍摄以及三维重建得到的初始三维模型；
[0009]处理器，用于根据所述内窥镜图像对所述初始三维模型进行刚性配准，得到刚性配准后的参考三维模型；确定所述参考三维模型对应的至少一个模型关键点，以及所述内窥镜图像对应的至少一个图像关键点；所述至少一个模型关键点为所述参考三维模型中所述目标部位对应的特征线上的部分点，所述至少一个图像关键点为所述内窥镜图像中所述目标部位对应的特征线上的部分点；根据各个模型关键点的位置信息以及各个图像关键点的位置信息，确定每一个模型关键点与对应的图像关键点之间的位移信息；根据确定出的各个位移信息对所述参考三维模型对应的四面体网格执行形变操作，获得形变配准后的目标三维模型。
[0010]本申请实施例提供的医疗终端，在获取到术前对目标部位进行拍摄以及三维重建得到的初始三维模型，和采集到术中目标部位的内窥镜图像后，可以根据内窥镜图像对初始三维模型进行刚性配准，得到刚性配准后的参考三维模型，并确定参考三维模型对应的至少一个模型关键点，以及内窥镜图像对应的至少一个图像关键点，其中，至少一个模型关
键点为参考三维模型中目标部位对应的特征线上的部分点，至少一个图像关键点为内窥镜图像中目标部位对应的特征线上的部分点，然后根据各个模型关键点的位置信息以及各个图像关键点的位置信息，确定每一个模型关键点与对应的图像关键点之间的位移信息，最后根据确定出的各个位移信息对参考三维模型对应的四面体网格执行形变操作，获得形变配准后的目标三维模型。由于可以根据刚性配准后的三维模型中的模型关键点与对应的内窥镜图像中的图像关键点之间的位移信息，对三维模型对应的四面体网格进行形变，得到与内窥镜图像形变配准的目标三维模型，从而可以使得获得的目标三维模型与内窥镜图像中显示的目标部位更为匹配，更能正确和合理地反映目标部位在手术过程中的显示形态，进而基于该目标三维模型可以更为精准地指导手术，提高手术的安全性。
[0011]在一种可选的实施例中，所述处理器具体用于：
[0012]将各个模型关键点和各个图像关键点投影至同一维度下的目标坐标系中；
[0013]根据各个模型关键点的位置信息以及各个图像关键点的位置信息，将所述至少一个模型关键点和所述至少一个图像关键点组成多个特征点组；其中每个特征点组中包含一个模型关键点和一个图像关键点，且一个特征点组中模型关键点对应的图像关键点是所述至少一个图像关键点中与所述模型关键点距离最近的图像关键点；
[0014]根据各个特征点组中模型关键点和图像关键点之间的位置信息的差值，生成协方差矩阵；并对所述协方差矩阵进行特征值分解得到变换矩阵，根据所述变换矩阵对所述各个模型关键点进行变换处理；
[0015]若变换处理后的各个模型关键点与对应的图像关键点之间的距离均值不大于预设的第一距离阈值，则根据所述多个特征点组确定每一个模型关键点对应的图像关键点；
[0016]若变换处理后的各个模型关键点与对应的图像关键点之间的距离均值大于预设的第一距离阈值，使用变换处理后的各个模型关键点替换所述多个特征点组中的模型关键点，并返回执行所述根据各个特征点组中模型关键点和图像关键点之间的位置信息的差值生成协方差矩阵的步骤。
[0017]上述医疗终端，在将各个模型关键点和各个图像关键点投影至同一维度下的目标坐标系中后，针对每一个图像关键点，可以分别确定出与图像关键点距离最近的模型关键点，并将该模型关键点和该图像关键点作为一个对应点对，根据各个对应点对确定对各个模型关键点进行变换的变换矩阵，在根据该变换矩阵对各个模型关键点进行变换得到变换后的各个模型关键点后，若变换后的各个模型关键点与对应的图像关键点之间的距离均值不大于设定阈值，则确定与每一个模型关键点相对应的图像关键点为与该模型关键点距离最近的图像关键点，否则，将各个模型关键点替换为变换后的各个模型关键点，并重复执行上述操作，直至变换后的各个模型关键点与对应的图像关键点之间的距离均值不大于设定阈值。从而对于每一个模型关键点，可以准确地确定出与该模型关键点相对应的图像关键点。
[0018]在一种可选的实施例中，所述处理器具体用于：
[0019]将所述至少一个模型关键点，分别映射到所述参考三维模型对应的四面体网格的网格顶点上，获得每一个模型关键点对应的模型网格顶点；
[0020]根据每一个模型关键点与对应的图像关键点之间的位移信息，将各个模型网格顶点移动至各自对应的图像关键点所在位置，并将各个模型网格顶点移动之后得到的三维模
型作为形变配准后的目标三维模型。
[0021]上述医疗终端，可以将至少一个模型关键点，分别映射到参考三维模型对应的四面体网格的网格顶点上，获得每一个模型关键点对应的模型网格顶点，并根据每一个模型关键点与对应的图像关键点之间的位移信息，将各个模型网格顶点移动至各自对应的图像关键点所在位置，并将各个模型网格顶点移动之后得到的三维模型作为形变配准后的目标三维模型。由于可以根据模型关键点与对应的图像关键点之间的位移信息，将四面体网格上相应的模型网格顶点移动到对应的图像关键点的位置，从而可以获得与内窥镜图像中显示的目标部位更为匹配的目标三维模型。
[0022]在一种可选的实施例中，所述位移信息包括距离信息和方向信息，所述处理器具体用于：
[0023]针对任意一个模型关键点对应的模型网格顶点分别执行以下操作：根据所述模型关键点与对应的图像关键点之间的距离信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种医疗终端，其特征在于，包括：收发单元，用于接收术中内窥镜采集的目标部位的内窥镜图像；存储器，用于存储术前对所述目标部位进行拍摄以及三维重建得到的初始三维模型；处理器，用于根据所述内窥镜图像对所述初始三维模型进行刚性配准，得到刚性配准后的参考三维模型；确定所述参考三维模型对应的至少一个模型关键点，以及所述内窥镜图像对应的至少一个图像关键点；所述至少一个模型关键点为所述参考三维模型中所述目标部位对应的特征线上的部分点，所述至少一个图像关键点为所述内窥镜图像中所述目标部位对应的特征线上的部分点；根据各个模型关键点的位置信息以及各个图像关键点的位置信息，确定每一个模型关键点与对应的图像关键点之间的位移信息；根据确定出的各个位移信息对所述参考三维模型对应的四面体网格执行形变操作，获得形变配准后的目标三维模型。2.根据权利要求1所述的医疗终端，其特征在于，所述处理器具体用于：将各个模型关键点和各个图像关键点投影至同一维度下的目标坐标系中；根据各个模型关键点的位置信息以及各个图像关键点的位置信息，将所述至少一个模型关键点和所述至少一个图像关键点组成多个特征点组；其中每个特征点组中包含一个模型关键点和一个图像关键点，且一个特征点组中模型关键点对应的图像关键点是所述至少一个图像关键点中与所述模型关键点距离最近的图像关键点；根据各个特征点组中模型关键点和图像关键点之间的位置信息的差值，生成协方差矩阵；并对所述协方差矩阵进行特征值分解得到变换矩阵，根据所述变换矩阵对所述各个模型关键点进行变换处理；若变换处理后的各个模型关键点与对应的图像关键点之间的距离均值不大于预设的第一距离阈值，则根据所述多个特征点组确定每一个模型关键点对应的图像关键点；若变换处理后的各个模型关键点与对应的图像关键点之间的距离均值大于预设的第一距离阈值，使用变换处理后的各个模型关键点替换所述多个特征点组中的模型关键点，并返回执行所述根据各个特征点组中模型关键点和图像关键点之间的位置信息的差值生成协方差矩阵的步骤。3.根据权利要求1所述的医疗终端，其特征在于，所述处理器具体用于：将所述至少一个模型关键点，分别映射到所述参考三维模型对应的四面体网格的网格顶点上，获得每一个模型关键点对应的模型网格顶点；根据每一个模型关键点与对应的图像关键点之间的位移信息，将各个模型网格顶点移动至各自对应的图像关键点所在位置，并将各个模型网格顶点移动之后得到的三维模型作为形变配准后的目标三维模型。4.根据权利要求3所述的医疗终端，其特征在于，所述位移信息包括距离信息和方向信息，所述处理器具体用于：针对任意一个模型关键点对应的模型网格顶点分别执行以下操作：根据所述模型关键点与对应的图像关键点之间的距离信息，确定本次对所述模型网格顶点进行移动的第一移动距离；并按照所述模型关键点与对应的图像关键点之间的方向信息，在设定时间步长内将所述模型网格顶点移动所述第一移动距离；若移动后的各个模型网格顶点与对应的图像关键点之间的距离之和不大于预设的第
二距离阈值，则确定将各个模型网格顶点移动至各自对应的图像关键点所在位置。5.根据权利要求4所述的医疗终端，其特征在于，所述处理器还用于：若移动后的各个模型网格顶点与对应的图像关键点之间的距离之和大于预设的第二距离阈值，则将所述移动后的各个模型网格顶点作为各个目标模型网格顶点，并针对任意一个目标模型网格顶点分别执行以下操作：根据所述模型关键点与对应的图像关键点之间的距离信息，和所述第一移动距离，确定本次对所述目标模型网格顶点进行移动的第二移动距离；按照所述图像关键点与对应的模型关键点之间的方向信息，在设定时间步长内将所述目标模型网格顶点移动所述第二移动距离，直到移动后的各个目标模型网格顶点与对应的图像关键点之间的距离之和不大于预设的第二...

【专利技术属性】
技术研发人员：吴乙荣，李南哲，郭元甫，段小明，李其花，陈永健，
申请(专利权)人：青岛海信医疗设备股份有限公司，
类型：发明
国别省市：