内窥镜配准方法及装置和标定系统制造方法及图纸

本发明专利技术涉及内窥镜配准方法及装置和标定系统。所述配准方法包括：获取三维断层扫描影像，根据标识件在影像中的坐标得到棋盘格在影像中的位置，根据第一电磁传感器在电磁空间中的位姿得到棋盘格的位姿和影像相对于电磁空间的第一变换关系，对内窥镜进行标定得到内窥镜的相机坐标系相对于第二电磁传感器的坐标系的第二变换关系，根据第一及第二变换关系和第二电磁传感器在电磁空间中的位姿得到对应于内窥镜的虚拟相机在影像中的位姿、并结合棋盘格在影像中的位置得到虚拟视野，对真实和虚拟视野进行配准得到第三变换关系，根据第一、第二及第三变换关系得到虚拟相机在影像中的位姿相对于内窥镜拍照时第二电磁传感器在电磁空间中的位姿的变换关系。磁空间中的位姿的变换关系。磁空间中的位姿的变换关系。

【技术实现步骤摘要】
内窥镜配准方法及装置和标定系统


[0001]本专利技术涉及医疗器械
，尤其涉及一种内窥镜配准方法、一种内窥镜配准装置以及一种内窥镜标定系统。

技术介绍

[0002]现代的微创或无创手术中，一种常用的术中导航方法是基于电磁定位，具体包括：基于电磁定位得到当前时刻内窥镜的位姿，得到术前的三维医学影像中与当前时刻的内窥镜对应的虚拟相机拍摄到的虚拟视野，与当前时刻内窥镜拍摄到的真实视野叠加，实现术中导航。
[0003]通常电磁传感器和内窥镜的镜头都设置在送入人体内部的医疗器械的末端，且两者的位置关系相对固定。而在手术过程中，会采用电磁传感器反馈的位姿数据作为内窥镜位姿的依据。然而，因为内窥镜和电磁传感器之间存在相对位移和偏转，若直接利用电磁传感器的位姿数据进行定位会产生误差，导致内窥镜的实际位姿参数不准确，进而导致导航时内窥镜的真实视野和虚拟的三维影像不匹配，这种真实视野与虚拟的三维影像的不匹配可能会引发严重的医疗事故。
[0004]目前关于电磁传感器和内窥镜的标定主要是通过棋盘格作为媒介，内窥镜通过拍摄多帧图像，采集得到棋盘格的图像信息，而后利用张正友法求解出内窥镜的相机内外参数，得到棋盘格与内窥镜之间的坐标变换关系。电磁传感器依据棋盘格的网格尺寸大小和数目，构建棋盘格的电磁坐标系。同时，在内窥镜的拍摄过程中，固定在医疗器械末端的电磁传感器随着内窥镜同步运动，记录每帧图像下电磁传感器的坐标值，从而得到棋盘格与电磁传感器之间的坐标变换关系；最终求解得到电磁传感器与内窥镜之间的坐标变换关系，从而完成两者的标定流程。
[0005]但是这一标定过程只是确定了电磁传感器与内窥镜之间的坐标变换关系，而没有实现内窥镜的真实视野与虚拟视野的匹配。

技术实现思路

[0006]为克服现有技术存在的不足，本专利技术实施例提供一种内窥镜配准方法、一种内窥镜配准装置以及一种内窥镜标定系统。
[0007]具体地，本专利技术实施例提供的一种内窥镜配准方法，例如包括步骤：(a)获取包含棋盘格标定工具的三维断层扫描影像，所述棋盘格标定工具包括印有已知尺寸的棋盘格的标定板和多个在所述三维断层扫描影像中可识别的标识件，所述标定板上设有多个用于放置第一电磁传感器的第一安装件，所述棋盘格、所述标识件和所述第一安装件之间的相对位置已知；(b)根据所述标识件在所述三维断层扫描影像中的坐标得到所述棋盘格在所述三维断层扫描影像中的位置；(c)根据从电磁定位仪获取的所述第一电磁传感器在电磁空间中的位姿得到所述
棋盘格在所述电磁空间中的位姿以及所述三维断层扫描影像相对于所述电磁空间的第一变换关系，其中所述第一电磁传感器放置于所述第一安装件；(d)基于使用固定有第二电磁传感器的内窥镜在多个不同角度下分别对所述棋盘格标定工具进行拍照的结果对所述内窥镜进行标定，得到所述内窥镜的相机内参、以及所述内窥镜的相机坐标系相对于所述第二电磁传感器的坐标系的第二变换关系；(e)根据所述第一变换关系、所述第二变换关系、以及使用所述内窥镜拍照时从所述电磁定位仪获取的所述第二电磁传感器在所述电磁空间中的位姿得到对应于所述内窥镜的虚拟相机在所述三维断层扫描影像中的位姿，将所述虚拟相机的内参设置为所述内窥镜的相机内参，并结合所述棋盘格在所述三维断层扫描影像中的位置得到虚拟视野；(f)对真实视野和所述虚拟视野进行配准，得到所述虚拟视野相对于所述真实视野的第三变换关系，所述真实视野为使用所述内窥镜拍照得到的图像；以及，(g)根据所述第一变换关系、所述第二变换关系、所述第三变换关系得到所述虚拟相机在所述三维断层扫描影像中的位姿相对于所述内窥镜拍照时从所述电磁定位仪获取的所述第二电磁传感器在所述电磁空间中的位姿的变换关系。
[0008]在本专利技术的一个实施例中，所述三维断层扫描影像包含患者的手术部位。
[0009]在本专利技术的一个实施例中，根据所述标识件在所述三维断层扫描影像中的坐标得到所述棋盘格在所述三维断层扫描影像中的位置，具体包括：根据所述三维断层扫描影像结合阈值分割，提取所述标识件在所述三维断层扫描影像中的坐标；以及根据所述标识件在所述三维断层扫描影像中的坐标和所述棋盘格的每个网格的尺寸大小，得到所述棋盘格的多个网格角点在所述三维断层扫描影像中的坐标。
[0010]在本专利技术的一个实施例中，根据所述第一变换关系、所述第二变换关系、以及使用所述内窥镜拍照时从所述电磁定位仪获取的所述第二电磁传感器在所述电磁空间中的位姿得到对应于所述内窥镜的虚拟相机在所述三维断层扫描影像中的位姿，具体包括：根据以下公式计算虚拟相机在所述三维断层扫描影像中的位姿，。
[0011]其中，表示所述虚拟相机在所述三维断层扫描影像中的姿态、且表示所述虚拟相机在所述三维断层扫描影像中的位置，以共同定义所述虚拟相机在所述三维断层扫描影像中的位姿；表示所述第一变换关系，且、分别表示所述三维断层扫描影像相对于所述电磁空间的旋转矩阵和平移向量；表示所述第二变换关系，、分别表示所述相机坐标系相对于所述棋盘格在所述电磁空间中的位姿的旋转矩阵和平移向量，、分别表示所述棋盘格在所述电磁空间中的位姿相对于所述第二电磁传感器的坐标系的旋转矩阵和平移向量；表示所述第二电磁传感器在所述电磁空间中的姿态、且表示所述第二电磁传感器在所述电磁空间中的位置，以共同定义所述第二电磁传感器在所述电磁空间中的位姿。
[0012]在本专利技术的一个实施例中，对真实视野和所述虚拟视野进行配准，得到所述虚拟视野相对于所述真实视野的第三变换关系，具体包括：获取至少一对所述真实视野和所述虚拟视野的多对匹配像素点；以及基于对极几何约束条件和所述多对匹配像素点确定所述虚拟视野相对于所述真实视野的目标变换矩阵；所述对极几何约束条件包括以下公式：。
[0013]其中，、分别代表所述真实视野和所述虚拟视野的一对所述匹配像素点，K表示所述内窥镜的所述相机内参，、分别表示所述目标变换矩阵中的旋转矩阵和平移向量。
[0014]在本专利技术的一个实施例中，根据所述第一变换关系、所述第二变换关系、所述第三变换关系得到所述虚拟相机在所述三维断层扫描影像中的位姿相对于所述内窥镜拍照时从所述电磁定位仪获取的所述第二电磁传感器在所述电磁空间中的位姿之间的变换关系，具体包括：对所述目标变换矩阵取逆，得到目标逆变换矩阵；以及根据所述第一变换关系、所述第二变换关系、所述目标逆变换矩阵得到所述虚拟相机在所述三维断层扫描影像中的位姿相对于所述内窥镜拍照时从所述电磁定位仪获取的所述第二电磁传感器在所述电磁空间中的位姿之间的所述变换关系。
[0015]在本专利技术的一个实施例中，所述标识件分别固定设置在所述标定板的多个角落处。
[0016]在本专利技术的一个实施例中，所述第一安装件为分别形成在所述标定板的所述多个角落处的容置孔或夹具。
[0017]另一方面，本专利技术实施例提供的一种内窥镜配准装置，例如包括：处理器和连接所述处理器的存储器；其中所述存储器存储有被所述处理器执行的指令，且所述指令被所述处理器执行时实现行前述任一实施例所述的内窥镜配准方法。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种内窥镜配准方法，其特征在于，包括：获取包含棋盘格标定工具的三维断层扫描影像，所述棋盘格标定工具包括印有已知尺寸的棋盘格的标定板和多个在所述三维断层扫描影像中可识别的标识件，所述标定板上设有多个用于放置第一电磁传感器的第一安装件，所述棋盘格、所述标识件和所述第一安装件之间的相对位置已知；根据所述标识件在所述三维断层扫描影像中的坐标得到所述棋盘格在所述三维断层扫描影像中的位置；根据从电磁定位仪获取的所述第一电磁传感器在电磁空间中的位姿得到所述棋盘格在所述电磁空间中的位姿以及所述三维断层扫描影像相对于所述电磁空间的第一变换关系，其中所述第一电磁传感器放置于所述第一安装件；基于使用固定有第二电磁传感器的内窥镜在多个不同角度下分别对所述棋盘格标定工具进行拍照的结果对所述内窥镜进行标定，得到所述内窥镜的相机内参、以及所述内窥镜的相机坐标系相对于所述第二电磁传感器的坐标系的第二变换关系；根据所述第一变换关系、所述第二变换关系、以及使用所述内窥镜拍照时从所述电磁定位仪获取的所述第二电磁传感器在所述电磁空间中的位姿得到对应于所述内窥镜的虚拟相机在所述三维断层扫描影像中的位姿，将所述虚拟相机的内参设置为所述内窥镜的相机内参，并结合所述棋盘格在所述三维断层扫描影像中的位置得到虚拟视野；对真实视野和所述虚拟视野进行配准，得到所述虚拟视野相对于所述真实视野的第三变换关系，所述真实视野为使用所述内窥镜拍照得到的图像；根据所述第一变换关系、所述第二变换关系、所述第三变换关系得到所述虚拟相机在所述三维断层扫描影像中的位姿相对于所述内窥镜拍照时从所述电磁定位仪获取的所述第二电磁传感器在所述电磁空间中的位姿的变换关系。2.如权利要求1所述的内窥镜配准方法，其特征在于，所述三维断层扫描影像包含患者的手术部位。3.如权利要求1所述的内窥镜配准方法，其特征在于，根据所述标识件在所述三维断层扫描影像中的坐标得到所述棋盘格在所述三维断层扫描影像中的位置，具体包括：根据所述三维断层扫描影像结合阈值分割，提取所述标识件在所述三维断层扫描影像中的坐标；根据所述标识件在所述三维断层扫描影像中的坐标和所述棋盘格的每个网格的尺寸大小，得到所述棋盘格的多个网格角点在所述三维断层扫描影像中的坐标。4.如权利要求1所述的内窥镜配准方法，其特征在于，根据所述第一变换关系、所述第二变换关系、以及使用所述内窥镜拍照时从所述电磁定位仪获取的所述第二电磁传感器在所述电磁空间中的位姿得到对应于所述内窥镜的虚拟相机在所述三维断层扫描影像中的位姿，具体包括：根据以下公式计算虚拟相机在所述三维断层扫描影像中的位姿其中，表示所述虚拟相机在所述三维断层扫描影像中的姿态、且表示所述虚拟相机在所述三维断层扫描影像中的位

【专利技术属性】
技术研发人员：戴知宇，高元倩，
申请(专利权)人：深圳市精锋医疗科技股份有限公司，
类型：发明
国别省市：