一种用于临床治疗与检测的视觉跟随装置及其方法制造方法及图纸

本发明专利技术公开了一种用于临床治疗与检测的视觉跟随装置及其方法，其属于计算机视觉和医疗器械技术领域。所述视觉跟随装置包括图像采集模块、手眼标定模块、中央处理器模块、执行模块、头部运动部分；该视觉跟随装置是采用单目摄像机拍摄贴于头部侧面的AprilTag标签，通过AprilTag标签算法，结合手眼标定在ros机器人操作系统上得出头部扫描部分相对于串联多关节协作机械手基座的位姿变换矩阵。最后利用逆运动学规划控制串联多关节协作机械手运动到头部扫描部分，进而使扫描仪跟随头部运动。本发明专利技术可以应用于临床医疗领域，有助于改善医疗仪器的人机交互能力。

A visual following device and method for clinical treatment and detection

【技术实现步骤摘要】
一种用于临床治疗与检测的视觉跟随装置及其方法
本专利技术属于计算机视觉和医疗器械
，具体涉及一种用于临床治疗与检测的视觉跟随装置及其方法。
技术介绍
随着临床应用复杂程度的增加，以及影像技术、计算机图形学技术、虚拟现实技术、机器人技术的发展，医用扫描仪集成的功能越来越多，自动化程度也在不断提升，进而产生了一批新式医用扫描仪。不同于传统的医疗器械，新式医用扫描仪可以在无人干预的情况下，借助机器视觉计算出病人头部运动的变化，然后控制搭载有扫描仪的机械手同步跟随头部运动。当前已有的用于医疗器械视觉跟随的方法有：1、基于通信电路的方法。李劲生等的专利技术专利CN102599925A公开了一种悬吊式X射线机的自动跟随控制装置，包括被跟随方(胸片夹机构)的运动控制装置和跟随方(球管)的运动控制装置。自动跟随两方中的电机控制电路相互独立，并通过通信电路连接，两方的电机控制电路独立控制自身的电机运转，并经由通信电路实时交换信息，由电机控制电路中的软件处理后，做出跟随动作。但是自动跟随只能发生在上升和下降两个运动方向上。2、基于运动传感器的方法。李劲生等的专利技术专利CN104287752A公开了一种用于移动式X射线机的运动控制方法和装置。以现有的磁敏霍尔传感器和配套电路作为传感器单元，以单片机为核心作为数据处理单元，以DSP为控制核心的双向可逆直流电机驱动技术作为电机驱动单元组成一种移动式X射线机的电动控制装置，可满足各种临床应用要求。但是磁敏传感器在医疗环境下磁场干扰大，且双电机的运动控制同样存在运动局限性。
技术实现思路
本专利技术的目的在于提供一种用于临床治疗与检测的视觉跟随装置及其方法，以解决现有技术中存在的上述问题。本专利技术提供了一种利用AprilTag算法，结合单目摄像头和AprilTag标签来检测头部运动，然后控制串联多关节协作机械手(以下简称机械手)跟随运动，进而控制扫描仪的运动，从而达到跟随头部扫描的效果。具体地，本专利技术提供的用于临床治疗与检测的视觉跟随装置采用单目摄像机拍摄贴于受试者头部侧面的AprilTag标签，AprilTag标签随头部一起运动，进而通过AprilTag算法得出AprilTag标签相对于单目摄相机的变换矩阵P1。然后通过手眼标定的方式得出获得单目摄相机相对于机械手基座的变换矩阵T1，通过ros机器人操作系统上的关节树，获得机械手基座到其末端扫描仪的变换矩阵P2。通过ros机器人操作系统上的扫描程序设定AprilTag标签相对于扫描仪的变换矩阵T2。其中，由于单目摄像机和机械手基座位置固定不变，T1为固定矩阵。通过扫描程序控制扫描仪到AprilTag标签相对位置不变，T2为固定矩阵。通过矩阵变换关系得到，T2＝P1*T1*P2。当头部运动时，引起P1变化，由于T1，T2不变，当扫描仪检测到这种变化后，发送至处理终端，经过ros机器人操作系统得出新的P2，然后通过ros机器人操作系统上的逆运动学规划控制机械运动，带动机械手末端的扫描仪运动，如此反复，达到视觉跟随的效果。本专利技术的技术方案是：一种用于临床治疗与检测的视觉跟随装置，所述的用于临床治疗与检测的视觉跟随装置包括图像采集模块、手眼标定模块、中央处理器模块、执行模块、头部运动部分；其中：所述的图像采集模块包括单目摄像机3和支架4，所述的单目摄像机3固定在支架4上，用于采集AprilTag标签1的图像，以将实时采集的图像传送给中央处理器模块；所述的手眼标定模块包括AprilTag标签1，AprilTag标签1固定于受试者2的头部侧面，以代表头部的运动；所述的执行模块包括机械手6和扫描仪5；所述的扫描仪5安装在机械手6的末端，机械手6用于带动其末端的扫描仪5运动；所述的中央处理器模块包括计算机9，所述的单目摄像机3与计算机9连接，计算机9接收单目摄像机3采集的AprilTag标签1的图像，以计算AprilTag标签1相对于单目摄像机3的变换矩阵，进而得出AprilTag标签1相对于机械手6的变换矩阵；同时，所述的计算机9与机械手6连接，将AprilTag标签1相对于机械手6的基座的变换矩阵，传送给机械手6，以控制机械手6的运动；计算机9搭载有扫描程序，以控制扫描仪5到AprilTag标签1相对位置不变；所述的头部运动部分，作为一个实时的反馈环节，通过头部运动，带动贴于受试者2头部侧面AprilTag标签1运动，实现闭环反馈、视觉跟随。另一方面，本专利技术提供了一种用于临床治疗与检测的视觉跟随方法，所述的用于临床治疗与检测的视觉跟随方法包括以下步骤：步骤1、选取AprilTag标签1，贴于受试者2的头部侧面扫描区域；步骤2、打开计算机9，运行单目摄像机3的启动程序及AprilTag算法程序；步骤3、通过单目摄像机3采集贴于受试者2的头部侧面的AprilTag标签1图像，传送到计算机9；步骤4、利用计算机9上ros机器人操作系统上运行AprilTag算法得出AprilTag标签1相对于单目摄像机3的变换矩阵P1；步骤5、计算机9连接机械手6，通过手眼标定得出单目摄相机3相对于机械手6的基座的变换矩阵T1；步骤6、运行机械手6的moveit启动程序，通过ros机器人操作系统上发布的机械手6关节树，读取各个关节的变换矩阵，进而得出机械手6的基座到其末端扫描仪5的变换矩阵P2，并进行存储；步骤7、运行扫描程序，通过ros操作系统上的扫描程序设定AprilTag标签1相对于扫描仪5的变换矩阵T2，变换矩阵T2为固定矩阵；步骤8、通过矩阵变换关系得到，T2＝P1*T1*P2，当受试者2头部运动，AprilTag标签1产生相对运动，引起变换矩阵P1变化，由于变换矩阵T1，变换矩阵T2不变，当扫描仪5检测到变化后，发送至中央处理器模块，经过ros机器人操作系统得出新的变换矩阵P2，表现为自动根据逆运动学求解得出机械手6的基座到扫描仪5之间各个关节角度的自适应变化，此时扫描仪5与AprilTag标签1达到稳态平衡，实现扫描仪5对头部运动的跟随；其中：变换矩阵P1、变换矩阵P2、变换矩阵T1和变换矩阵T2表示为：根据一个中心位于参考坐标系原点的坐标系由三个向量表示，通常这三个向量相互垂直，称为单位向量n、o、a。每个单位向量都由它们所在参考坐标系中的在x、y、z轴的三个分量表示。式中向量(nx、ox、ax)、(ny、oy、ay)、(nz、oz、az)分别代表了在x、y、z轴的分量，并组成3×3矩阵，以表示姿态；P表示位置向量，分解成在x、y、z轴的位置分量分别用Px、Py、Pz表示，进而Px、Py、Pz表示相应的位置，即相对于参考坐标系原点坐标的位移。进一步地，在步骤4中，将步骤3中采集的AprilTag标签1的图像读入视频识别视频每一帧中制定AprilTag标签1的图像，将彩色图变灰度图进行预处理；之后通过高斯滤波模糊图像，平滑噪声；然后计算梯度，包含梯度的方向和幅值；其中，选取幅值M大于阈本文档来自技高网...

【技术保护点】
1.一种用于临床治疗与检测的视觉跟随装置，其特征在于，所述的用于临床治疗与检测的视觉跟随装置包括图像采集模块、手眼标定模块、中央处理器模块、执行模块、头部运动部分；其中：/n所述的图像采集模块包括单目摄像机(3)和支架(4)，所述的单目摄像机(3)固定在支架(4)上，用于采集AprilTag标签(1)的图像，以将实时采集的图像传送给中央处理器模块；/n所述的手眼标定模块包括AprilTag标签(1)，AprilTag标签(1)固定于受试者(2)的头部侧面，以代表头部的运动；/n所述的执行模块包括机械手(6)和扫描仪(5)；所述的扫描仪(5)安装在机械手(6)的末端，机械手(6)用于带动其末端的扫描仪(5)运动；/n所述的中央处理器模块包括计算机(9)，所述的单目摄像机(3)与计算机(9)连接，计算机(9)接收单目摄像机(3)采集的AprilTag标签(1)的图像，以计算AprilTag标签(1)相对于单目摄像机(3)的变换矩阵，进而得出AprilTag标签(1)相对于机械手(6)的变换矩阵；同时，所述的计算机(9)与机械手(6)连接，将AprilTag标签(1)相对于机械手(6)的基座的变换矩阵，传送给机械手(6)，以控制机械手(6)的运动；计算机(9)搭载有扫描程序，以控制扫描仪(5)到AprilTag标签(1)相对位置不变；/n所述的头部运动部分，作为一个实时的反馈环节，通过头部运动，带动贴于受试者(2)头部侧面AprilTag标签(1)运动，实现闭环反馈、视觉跟随。/n...

【技术特征摘要】
1.一种用于临床治疗与检测的视觉跟随装置，其特征在于，所述的用于临床治疗与检测的视觉跟随装置包括图像采集模块、手眼标定模块、中央处理器模块、执行模块、头部运动部分；其中：
所述的图像采集模块包括单目摄像机(3)和支架(4)，所述的单目摄像机(3)固定在支架(4)上，用于采集AprilTag标签(1)的图像，以将实时采集的图像传送给中央处理器模块；
所述的手眼标定模块包括AprilTag标签(1)，AprilTag标签(1)固定于受试者(2)的头部侧面，以代表头部的运动；
所述的执行模块包括机械手(6)和扫描仪(5)；所述的扫描仪(5)安装在机械手(6)的末端，机械手(6)用于带动其末端的扫描仪(5)运动；
所述的中央处理器模块包括计算机(9)，所述的单目摄像机(3)与计算机(9)连接，计算机(9)接收单目摄像机(3)采集的AprilTag标签(1)的图像，以计算AprilTag标签(1)相对于单目摄像机(3)的变换矩阵，进而得出AprilTag标签(1)相对于机械手(6)的变换矩阵；同时，所述的计算机(9)与机械手(6)连接，将AprilTag标签(1)相对于机械手(6)的基座的变换矩阵，传送给机械手(6)，以控制机械手(6)的运动；计算机(9)搭载有扫描程序，以控制扫描仪(5)到AprilTag标签(1)相对位置不变；
所述的头部运动部分，作为一个实时的反馈环节，通过头部运动，带动贴于受试者(2)头部侧面AprilTag标签(1)运动，实现闭环反馈、视觉跟随。


2.一种用于临床治疗与检测的视觉跟随方法，其特征在于，所述的用于临床治疗与检测的视觉跟随方法包括以下步骤：
步骤1、选取AprilTag标签(1)，贴于受试者(2)的头部侧面扫描区域；
步骤2、打开计算机(9)，运行单目摄像机(3)的启动程序及AprilTag算法程序；
步骤3、通过单目摄像机(3)采集贴于受试者(2)的头部侧面的AprilTag标签(1)图像，传送到计算机(9)；
步骤4、利用计算机(9)上ros机器人操作系统上运行AprilTag算法得出AprilTag标签(1)相对于单目摄像机(3)的变换矩阵P1；
步骤5、计算机(9)连接机械手(6)，通过手眼标定得出单目摄相机(3)相对于机械手(6)的基座的变换矩阵T1；
步骤6、运行机械手(6)的moveit启动程序，通过ros机器人操作系统上发布的机械手(6)关节树，读取各个关节的变换矩阵，进而得出机械手(6)的基座到其末端扫描仪(5)的变换矩阵P2，并进行存储；
步骤7、运行扫描程序，通过ros操作系统上的扫描程序设定AprilTag标签(1)相对于扫描仪(5)的变...

【专利技术属性】
技术研发人员：王斐，任百明，梁宸，茹常磊，
申请(专利权)人：东北大学，
类型：发明
国别省市：辽宁;21