六轴IMU输出数据校准输出空间三维坐标的方法及装置制造方法及图纸

本发明专利技术从摄像头采集得到的视频流数据，经过图像预处理、连通域提取得到二维图像的标记点几何中心亚像素坐标，在PL端实现标记点几何中心亚像素坐标计算，在PS端实现标记点亚像素坐标的立体匹配，因此能够判断出光学跟踪系统是否存在振动，并给予提醒，还能够根据六轴IMU数据计算出系统因振动改变位姿后相对原位姿的旋转平移矩阵，再进行自动校准输出正确的空间三维坐标。间三维坐标。间三维坐标。

【技术实现步骤摘要】
六轴IMU输出数据校准输出空间三维坐标的方法及装置


[0001]本专利技术涉及医学图像处理的
，尤其涉及一种六轴IMU输出数据校准输出空间三维坐标的方法，以及六轴IMU输出数据校准输出空间三维坐标的装置，主要适用于手术导航的领域。

技术介绍

[0002]定位设备是手术导航系统中最为核心的部分，其定位的实时性及精度直接影响到手术导航系统的安全性和精确性，从而影响最终的手术成功率。手术导航中定位设备采用的定位技术主要有机械定位系统、超声定位系统、电磁定位系统和光学定位系统四种。
[0003]光学定位系统虽然具有较高的定位精度，但是只有在保持不动的情况下，其测量的三维坐标信息才最准确，但是光学定位系统在测量时往往会发生微小的振动，而现有的光学定位系统无法及时的给予振动提醒，因此导致测试人员无法及时做出调整，进一步造成测量结果不精确。

技术实现思路

[0004]为克服现有技术的缺陷，本专利技术要解决的技术问题是提供了一种六轴IMU输出数据校准输出空间三维坐标的方法，其能够判断出光学跟踪系统是否存在振动，并给予提醒，还能够根据六轴IMU数据计算出系统因振动改变位姿后相对原位姿的旋转平移矩阵，再进行自动校准输出正确的空间三维坐标。
[0005]本专利技术的技术方案是：这种六轴IMU输出数据校准输出空间三维坐标的方法，其包括以下步骤：
[0006](1)从摄像头采集得到的视频流数据，经过图像预处理、连通域提取得到二维图像的标记点几何中心亚像素坐标，坐标值存入Block RAM，PS端通过AXI Block RAM Controller读取坐标值，视频流数据经过Video in to AXI4
‑
Stream IP核转换成AXI4
‑
Stream IP格式数据流，由VDMA IP核通过AXI Smartconnect总线的HP接口存入DDR3存储器，AXI Interconnect总线实现GP接口与外设配置接口的互联，从而实现PS端控制PL端的外设；
[0007](2)标记点几何中心亚像素坐标计算在PL端实现，假设手术器械上安装有n个标记点，则在左右摄像头拍摄的图像中有相应的n个光点区域，设在第j(j＝1,2
…
n)个光点区域有m个像素点的灰度值大于指定阈值t，其中第i(i＝1,2
…
m)个像素点的坐标表示为q
i
＝[q
ix
,q
iy
]T
，并且该像素点的灰度值表示为v
i
，则该光点的亚像素坐标q
i
由下式得到
[0008][0009](3)标记点亚像素坐标的立体匹配在PS端实现，通过基于极线几何约束的原理完
成立体匹配后，通过空间点的三维重建获取标记点在实际空间的三维坐标。
[0010]本专利技术从摄像头采集得到的视频流数据，经过图像预处理、连通域提取得到二维图像的标记点几何中心亚像素坐标，在PL端实现标记点几何中心亚像素坐标计算，在PS端实现标记点亚像素坐标的立体匹配，因此能够判断出光学跟踪系统是否存在振动，并给予提醒，还能够根据六轴IMU数据计算出系统因振动改变位姿后相对原位姿的旋转平移矩阵，再进行自动校准输出正确的空间三维坐标。
[0011]还提供了六轴IMU输出数据校准输出空间三维坐标的装置，其包括：
[0012]采集预处理模块，其配置来从摄像头采集得到的视频流数据，经过图像预处理、连通域提取得到二维图像的标记点几何中心亚像素坐标，坐标值存入Block RAM，PS端通过AXI Block RAM Controller读取坐标值，视频流数据经过Video in to AXI4
‑
Stream IP核转换成AXI4
‑
Stream IP格式数据流，由VDMA IP核通过AXI Smartconnect总线的HP接口存入DDR3存储器，AXI Interconnect总线实现GP接口与外设配置接口的互联，从而实现PS端控制PL端的外设；
[0013]计算模块，其配置为标记点几何中心亚像素坐标计算在PL端实现，假设手术器械上安装有n个标记点，则在左右摄像头拍摄的图像中有相应的n个光点区域，设在第j(j＝1,2
…
n)个光点区域有m个像素点的灰度值大于指定阈值t，其中第i(i＝1,2
…
m)个像素点的坐标表示为q
i
＝[q
ix
,q
iy
]T
，并且该像素点的灰度值表示为v
i
，则该光点的亚像素坐标q
i
由下式得到
[0014][0015]匹配模块，其配置为标记点亚像素坐标的立体匹配在PS端实现，通过基于极线几何约束的原理完成立体匹配后，通过空间点的三维重建获取标记点在实际空间的三维坐标。
附图说明
[0016]图1是根据本专利技术的六轴IMU输出数据校准输出空间三维坐标的方法的流程图。
[0017]图2是根据本专利技术的标记点几何中心亚像素坐标计算的流程图。
[0018]图3是根据本专利技术的二维图像标记点坐标的立体匹配流程图。
[0019]图4是根据本专利技术的光学跟踪系统转动θ角度后的位置示意图。
具体实施方式
[0020]如图1所示，这种六轴IMU输出数据校准输出空间三维坐标的方法，其包括以下步骤：
[0021](1)从摄像头采集得到的视频流数据，经过图像预处理、连通域提取得到二维图像的标记点几何中心亚像素坐标，坐标值存入Block RAM，PS端通过AXI Block RAM Controller读取坐标值，视频流数据经过Video in to AXI4
‑
Stream IP核转换成AXI4
‑
Stream IP格式数据流，由VDMA IP核通过AXI Smartconnect总线的HP接口存入DDR3存储
器，AXI Interconnect总线实现GP接口与外设配置接口的互联，从而实现PS端控制PL端的外设；
[0022](2)标记点几何中心亚像素坐标计算在PL端实现，假设手术器械上安装有n个标记点，则在左右摄像头拍摄的图像中有相应的n个光点区域，设在第j(j＝1,2
…
n)个光点区域有m个像素点的灰度值大于指定阈值t，其中第i(i＝1,2
…
m)个像素点的坐标表示为q
i
＝[q
ix
,q
iy
]T
，并且该像素点的灰度值表示为v
i
，则该光点的亚像素坐标q
i
由下式得到
[0023][0024](3)标记点亚像素坐标的立体匹配在PS端实现，通过基于极线几何约束的原理完成立体匹配后，通过空间点的三维重建获取标记点在实际空间的三维坐标。
[0025]本专利技术从摄像头采集得到的视频本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.六轴IMU输出数据校准输出空间三维坐标的方法，其特征在于：其包括以下步骤：(1)从摄像头采集得到的视频流数据，经过图像预处理、连通域提取得到二维图像的标记点几何中心亚像素坐标，坐标值存入Block RAM，PS端通过AXI Block RAM Controller读取坐标值，视频流数据经过Video in to AXI4
‑
Stream IP核转换成AXI4
‑
Stream IP格式数据流，由VDMA IP核通过AXI Smartconnect总线的HP接口存入DDR3存储器，AXI Interconnect总线实现GP接口与外设配置接口的互联，从而实现PS端控制PL端的外设；(2)标记点几何中心亚像素坐标计算在PL端实现，假设手术器械上安装有n个标记点，则在左右摄像头拍摄的图像中有相应的n个光点区域，设在第j(j＝1,2
…
n)个光点区域有m个像素点的灰度值大于指定阈值t，其中第i(i＝1,2
…
m)个像素点的坐标表示为q
i
＝[q
ix
,q
iy
]
T
，并且该像素点的灰度值表示为v
i
，则该光点的亚像素坐标q
i
由下式得到(3)标记点亚像素坐标的立体匹配在PS端实现，通过基于极线几何约束的原理完成立体匹配后，通过空间点的三维重建获取标记点在实际空间的三维坐标。2.根据权利要求1所述的六轴IMU输出数据校准输出空间三维坐标的方法，其特征在于：所述步骤(1)中，配置VDMA IP核的帧缓存空间大小、读写通道以及接收坐标计算完成的信号，通过AXI Interconnect接口在PS端修改PL端IP核中寄存器的值，从而控制图像传感器的曝光模式、曝光时间、近红外LED灯的点亮时间、以及调整连通域提取的阈值。3.根据权利要求2所述的六轴IMU输出数据校准输出空间三维坐标的方法，其特征在于：所述步骤(2)中，一把手术器械上安装多个标记点，利用灰度阈值t、距离阈值l以及相邻区间m来把每一个大于阈值的像素点划分到相应的光点区域，其中，若找到一个符合条件的点，其邻域m指的就是以该点左上顶点、边长为1
×
m的矩形区域。4.根据权利要求3所述的六轴IMU输出数据校准输出空间三维坐标的方法，其特征在于：所述步骤(3)中，设p1和p2分别为任意空间点P在左、右摄像机上的图像点，并已求得了二者的像素坐标；假设P的空间三维坐标为(X
W
,Y
W
,Z
W
)，p1和p2的像素坐标分别为(u1,v1)和(u2,v2)，两摄像头的投影矩阵分别为：)，两摄像头的投影矩阵分别为：计算P的空间三维坐标为(X
W
,Y
W
,Z
W
)的四个线性方程为：
5.根据权利要求4所述的六轴IMU输出数据校准输出空间三维坐标的方法，其特征在于：所述步骤(3)中，公式(4)、(5)分别表示通过O1p1、O2p2的直线，点P是两者的交点，则同时满足两式，故联立两式求解在世界坐标系下点P的坐标；因为上述两个方程组共包含四项线性方程，共有三个未知数，故三项方程求得(X
W
,Y
W
,Z
W
)的值；实际情况中，噪声的存在影响PS端处理获得的数据，采取最小二乘法求解空间点三维坐标。6.根据权利要求1所述的六轴IMU输出...

【专利技术属性】
技术研发人员：杨峰，赵黎明，
申请(专利权)人：艾瑞迈迪医疗科技北京有限公司，
类型：发明
国别省市：