一种基于反光球标记点的近红外双目视觉立体匹配方法组成比例

本发明专利技术公开了一种基于反光球标记点的近红外双目视觉立体匹配方法，该方法是利用反光球标记点的三维几何尺寸特征，剔除近红外双目视觉标记点的伪匹配点对，以获得快速、鲁棒的立体匹配结果，从而精确地计算出标记点的空间三维坐标，进而实现对标记点的实时、鲁棒的跟踪定位。本发明专利技术可以高效、准确地找到标记点在左右摄像机像点的对应关系，有效地消除伪匹配，从而排除了虚假三维空间点对光学定位的干扰，以提高近红外光学定位系统的定位精度和鲁棒性。

A near-infrared binocular stereo matching method based on the marking points of the reflector

The invention discloses a near infrared binocular vision stereo matching method based on reflective ball marker, the method is the three-dimensional geometry features using reflective ball marker, eliminating near infrared binocular vision markers false matching points, in order to obtain a fast and robust stereo matching results, so as to accurately calculate the three-dimensional space the coordinates of the mark points, so as to realize the real-time and robust of tracking and positioning of the mark points. The invention can efficiently and accurately find corresponding relation between marking points on the left and right camera points, effectively eliminate pseudo matching, and eliminate the interference of false 3D spatial points to optical location, so as to improve the positioning accuracy and robustness of near-infrared optical positioning system.

【技术实现步骤摘要】
一种基于反光球标记点的近红外双目视觉立体匹配方法
本专利技术涉及计算机视觉及计算机辅助手术研究领域，尤其是指一种基于反光球标记点的近红外双目视觉立体匹配方法。
技术介绍
近十多年来，基于光学定位的影像引导治疗系统广泛地应用于神经外科、口腔颌面外科、骨科外科手术、肿瘤放射治疗，甚至是软组织器官方面的手术。靶点精准定位是影像引导治疗系统应用于放疗、外科手术等疗法中最为关键的核心内容，靶点的定位精度直接影响该疗法的疗效。对于基于光学定位的影像引导治疗系统，靶点的定位精度主要取决于近红外光学定位系统的定位精度。当前，主流的影像引导治疗系统，如美敦力公司的StealthStation手术导航系统和Brain公司的VectorVisionSky系统，均采用加拿大NDI公司的Polaris光学定位系统作为定位仪，用于跟踪粘贴于手术工具及病人身上的反光球标记点。Polaris系统可跟踪主动发光式和被动发光式两种标记点。主动发光式标记点通过一个系统控制单元控制发光标记点的发光顺序，使得在某一时刻有且仅有一个标记点被Polaris系统跟踪到，因而不存在立体匹配问题。但使用主动发光式标记点(通常为近红外发光二极管)时，在1秒内最多可跟踪到32个标记点，且在跟踪过程中，如果标记点处于移动状态，则易产生跟踪误差。另外，每个主动发光式标记点都与导线相连，导致主动发光式标记点的使用非常不便。而使用被动发光式标记点(通常为反光球标记点)时，Polaris系统最多可同时跟踪50个标记点，由于没有导线与标记点相连，被动发光式标记点使用起来非常方便。但被动发光式标记点在使用的过程中易产生立体匹配问题，当两个以上标记点与两个摄像机传感器共极平面时，便会出现1个以上虚假三维空间点，导致在三维空间中产生虚假三维空间点而影响最终的定位精度。究其原因，在于Polaris系统的立体匹配算法存在缺陷而导致出现立体匹配问题。同样，如使用工业相机自行构建近红外双目视觉定位系统，该系统依然存在着2个以上标记点共极平面时而产生的立体匹配问题，从而产生多个虚假三维空间点。因此，设计一种鲁棒、稳定的近红外双目视觉立体匹配方法对于提高光学定位系统的定位稳定性和定位精度具有重大意义。
技术实现思路
本专利技术的目的在于针对近红外双目定位系统在跟踪反光球标记点过程中，当出现2个以上标记点共极平面时，这些标记点在左右摄像机上的像点不再唯一配对而产生了伪匹配点对，从而出现1个以上虚假三维空间点这一问题，提供了一种基于反光球标记点的近红外双目视觉立体匹配方法，该方法可以快速、准确地找到左右摄像机标记点像点的正确对应关系，从而有效地消除伪匹配点对及因伪匹配点对而产生的虚假三维空间点，从而提高近红外双目视觉定位系统的定位稳定性和定位精度。为实现上述目的，本专利技术所提供的技术方案为：一种基于反光球标记点的近红外双目视觉立体匹配方法，该方法是利用反光球标记点的三维几何尺寸特征，剔除近红外双目视觉标记点的伪匹配点对，以获得快速、鲁棒的立体匹配结果，从而精确地计算出标记点的空间三维坐标，进而实现对标记点的实时、鲁棒的跟踪定位；其中，所述利用反光球标记点的三维几何尺寸特征，剔除标记点伪匹配点对的方法过程如下：1)计算左右摄像机标记点成像斑点的几何中心亚像素坐标，记该坐标为标记点的像点坐标；2)依据双目视觉的对极几何原理，绘制左摄像机像点在右摄像机图像上的对应极线；3)找出右摄像机图像上所有落在极线上的像点；4)若落在右摄像机图像中的极线上只有一个像点，则根据三角测量原理计算出该点的三维空间坐标；若该极线上存在多个像点时，则需遵守以下规则：首先，根据三角测量原理计算出该极线对应的左摄像机像点与极线上多个像点形成的三维空间坐标点，然后构建出以这些三维空间坐标点为球心、以反光球实际测量所得半径大小为半径的球体，接着在左摄像机上提取该标记点成像斑点的轮廓，再计算出该轮廓与左摄像机光心形成的圆锥面，最后判断圆锥面是否与构建出来的球体相切，若相切则为正确匹配点，若不相切，则为伪匹配点。在步骤1)中，通过阈值分割、连通域提取等图像处理方法获得所有标记点的成像斑点，然后采用加权平均法计算标记点成像斑点的几何中心亚像素坐标，将该坐标作为记为标记点的像点坐标。在步骤2)中，从双目摄像机系统的标定结果中获取左右摄像机内外部参数及左右摄像机坐标系间的变换矩阵，依据双目视觉的对极几何原理，绘制出左摄像机像点在右摄像机图像上所对应的极线。在步骤3)中，设置一距离阈值，计算右摄像机图像上所有标记点像点与该极线的距离，若像点与该极线的距离小于阈值，则认为该像点位于该极线上，反之则不落在该极线上，从而找到右摄像机图像上所有落在该极线上的像点。在步骤4)中，根据右摄像机图像上落在极线上像点数进行判断：a、若位于右摄像机图像极线上的像点仅有1个，则该匹配点对为正确的匹配点对，根据三角测量原理直接计算出该匹配点对所对应的三维空间点坐标；b、若位于右摄像机图像极线上的像点为2个以上时，需根据反光球标记点的三维几何尺寸特征进行剔除伪匹配点对，其中该伪匹配点的剔除计算过程如下：4-1)记该极线对应的左摄像机像点为pli，左右摄像机的光心为ol和or，设右摄像机图像中位于该极线上的像点数为N，所对应的点记为prj，j＝1,2,…,N，将pli和prj进行一对一配对，形成N种组合，根据三角测量原理计算出两条光线olpli和orprj的交点Pij，即为pli和prj对应的三维空间坐标点；4-2)记反光球标记点的球体半径为R，以4-1)中计算得到的三维空间坐标点为球心，构建出半径为R的虚拟球体Vij；4-3)对左摄像机图像上通过图像处理方法获得的第i个标记点的成像斑点进行处理，获取其轮廓线，然后对该轮廓线进行圆拟合得到圆Ci，计算出其与左摄像机光心ol形成的圆锥面Sli；4-4)设置一阈值t，计算圆锥面Sli是否与虚拟球体Vij相切，若相切则为左摄像机平面上的像点pli与右摄像机平面上的像点prj为正确匹配点对，若不相切，则为伪匹配点对。本专利技术与现有技术相比，具有如下优点与有益效果：本专利技术所提出的基于反光球标记点的近红外双目视觉立体匹配方法，可以高效、准确地找到标记点在左右摄像机像点的对应关系，有效地消除伪匹配，从而排除了虚假三维空间点对光学定位的干扰，以提高近红外光学定位系统的定位精度和鲁棒性。附图说明图1为本专利技术方法中左右摄像机图像标记点成像斑点几何中心的提取结果。图2为本专利技术方法中左摄像机图像上一像点a对应的右摄像机图像上极线的效果图。图3为计算左右摄像机像点的匹配点对三维空间坐标的示意图。图4为计算圆锥面Sla与虚拟拟球体相切关系的示意图。具体实施方式下面结合具体实施例对本专利技术作进一步说明。本实施例所提供的基于反光球标记点的近红外双目视觉立体匹配方法，可以进一步提高近红外光学定位系统的定位鲁棒性和精度。该方法是利用反光球标记点的三维几何尺寸特征实现对标记点伪匹配点对的识别，首先计算左右摄像机标记点成像斑点的几何中心亚像素坐标，记该坐标为标记点的像点坐标，然后依据双目视觉的对极几何原理，绘制左摄像机像点在右摄像机图像上的对应极线，接着计算出右摄像机图像上所有落在极线上的标记点像点，若落在右摄像机图像中某一极线上的像点仅有一个，则根据三角本文档来自技高网...

【技术保护点】
一种基于反光球标记点的近红外双目视觉立体匹配方法，其特征在于：该方法是利用反光球标记点的三维几何尺寸特征，剔除近红外双目视觉标记点的伪匹配点对，以获得快速、鲁棒的立体匹配结果，从而精确地计算出标记点的空间三维坐标，进而实现对标记点的实时、鲁棒的跟踪定位；其中，所述利用反光球标记点的三维几何尺寸特征，剔除标记点伪匹配点对的方法过程如下：1)计算左右摄像机标记点成像斑点的几何中心亚像素坐标，记该坐标为标记点的像点坐标；2)依据双目视觉的对极几何原理，绘制左摄像机像点在右摄像机图像上的对应极线；3)找出右摄像机图像上所有落在极线上的像点；4)若落在右摄像机图像中的极线上只有一个像点，则根据三角测量原理计算出该点的三维空间坐标；若该极线上存在多个像点时，则需遵守以下规则：首先，根据三角测量原理计算出该极线对应的左摄像机像点与极线上多个像点形成的三维空间坐标点，然后构建出以这些三维空间坐标点为球心、以反光球实际测量所得半径大小为半径的球体，接着在左摄像机上提取该标记点成像斑点的轮廓，再计算出该轮廓与左摄像机光心形成的圆锥面，最后判断圆锥面是否与构建出来的球体相切，若相切则为正确匹配点，若不相切，则为伪匹配点。...

【技术特征摘要】
1.一种基于反光球标记点的近红外双目视觉立体匹配方法，其特征在于：该方法是利用反光球标记点的三维几何尺寸特征，剔除近红外双目视觉标记点的伪匹配点对，以获得快速、鲁棒的立体匹配结果，从而精确地计算出标记点的空间三维坐标，进而实现对标记点的实时、鲁棒的跟踪定位；其中，所述利用反光球标记点的三维几何尺寸特征，剔除标记点伪匹配点对的方法过程如下：1)计算左右摄像机标记点成像斑点的几何中心亚像素坐标，记该坐标为标记点的像点坐标；2)依据双目视觉的对极几何原理，绘制左摄像机像点在右摄像机图像上的对应极线；3)找出右摄像机图像上所有落在极线上的像点；4)若落在右摄像机图像中的极线上只有一个像点，则根据三角测量原理计算出该点的三维空间坐标；若该极线上存在多个像点时，则需遵守以下规则：首先，根据三角测量原理计算出该极线对应的左摄像机像点与极线上多个像点形成的三维空间坐标点，然后构建出以这些三维空间坐标点为球心、以反光球实际测量所得半径大小为半径的球体，接着在左摄像机上提取该标记点成像斑点的轮廓，再计算出该轮廓与左摄像机光心形成的圆锥面，最后判断圆锥面是否与构建出来的球体相切，若相切则为正确匹配点，若不相切，则为伪匹配点。2.根据权利要求1所述的一种基于反光球标记点的近红外双目视觉立体匹配方法，其特征在于：在步骤1)中，通过阈值分割、连通域提取获得所有标记点的成像斑点，然后采用加权平均法计算标记点成像斑点的几何中心亚像素坐标，将该坐标作为记为标记点的像点坐标。3.根据权利要求1所述的一种基于反光球标记点的近红外双目视觉立体匹配方法，其特征在于：在步骤2)中，从双目摄像机系统的标定结果中获取左右摄像机内外部参数及左右摄像机坐标系间的变换矩阵，依据双目视觉的对极几何原理，绘制出左摄像机像点在右摄...

【专利技术属性】
技术研发人员：林钦永，杨荣骞，吴效明，庄建，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44