基于主动式双目相机的点云和强反光目标实时定位方法技术

本发明专利技术公开了一种基于主动式双目相机的点云和强反光目标实时定位方法，属一种结构光物体目标定位方法，该方法为双目相机启动后，照明光与结构光同时投射目标，然后分割目标图像中高反光区域的部分；建立高反光区域中高反光物体的中心点或边缘点，在双目相机镜头画面中的点对关系，通过极限约束和三角测距公式计算得到高反光区域中高反光物体的深度信息，并与目标图像其他区域中物体的深度信息融合。通过分割出目标图像中高反光区域的部分，进而获得高反光区域中物体的深度信息，融合目标图像中非高反光区域中物体的深度信息，依次进行目标图像中高反光物体以及非高反光物体的三维坐标配准，进而完成目标的同步实时定位。进而完成目标的同步实时定位。进而完成目标的同步实时定位。

【技术实现步骤摘要】
基于主动式双目相机的点云和强反光目标实时定位方法


[0001]本专利技术涉及一种结构光物体目标定位方法，更具体的说，本专利技术主要涉及一种基于主动式双目相机的点云和强反光目标实时定位方法。

技术介绍

[0002]在医学手术或其它治疗中，需要利用影像学数据和光学三维成像数据配合进行手术器械或治疗装置的导航，实时测量出手术器械或治疗器械相对于器官或病灶的空间位置，使得医生可基于此进行精准的手术或治疗。目前光学三维成像数据的获取主要依赖深度相机，而深度相机的主要工作方式有双目非结构光深度相机和双目结构光深度相机以及TOF相机等几种类型。其中双目结构光深度相机(结构光RGBD相机)基于已知的镜头焦距、极线视差等参数并通过极限方程式即可获得图像中物体的深度信息。此类相机在使用过程中，对于为解决平面纯净背景无法提供双目匹配特征点和对环境光敏感等问题，在双目相机基础上增加红外发射器投射已知图案。但是，现有红外结构光RGBD相机有一个缺点，即因为对高反光物体表面结构光不能稳定投射图案成像，造成高反光物体无法获得深度信息，因而有必要针对双目结构光深度相机对于具有高反光物体的图像目标定位方法作进一步的研究和改进。

技术实现思路

[0003]本专利技术的目的之一在于解决上述不足，提供一种基于主动式双目相机的点云和强反光目标实时定位方法，以期望解决现有技术中双目结构光深度相机对高反光物体表面结构光不能稳定投射图案成像，造成高反光物体无法获得深度信息等技术问题。
[0004]为解决上述的技术问题，本专利技术采用以下技术方案：
[0005]本专利技术所提供的一种基于主动式双目相机的点云和强反光目标实时定位方法，所述的方法包括如下步骤：
[0006]步骤A、双目相机启动后，照明光与结构光同时投射目标，然后分割目标图像中高反光区域的部分，并进行高反光区域中高反光物体的识别计数；
[0007]步骤B、建立高反光区域中高反光物体的中心点或边缘点，在双目相机镜头画面中通过极限约束建立点对关系，三角测距式计算得到高反光区域中高反光物体的深度信息；
[0008]步骤C、将高反光区域图像中高反光物体的深度信息，与目标图像其他区域中物体的深度信息融合，然后结合目标图像中物体的二维坐标传输至下位机。
[0009]作为优选，进一步的技术方案是：所述目标图像中物体的二维坐标为根据双目相机的镜头预先标定的像素大小，以及镜头之间的物理距离值所确定的X轴与Y轴的值。
[0010]更进一步的技术方案是：所述目标图像其他区域中物体的深度信息，为在步骤A中双目相机启动后，识别目标图像中非高反光区域中物体的结构光纹理角点，利用极线约束减少识别计算量，然后建立纹理角点在双目相机镜头画面中的点对关系，再通过所述三角测距公式计算得到。
[0011]更进一步的技术方案是：所述三角测距公式为：
[0012][0013]式中，Z为深度信息，d为视差，B为双目相机镜头之间的物理距离值，f为双目相机的镜头焦距，x1与x
r
分别为双目相机镜头图像同名点在左边镜头和右边镜头图像传感器上的位置。
[0014]更进一步的技术方案是：所述深度信息融合为将高反光区域图像中高反光物体的深度信息，与目标图像其他区域中物体的深度信息直接重叠在一起，形成当前双目相机采集目标图像的中全部物体的深度信息。
[0015]更进一步的技术方案是：所述步骤A中高反光区域中高反光物体的形状为球形。
[0016]更进一步的技术方案是：所述步骤A中双目相机所投射的结构光为红外发射器所投射，形成具有结构光纹理的红外结构像。
[0017]更进一步的技术方案是：所述的方法在FPGA平台上实现。
[0018]与现有技术相比，本专利技术的有益效果之一是：通过分割出目标图像中高反光区域的部分，并以高反光物体的边缘或区域中心作为特征点建立点对关系，进而获得高反光区域中物体的深度信息，融合目标图像中非高反光区域中物体的深度信息，依次进行目标图像中高反光物体以及非高反光物体的三维坐标配准，进而完成目标的同步实时定位。
附图说明
[0019]图1为用于说明本专利技术一个实施例的方法流程图；
[0020]图2为用于说明本专利技术一个实施例中的三角测距式原理图；
[0021]图3为用于说明本专利技术一个实施例的应用方式框图。
具体实施方式
[0022]下面结合附图对本专利技术作进一步阐述。
[0023]参考图1所示，本专利技术的一个实施例是一种基于主动式双目相机的点云和强反光目标实时定位方法，该方法的实质是在既有结构光RGBD相机原理基础上，利用强反光物体(不局限于球形等)与背景亮度差异，对非高反光物体采用普通结构光纹理配准极线约束求解深度信息的方法，增加对高反光物体利用图像分割，以边缘或区域质心作为特征点对进行配准，再进行单独的深度信息计算，然后再与原图像中的深度信息融合。基于前述的方式，在本实施例中，以反光小球为例对本专利技术所提供的方法进行说明，其按照如下步骤执行：
[0024]步骤S1、双目相机启动后，照明光与结构光同时投射目标，然后分割目标图像中反光小球的部分，并在该部分中进行反光小球的识别与计数；即识别反光球是通过图像分割实现的，反光球在图像中和背景差别很大，通过阈值分割，分出高亮区域，根据连通性判断哪些像素构成反光球整体，就可以判断有几个反光球和各个反光球的质心，一个反光球高亮像素的横纵坐标求平均就可得到质心；
[0025]在本步骤中，与现有的同类双目相机相类似，双目相机所投射的结构光为红外发射器所投射，形成具有结构光纹理的红外结构像；
[0026]步骤S2、建立反光小球的中心点或边缘点，在双目相机镜头画面中的点对关系，在此处建立点对关系时，选择反光小球的中心点(质心)或者边缘点均可，通过极限约束和三角测距公式计算得到高反光区域中高反光物体的深度信息；前述的点对关系是指同一个物体(或者点)在双目左右两个相机两个画面上的两个点；双目相机两个镜头采集到的两张图片上对应的两个反光球各自的质心就建立了质心点的点对；如果是利用边缘点，建立的就是边缘点对；
[0027]步骤S3、将高反光区域图像中高反光物体的深度信息，与目标图像其他区域中物体的深度信息融合，然后结合目标图像中物体的二维坐标一并传输至下位机。
[0028]在本步骤中，目标图像中物体的二维坐标为根据双目相机的镜头预先标定的像素大小，以及镜头之间的物理距离值所确定的X轴与Y轴的值。并且前述目标图像其他区域中物体的深度信息，为在步骤A中双目相机启动后，识别目标图像中非高反光区域中物体的结构光纹理角点，然后通过极线约束和角点匹配建立纹理角点在双目相机镜头画面中的点对关系，再通过同样的三角测距式计算得到。
[0029]在本实施例中所应用到的极限约束是一种的结构光深度相机常用的减少特征点对匹配算法计算量的方法。极线约束描述的是当同一个点投影到两个不同视角的图像上时，像点、相机光心在投影模型下形成的约束。
[0030]在本实施例中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于主动式双目相机的点云和强反光目标实时定位方法，其特征在于所述的方法包括如下步骤：步骤A、双目相机启动后，照明光与结构光同时投射目标，然后分割目标图像中高反光区域的部分，并进行高反光区域中高反光物体的识别计数；步骤B、建立高反光区域中高反光物体的中心点或边缘点，在双目相机镜头画面中通过极限约束建立点对关系，三角测距式计算得到高反光区域中高反光物体的深度信息；步骤C、将高反光区域图像中高反光物体的深度信息，与目标图像其他区域中物体的深度信息融合，然后结合目标图像中物体的二维坐标一并传输至下位机。2.根据权利要求1所述的基于主动式双目相机的点云和强反光目标实时定位方法，其特征在于：所述步骤C中目标图像中物体的二维坐标为根据双目相机的镜头预先标定的像素大小，以及镜头之间的物理距离值所确定的X轴与Y轴的值。3.根据权利要求1所述的基于主动式双目相机的点云和强反光目标实时定位方法，其特征在于：所述步骤C中目标图像其他区域中物体的深度信息，为在步骤A中双目相机启动后，识别目标图像中非高反光区域中物体的结构光纹理角点，然后建立纹理角点在双目相机镜头画面中的点对关系，再通过所述三角测距公式计算得到。4.根据权利要求1或3所述的...

【专利技术属性】
技术研发人员：龚启勇，幸浩洋，窦仁银，刘中原，杨俊锋，黄晓琦，吕粟，
申请(专利权)人：四川大学华西医院，
类型：发明
国别省市：