一种基于双目多光源摄像机的多目标空间定位方法和系统技术方案

本发明专利技术实施例提供一种基于双目多光源摄像机的多目标空间定位方法和系统，可识别分类检测到的目标，对目标图像坐标的匹配形成约束条件，避免误判；双目摄像机的位置关系的固定方式，可以保证同一个目标在左、右成像的像素坐标在同一高度，对目标图像坐标的匹配形成约束条件，避免误判，通过目标跟踪算法，实现每个目标的二维成像运动轨迹特征，作为双目多目标配准的判断依据，对目标图像坐标的匹配形成约束条件，避免误判；实现多目标的检测，通过两两匹配，准确定位每个目标的三维空间坐标与运动轨迹，智能检测可自动触发联动设备，可实时自动攻击驱赶目标。动攻击驱赶目标。动攻击驱赶目标。

【技术实现步骤摘要】
一种基于双目多光源摄像机的多目标空间定位方法和系统


[0001]本专利技术实施例涉及图像处理和机器视觉
，尤其涉及一种基于双目多光源摄像机的多目标空间定位方法和系统。

技术介绍

[0002]科学技术的发展，自动化程度的提高，空间定位已成为不少应用领域的需求。随着机器视觉技术的发展，利用摄像头采集的图像信息来进行目标定位具有了较大的可行性和更大的优势。如今基于单目立体视觉的定位已经得到了广泛的应用。但是单目视觉得到的是二维数据，丢失了大量的深度信息，造成了定位速度慢、定位精度不可靠。相对而言，双目立体视觉直接模拟人类双眼的处理方式，具有获取物体深度信息的能力，能得到目标点的精确空间位置信息，因而具有更大的研究价值。双目立体视觉技术已越来越多的应用于工程测绘、军事、航天航空、医疗和消防领域。工程测绘上使用基于双目立体视觉技术精确测量三维物体周长，通过双目视觉实现了机器人对磁场分布的快速准确检测。军事上使用机器人上战场，通过机器人上的摄像头定位敌对目标并进行射击能有效降低人员伤亡，医疗上使用机器手做手术，精确定位空间目标点，消防上基于双目空间定位实现快速准确的定位火源，实现自动化灭火、将火灾隐患消灭于火灾早期，最大程度的降低火灾带来的损失。
[0003]基于机器视觉的双目空间定位是从多个视点拍摄一个空间物体，得到它在不同角度下的一系列图像，利用多个图像中对应像素之间的差异，计算得到目标物体的三维几何形状和三维空间位置。空间定位通常都需要前期进行摄像头标定，摄像机标定技术是空间物体三维重建的一个重要组成部分，直接影响三维重建的精度，是系统误差的主要来源之一，是从二维图像获得三维信息关键环节，是立体视觉研究的最重要工作之一。
[0004]基于双目立体视觉定位的标定方法中传统方法可以适用于任意的摄像机模型，但标定精度高标定过程复杂，需要高精度的已知结构信息，目前，基于双摄像头的双目测距技术在安防监控等领域具有广泛的应用，可以根据双摄像头的标定位置关系，准确定义目标的距离，根据距离作为下一步行动的决策依据。
[0005]现有的基于双摄像头的双目测距技术，测距没有利用成像信息，计算空间坐标位置，并对运动目标的空间轨迹进行跟踪，当监控场景种存在多种类型目标和多个同类型目标时，对目标进行双目双光匹配，形成多个目标的连续运动轨迹和空间定位。

技术实现思路

[0006]本专利技术实施例提供一种基于双目多光源摄像机的多目标空间定位方法和系统，通过目标跟踪算法，实现每个目标的二维成像运动轨迹特征，作为双目多目标配准的判断依据，对目标图像坐标的匹配形成约束条件，避免误判。实现多目标的检测，通过两两匹配，准确定位每个目标的三维空间坐标与运动轨迹。
[0007]第一方面，本专利技术实施例提供一种基于双目多光源摄像机的多目标空间定位方法，包括：
[0008]步骤S1、获取目标物体在双目摄像机装置中第一摄像机中的第一包围盒，以及第二摄像机中的第二包围盒；
[0009]步骤S2、基于所述第一包围盒、所述第二包围盒确定所述目标物体的目标中心分别与所述第一摄像机、所述第二摄像机的光轴的水平夹角、垂直夹角；
[0010]步骤S3、基于所述目标中心分别与所述第一摄像机、所述第二摄像机的光轴的水平夹角、垂直夹角分别确定所述目标中心在第一坐标系、第二坐标系中的三维空间坐标值；其中，所述第一坐标系以第一摄像机为坐标原点，所述第二坐标系以第二摄像机为坐标原点；
[0011]分别基于所述第一摄像机、所述第二摄像机确定所述目标物体的轨迹；
[0012]步骤S4、对所述第一摄像机、所述第二摄像机识别的同类项目标物体进行像素匹配、轨迹匹配，若判断目标中心的像素高度、轨迹均匹配成功，则判断所述第一摄像机、所述第二摄像机识别的为同一目标物体。
[0013]作为优选的，所述步骤S1中，所述第一摄像机和所述第二摄像机的成像面在同一平面，所述第一摄像机、所述第二相机的高度相等，所述第一摄像机、所述第二相机的光轴方向相同且相互平行。
[0014]作为优选的，所述步骤S1具体包括：
[0015]基于所述第一摄像机获取目标物体的第一图像，基于所述第二摄像机获取目标物体的第二图像，确定所述目标物体在第一图像的第一像素坐标[x1,y1,w1,h1]，目标物体在第二图像中的第二像素坐标[x2,y2,w2,h2]；其中[x
i
,y
i
]对应矩形框左上角点的坐标，w
i
则对应一个矩形框的宽度，h
i
则对应矩形框的高度，i＝1时表示第一摄像机，i＝2时表示第二摄像机；目标物体的目标中心的坐标为(x
i
+w
i
/2，y
i
+h
i
/2)。
[0016]作为优选的，所述步骤S2中，目标中心分别与所述第一摄像机、所述第二摄像机的光轴的水平夹角为：
[0017][0018]目标中心分别与所述第一摄像机、所述第二摄像机的光轴的垂直夹角为：
[0019][0020]上式中，PixFovHor是每个像素对应的宽度视场；PixFovVer是每个像素对应的高度视场；图像中心像素坐标(Xcenter，Ycenter)对应光轴成像。
[0021]作为优选的，所述步骤S3具体包括：
[0022]以第一摄像头为坐标系原点(0，0)，目标中心与第一摄像机的光轴的垂直夹角AlphaFovHor为α；目标中心与第二摄像机的光轴的垂直夹角AlphaFovHor为β，计算目标物体在(X，Y)坐标平面上的坐标(ObjX，ObjY)为：
[0023][0024]ObjX＝(ObjY
‑
nCamDist)cot(β)/ObjX
[0025]ObjY＝
‑
ObjX
×
cot(α)
[0026]目标物体与第一摄像头的距离ObjDist为：
[0027][0028]目标中心与第一摄像机的光轴形成的水平夹角AlphaFovVer为γ；目标中心与第二摄像机的光轴形成的水平夹角AlphaFovVer为δ；
[0029]ObjZ＝ObjDist
×
sinγ
[0030]ObjZ'＝ObjDist
×
sinδ
[0031]令ObjZ＝ObjZ
′
，确定所述目标物体在以第一摄像头为坐标系原点的坐标系下的三维坐标空间值(ObjX，ObjY，ObjZ)；
[0032]确定所述目标物体在以第二摄像头为坐标系原点的坐标系下的三维坐标空间值；
[0033]分别基于所述第一摄像机、所述第二摄像机分别对检测到的目标物体进行跟踪，形成连续的目标三维空间坐标值，形成离散轨迹点集合；依次连接离散轨迹点集合得到所述目标物体的轨迹。
[0034]作为优选的，所述步骤S4具体包括：
[0035]步骤S41、对第一摄像机获取的第一图像、第二摄像机获本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双目多光源摄像机的多目标空间定位方法，其特征在于，包括：步骤S1、获取目标物体在双目摄像机装置中第一摄像机中的第一包围盒，以及第二摄像机中的第二包围盒；步骤S2、基于所述第一包围盒、所述第二包围盒确定所述目标物体的目标中心分别与所述第一摄像机、所述第二摄像机的光轴的水平夹角、垂直夹角；步骤S3、基于所述目标中心分别与所述第一摄像机、所述第二摄像机的光轴的水平夹角、垂直夹角分别确定所述目标中心在第一坐标系、第二坐标系中的三维空间坐标值；其中，所述第一坐标系以第一摄像机为坐标原点，所述第二坐标系以第二摄像机为坐标原点；分别基于所述第一摄像机、所述第二摄像机确定所述目标物体的轨迹；步骤S4、对所述第一摄像机、所述第二摄像机识别的同类项目标物体进行像素匹配、轨迹匹配，若判断目标中心的像素高度、轨迹均匹配成功，则判断所述第一摄像机、所述第二摄像机识别的为同一目标物体。2.根据权利要求1所述的基于双目多光源摄像机的多目标空间定位方法，其特征在于，所述步骤S1中，所述第一摄像机和所述第二摄像机的成像面在同一平面，所述第一摄像机、所述第二相机的高度相等，所述第一摄像机、所述第二相机的光轴方向相同且相互平行。3.根据权利要求2所述的基于双目多光源摄像机的多目标空间定位方法，其特征在于，所述步骤S1具体包括：基于所述第一摄像机获取目标物体的第一图像，基于所述第二摄像机获取目标物体的第二图像，确定所述目标物体在第一图像的第一像素坐标[x1,y1,w1,h1]，目标物体在第二图像中的第二像素坐标[x2,y2,w2,h2]；其中[x
i
,y
i
]对应矩形框左上角点的坐标，w
i
则对应一个矩形框的宽度，h
i
则对应矩形框的高度，i＝1时表示第一摄像机，i＝2时表示第二摄像机；目标物体的目标中心的坐标为(x
i
+w
i
/2，y
i
+h
i
/2)。4.根据权利要求3所述的基于双目多光源摄像机的多目标空间定位方法，其特征在于，所述步骤S2中，目标中心分别与所述第一摄像机、所述第二摄像机的光轴的水平夹角为：目标中心分别与所述第一摄像机、所述第二摄像机的光轴的垂直夹角为：上式中，PixFovHor是每个像素对应的宽度视场；PixFovVer是每个像素对应的高度视场；图像中心像素坐标(Xcenter，Ycenter)对应光轴成像。5.根据权利要求4所述的基于双目多光源摄像机的多目标空间定位方法，其特征在于，所述步骤S3具体包括：以第一摄像头为坐标系原点(0，0)，目标中心与第一摄像机的光轴的垂直夹角AlphaFovHor为α；目标中心与第二摄像机的光轴的垂直夹角AlphaFovHor为β，计算目标物体在(X，Y)坐标平面上的坐标(ObjX，ObjY)为：ObjX＝(ObjY
‑
nCamDist)cot(β)/ObjX
ObjY＝
‑
ObjX
×
cot(α)目标物体与第一摄像头的距离ObjDist为：目标中心与第一摄像机的光轴形成的水平夹角AlphaFovVer为γ；目标中心与第二摄像机的光轴形成的水平夹角AlphaFovVer为δ；ObjZ＝ObjDist
×
sinγObjZ'＝ObjDist
...

【专利技术属性】
技术研发人员：林道庆，孙国强，
申请(专利权)人：武汉智谱科技有限公司，
类型：发明
国别省市：