一种基于视觉传感器网络的多运动体三维跟踪与控制平台制造技术

本发明专利技术公开了一种基于视觉传感器网络的多运动体三维跟踪与控制平台，包括多摄像机系统、地面控制系统、机载红外反光小球和目标无人机四个主要模块。多摄像机系统包括多个带有红外滤光片的摄像机、用于增强光强度的红外补光源和用于同步多个摄像机图像数据的同步触发器以及一个导航端电脑来运行核心视觉算法。多摄像机相互作用组成一个视觉传感器网络。地面控制系统从多摄像机系统接收导航数据，然后通过无线局域网将控制命令上传到目标无人机。数据传输是利用机器人操作系统ROS的话题订阅和发布机制，对导航数据进行处理、结合参考轨迹和控制器计算出给无人机的控制指令，最后将该指令通过无线局域网发布。该指令通过无线局域网发布。该指令通过无线局域网发布。

【技术实现步骤摘要】
一种基于视觉传感器网络的多运动体三维跟踪与控制平台


[0001]本专利技术涉及一种基于视觉传感器网络的多运动体三维跟踪与控制平台，属于三维视觉跟踪与控制


技术介绍

[0002]视觉传感器网络是由大量智能摄像机节点组建的分布式感知网络，能够实现大范围区域覆盖与目标跟踪。视觉传感器网络是一个以数据为中心，对环境信息进行采集和处理的应用型网络。三维视觉跟踪作为计算机视觉领域中的一个重要应用，快速、精确、鲁棒的三维视觉跟踪对于实际任务重至关重要。基于视觉传感器网络的三维视觉跟踪有多方面的研究意义：大量视觉传感器节点可以实现大范围区域覆盖，增大系统跟踪范围；分布式计算框架对于网络结构的突变具有鲁棒性，即当传感器节点故障失效或增加新传感器节点时，网络结构会进行自组网而不影响任务的执行；无线传输的引入可以大大简化网络部署安装过程，无需复杂布线，增强了系统便捷性和灵活性；基于多视觉传感器的位姿估计是一种多源信息融合方式，兼顾了算法的精确性和鲁棒性。然而，目前已有研究在实际工程应用上存在节点管理难、无线延迟大、节点计算存储与通信资源受限等问题，难以有效本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉传感器网络的多运动体三维跟踪与控制平台，其特征在于，包括多摄像机系统、地面控制系统、机载红外反光小球和目标无人机；多摄像机系统包括多个带有红外滤光片的摄像机、用于增强光强度的红外补光源和用于同步多个摄像机图像数据的同步触发器以及一个导航端电脑来运行核心视觉算法；多摄像机相互作用组成一个视觉传感器网络，共同覆盖无人机活动区域；地面控制系统从多摄像机系统接收导航数据，然后通过无线局域网将控制命令上传到目标无人机；数据传输是利用机器人操作系统ROS的话题订阅和发布机制，即控制端电脑通过订阅无线局域网中无人机导航数据，然后对导航数据进行处理、结合参考轨迹和控制器计算出给无人机的控制指令，最后将该指令通过无线局域网发布；当目标无人机被多个摄像机同时观察，实时获取该无人机的三维位置和姿态角信息。2.根据权利要求1所述的一种基于视觉传感器网络的多运动体三维跟踪与控制平台，其特征在于，该平台的操作流程开始于多摄像机系统的搭建，包括所有摄像机的部署和计算机的设置；然后，进行多摄像机标定以描述三维空间特征点和相应二维图像像素之间的映射关系，之后将机载反光小球布置到目标无人机上；无人机飞行测试开始时，三维视觉跟踪主算法开始工作；首先，摄像机捕获机载小球特征点的图像并通过图像处理算法获得该标志点的精确像素坐标，并将该像素点坐标发送到导航计算机；然后，利用图像点和实际点之间的对应关系，通过三角测量原理对该点进行三维重建；通过EKF将过程模型和视觉测量模型一起使用来估计无人机位姿；之后，无人机位姿信息在无线局域网中广播和发布，由Simulink模型订阅并进行处理；利用机器人系统工具箱在Simulink模型和支持ROS的无人机之间建立通信；最后，控制计算机将处理视觉导航数据并将控制命令通过ROS反馈给无人机。3.根据权利要求1所述的一种基于视觉传感器网络的多运动体三维跟踪与控制平台，其特征在于，所述的模块包括相机管理、标定管理和跟踪管理三个核心功能子模块；通过相机管理子模块，进行图像获取、处理与预览操作，获取摄像机实时图像信息，观察摄像机之间的摆放位置是否合理，并辅助摄像机布局操作；通过标定管理子模块，进行摄像机标定操作，包括挥杆获取标定点数据、运行标定主算法以及定原点创建全局坐标系；通过跟踪管理子模块，进行刚体建模、刚体跟踪和三维窗口显示操作，用于实时地观察刚体运动状态。4.根据权利要求3所述的一种基于视觉传感器网络的多运动体三维跟踪与控制平台，其特征在于，三个子模块具体介绍；S11、实现相机管理子模块相机管理的功能是针对每一台摄像机，分别进行图像采集、特征点提取和图像显示操作；在线调节摄像机的曝光时间、阈值分割时用到的阈值；在相机标定前，需要先检测相机视角；特征点检测与提取的是对摄像机获取的灰度图像进行处理，获取特征点的像素坐标；将图像处理算法放在摄像机端处理；同时将直接处理后的特征点坐标输出给标定主算法；该算法的步骤包括：阈值化、高斯平滑、轮廓获取和特征点提取；S111、阈值化；直接利用灰度阈值化将图像分割，假设原图像点(u,v)的灰度为I(u,v)，经过阈值化处理后的灰度为I
′
(u,v)，则阈值化操作如下
其中，为设定的灰度阈值，其灰度阈值根据实际过程中摄像机快门、曝光时间及环境光照强度确定，表示正实数集；S112、高斯平滑；利用滤波器模板确定的邻域内像素的加权均值来代替图像中原像素值；一幅分辨率为M
×
N的图像经过一个大小为m
×
n的加权均值滤波过程为其中，a＝(m
‑
1)/2,b＝(n
‑
1)/2a＝(m
‑
1)/2,b＝(n
‑
1)/2；a和b的定义如下a＝(m
‑
1)/2,b＝(n
‑
1)/2，s为[
‑
a,a]之间的整数，t为[
‑
b,b]之间的整数，w为高斯滤波器；在OpenCV中有相应的函数GaussianBlur()，除了模板尺寸之外，还有高斯滤波在横向和竖向的滤波系数可以实际选择；S113、轮廓获取；利用OpenCV的findContours函数在图像中找到多个区块(blob)并标记，利用8连通区域找轮廓，需要判断：区域中面积需要在一定范围内；同时需要限定区域的长宽比很小；S114、特征点提取；在轮廓提取之后，确定所有特征点的轮廓区块，每一个轮廓包含多个像素，利用图像矩计算区块的中心坐标；图像矩M
pq
的计算公式为其中，u,v是像素值；则可以直接计算每个区块的亚像素级中心坐标为u,v是像素值；则可以直接计算每个区块的亚像素级中心坐标为表示正整数集，摄像机端的图像处理部分已经完成，给后面标定和跟踪算法的数据是每个摄像机拍摄到的所有特征点像素坐标；S12、实现标定管理子模块标定管理的功能是基于摄像机通用成像模型，对视觉传感器网络中摄像机参数进行标定，以及把基准坐标系从某一个参考摄像机坐标系转换到惯性坐标系；S121、建立摄像机通用成像模型；引入四个坐标系，包括世界坐标系O
w
‑
X
w
Y
w
Z
w
、相机坐标系O
c
‑
X
c
Y
c
Z
c
、图像坐标系O
‑
XY、像素坐标系UV；跟踪目标点P(X
w
,Y
w
,Z
w
)在相机坐标系中坐标(X
c
,Y
c
,Z
c
)由旋转平移得到：其中，R,T分别为旋转矩阵和平移向量；相机坐标系中坐标(X
c
,Y
c
,Z
c
)到图像坐标系坐标(x,y)为透视投影变换，由三角形相似关系可得：
其中，f为相机焦距；图像坐标系坐标(x,y)到像素坐标系坐标(u,v)满足比例关系：其中，f
x
,f
y
为横轴分辨率、纵轴分辨率，u0,v0为主点坐标；最终可得三维点从世界坐标系变换到像素坐标系的关系为：其中为相机内参，为相机外参；引入通用成像模型，将(X
w
,Y
w
,Z
w
)与(u,v)的关系转变为球坐标其中定义R
·
sinθ为r(θ)，即图像点和主点(相机光轴与图像平面的交点)之间的距离，具体为：r(θ)＝k1θ+k2θ3+k3θ5+k4θ7+k5θ9+
…
(9)其中，k1,k2,k3,k4,k5为待定参数，θ为光轴与入射光线的夹角；则(X
w
,Y
w
,Z
w
)与(u,v)的关系转为内参外参[R T]的确定；S122、内参标定，通过最小化成像点...

【专利技术属性】
技术研发人员：邓恒，詹璟原，张利国，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：