三维立体空间中的多目标跟踪方法技术

三维立体空间中的多目标跟踪方法，由跟踪装置对被跟踪目标进行三维空间跟踪，被跟踪目标设备上安装有光信号发射器，光信号发射器依据设定的识别码规律的产生光信号，跟踪装置通过摄像机连续拍摄的方式获取光信号的信息，根据光信号规律对被跟踪目标设备的姿势进行跟踪识别，所述姿势为被跟踪目标设备的立体空间位置和旋转。本发明专利技术是一套完整的多目标在立体空间的定位和跟踪解决方案，可以很好的和各种立体应用程序配合。用编码的方式将各个关键点加以区分，以此来获得更准确的跟踪效果，实现多目标跟踪，不仅定位准确，而且还可以提供被跟踪目标的方向信息，实现三维坐标的平移及旋转信息的及时获取。

【技术实现步骤摘要】

本专利技术涉及计算机立体视觉(Stereo Vision)、通信编码(Channel Coding)、计算机搜索技术(Computer Searching Methods)、模式识别(Pattern Recognition) 数值分析(Numerical Analysis)，适用于虚拟现实和控制系统的输入环节，以及面向轨迹的操作应用，为一种。
技术介绍
目前，普及应用的输入设备主要是键盘为代表的按键类设备和鼠标触摸屏为代表的指点类设备。在文字处理和日常性办公室用中可以很好的满足要求，但是在日趋火热的三维处理领域，以符号或二维坐标为输入信号的外围设备则不能很好的适应这种趋势。而现有的三维输入系统又存在实时性、精度、自由度、可靠性、便携性、成本等方面的不足。为此，一种廉价的易于集成的实时三维立体输入技术将促进立体技术的普及和应用深入。三维输入设备主要有以下几种(1)三维扫描仪通过对同一物体多角度的扫描来重建物体的立体模型。优点扫描精度高。缺点扫描时间长，不适合运动物体的建模。(2)运动重建设备使用运动传感器，可以感知设备加速度和角度的变化，然后通过积分来重建运动轨迹。优点成本低，适合简单应用。缺点初始位置无法确定，只能通过积分变换得到相对位移。此类的输入设备的数据精度不高，且误差有时间累积效应。(3)3D摄像机模仿人眼的结构，通过两个或以上摄像头同步获取的图像进行解析，以达到三维模型的重建。优点理论上可以媲美人眼来完全解析任何立体。缺点算法耗费运算量很大，成像质量要求高，不适合大规模实时的场合。(4)透视法解析此方法只适合空间某点的解析，利用“近大远小”的透视法则使用一个摄像机来对球型物体进行定位。优点成本极低，算法简单，实时性好。缺点精度一般，不能进行旋转操作。(5)深度摄像机a)第一种是投影设备对物体投射有规律的图案，然后对反馈回来的空间扭曲图案进行逆向解析来得到立体影像。缺点需要额外的投影设备，分辨率受到投射图案和摄像设备的双重限制。b)第二种是由光源以脉冲的形式发光，然后对光线传播的时间进行计算，得到物体的立体影像。缺点要求有精确的拍摄时间控制。共同优点算法相对简单，容易集成；共同缺点对被解析物体材质的反光特性有一定要求；受环境光影像很大。(6)三维鼠标由传统鼠标升级而成，加入了旋钮和可升降的机械模块，用于表示立体空间中的上下移动和旋转。优点符合传统使用习惯，成本低。缺点Z轴方向上的移动相对较慢，附加的输入设备不符合人体对高度和旋转的直接理解，不能做到快速实时的立体轨迹的输入。对于目前的输入技术，主要问题集中在以下几个方面(1)摄像机的限制目前的摄像机虽然较以前有了明显的进步，但对于运动跟踪而言，高速摄像机的功耗、体积和价格都不能满足普及的需要。普通图像传感器在高速获取图 像的时候，为了保证所获取的画质，曝光时间上必须满足一定的条件，通常室外1/30秒， 室内1/5秒；为了保证足够的细节，通常采用彩色摄像机，对彩色的输出使得内部带宽比灰度摄像机增加了 3倍，对获取图像的数据处理计算量十分庞大，计算速度也受到限制。(2)算法的限制一般的步骤包括目标轮廓的提取和识别，关键点的识别与对齐， 目标位置和状态的还原。每一步都会有比较苛刻的条件限制。如复杂物体的建模，需要对大量的样本进行训练，同时也需要充足光照。(3)误差的控制上一次跟踪状态的误差往往会传播到当前判定过程，误差随时间又积累效应。当误差积累到一定限度以后，系统往往会对所跟踪的目标进行误判并丢失目标。同时，精度和速度往往是一对不可调和的矛盾。
技术实现思路
本专利技术要解决的问题是现有的三维立体输入技术，在实际应用中由于受到图像传感器、跟踪算法和跟踪误差等限制，存在系统复杂、设备昂贵、跟踪时受限条件多、精度不高、输入信息处理数据量大等各种问题。本专利技术的技术方案为，由跟踪装置对被跟踪目标进行三维空间跟踪，被跟踪目标设备上安装有光信号发射器，光信号发射器依据设定的识别码规律的产生光信号，跟踪装置通过摄像机连续拍摄的方式获取光信号的信息，从而对被跟踪目标设备的姿势进行跟踪识别，所述姿势为被跟踪目标设备的立体空间位置和旋转在被跟踪目标上选定关键点，在关键点上对应设置光信号发射器，并对应设置编码电路和时序控制电路，编码电路对每一个光信号发射器设置唯一的二进制识别码，二进制识别码对应光信号发射器的亮灭，所述二进制识别码之间满足一个识别码与其余任意识别码经过“或运算”后不能得到另一个识别码；时序控制电路控制所有光信号发射器的亮灭时序，所述亮灭时序与摄像机帧时序在时间上保持同步，光信号发射器按照二进制识别码和亮灭时序，不断发出周期性光信号，组成定位坐标系统；开始跟踪时，首先进行初始化，设置被跟踪目标设备上的关键点对应的光发射器全亮，跟踪装置在建立光信号立体坐标的基础上，将被跟踪目标经过一个帧时序后所有可能的姿势作为初值，用来生成初始的轨迹路径，轨迹路径是对被跟踪目标的姿势关于时间的描述；跟踪装置通过对关键点的识别实现对被跟踪目标运动轨迹路径的更新，跟踪装置包括跟踪信号接收系统和跟踪信号处理系统，所述跟踪信号接收系统由一组摄像机及立体坐标重建模块组成，摄像机即为图像传感器及其配套的光学系统，图像传感器在光信号发射器亮灭的同时，同步拍摄获取其光信号，立体坐标重建模块在一组摄像机成像平面的基础上重建所获取的光信号的空间坐标；跟踪信号处理系统依据编码电路设置的识别码以及亮灭时序进行动态解码，解码的过程也就是对被跟踪目标进行跟踪的过程由识别码确定设置在关键点上光信号发射器的亮灭，将识 别码确定的亮灭时序与同步拍摄的图像序列对应，搜索光信号和关键点之间的对应关系，确定关键点的空间坐标信息；由轨迹路径预测出当前时刻被跟踪目标设备的姿势，然后根据关键点的空间坐标对预测姿势进行校正；根据校正前后姿势的差异值，选择差异值最小的校正后姿势，确定为被跟踪目标设备在空间中的姿势，并将其更新到轨迹路径中，如此循环，实现对被跟踪目标姿势的持续跟踪，其中轨迹路径最多保留1帧所对应的姿势用于预测下一帧的姿势，1为假定运动状态不变的时间段所对应的帧数，为进行跟踪之前的初始设定值。对每一个被跟踪目标设置多条轨迹数据来保存搜索过程中得到的各种可能的轨迹路径所对应的姿势及其拍摄时间，并将所述轨迹数据作为下一次跟踪的预测姿势的预测基础；对同一个被跟踪目标的不同轨迹数据所记录的校正前后姿势的差异值求和，得到轨迹数据的总差异值，确定与总差异值差别最小的轨迹数据所对应的轨迹路径作为实际的运动轨迹结果输出，用于防止预测错误的发生。在校正被跟踪目标姿势之后，检查在此姿势下，搜索到的关键点是否涵盖了所有摄像机理论上可以捕捉到的关键点，检查过程依据关键点在被跟踪目标设备上的位置、关键点对应光发射器的亮灭情况和校正出来的姿势来进行。优选跟踪装置和被跟踪目标设备之间有通信连接，用于数据和指令的传输，保证跟踪装置和被跟踪目标设备之间的时序同步。本专利技术采用双目摄像机，通过捕捉至少3个不共线的关键点及其立体空间坐标确定被跟踪目标设备的姿势，立体坐标重建模块通过双目摄像机获得的图像基础上重建出光信号的立体坐标点，所述的双目摄像机是指拍摄图像完全同步的两台并列摆放的摄像机。进一步的，被跟踪目标上还设有运动传感器，运动传感器获取被本文档来自技高网...

【技术保护点】
１．三维立体空间中的多目标跟踪方法，由跟踪装置对被跟踪目标进行三维空间跟踪，其特征是被跟踪目标设备上安装有光信号发射器，光信号发射器依据设定的识别码规律的产生光信号，跟踪装置通过摄像机连续拍摄的方式获取光信号的信息，从而对被跟踪目标设备的姿势进行跟踪识别，所述姿势为被跟踪目标设备的立体空间位置和旋转：在被跟踪目标上选定关键点，在关键点上对应设置光信号发射器，并对应设置编码电路和时序控制电路，编码电路对每一个光信号发射器设置唯一的二进制识别码，二进制识别码对应光信号发射器的亮灭，所述二进制识别码之间满足一个识别码与其余任意识别码经过“或运算”后不能得到另一个识别码；时序控制电路控制所有光信号发射器的亮灭时序，所述亮灭时序与摄像机帧时序在时间上保持同步，光信号发射器按照二进制识别码和亮灭时序，不断发出周期性光信号，组成定位坐标系统；开始跟踪时，首先进行初始化，设置被跟踪目标设备上的关键点对应的光发射器全亮，跟踪装置在建立光信号立体坐标的基础上，将被跟踪目标经过一个帧时序后所有可能的姿势作为初值，用来对应生成初始的轨迹路径，轨迹路径是对被跟踪目标的姿势关于时间的描述；跟踪装置通过对关键点的识别实现对被跟踪目标运动轨迹路径的更新，跟踪装置包括跟踪信号接收系统和跟踪信号处理系统，所述跟踪信号接收系统由一组摄像机及立体坐标重建模块组成，摄像机即为图像传感器及其配套的光学系统，图像传感器在光信号发射器亮灭的同时，同步拍摄获取其光信号，立体坐标重建模块在一组摄像机成像平面的基础上重建所获取的光信号的空间坐标；跟踪信号处理系统依据编码电路设置的识别码以及亮灭时序进行动态解码，解码的过程也就是对被跟踪目标进行跟踪的过程：由识别码确定设置在关键点上光信号发射器的亮灭，将识别码确定的亮灭时序与同步拍摄的图像序列对应，搜索光信号和关键点之间的对应关系，确定关键点的空间坐标信息；由轨迹路径预测出当前时刻被跟踪目标设备的姿势，然后根据关键点的空间坐标对预测姿势进行校正；根据校正前后姿势的差异值，选择差异值最小的校正后姿势，确定为被跟踪目标设备在空间中的姿势，并将其更新到轨迹路径中，如此循环，实现对被跟踪目标姿势的持续跟踪，其中轨迹路径最多保留ｌ帧所对应的姿势用于预测下一帧的姿势，ｌ为假定运动状态不变的时间段所对应的帧数，为进行跟踪之前的初始设定值。...

【技术特征摘要】
1.三维立体空间中的多目标跟踪方法，由跟踪装置对被跟踪目标进行三维空间跟踪， 其特征是被跟踪目标设备上安装有光信号发射器，光信号发射器依据设定的识别码规律的产生光信号，跟踪装置通过摄像机连续拍摄的方式获取光信号的信息，从而对被跟踪目标设备的姿势进行跟踪识别，所述姿势为被跟踪目标设备的立体空间位置和旋转在被跟踪目标上选定关键点，在关键点上对应设置光信号发射器，并对应设置编码电路和时序控制电路，编码电路对每一个光信号发射器设置唯一的二进制识别码，二进制识别码对应光信号发射器的亮灭，所述二进制识别码之间满足一个识别码与其余任意识别码经过“或运算”后不能得到另一个识别码；时序控制电路控制所有光信号发射器的亮灭时序，所述亮灭时序与摄像机帧时序在时间上保持同步，光信号发射器按照二进制识别码和亮灭时序，不断发出周期性光信号，组成定位坐标系统；开始跟踪时，首先进行初始化，设置被跟踪目标设备上的关键点对应的光发射器全亮， 跟踪装置在建立光信号立体坐标的基础上，将被跟踪目标经过一个帧时序后所有可能的姿势作为初值，用来对应生成初始的轨迹路径，轨迹路径是对被跟踪目标的姿势关于时间的描述；跟踪装置通过对关键点的识别实现对被跟踪目标运动轨迹路径的更新，跟踪装置包括跟踪信号接收系统和跟踪信号处理系统，所述跟踪信号接收系统由一组摄像机及立体坐标重建模块组成，摄像机即为图像传感器及其配套的光学系统，图像传感器在光信号发射器亮灭的同时，同步拍摄获取其光信号，立体坐标重建模块在一组摄像机成像平面的基础上重建所获取的光信号的空间坐标；跟踪信号处理系统依据编码电路设置的识别码以及亮灭时序进行动态解码，解码的过程也就是对被跟踪目标进行跟踪的过程由识别码确定设置在关键点上光信号发射器的亮灭，将识别码确定的亮灭时序与同步拍摄的图像序列对应，搜索光信号和关键点之间的对应关系，确定关键点的空间坐标信息；由轨迹路径预测出当前时刻被跟踪目标设备的姿势， 然后根据关键点的空间坐标对预测姿势进行校正；根据校正前后姿势的差异值，选择差异值最小的校正后姿势，确定为被跟踪目标设备在空间中的姿势，并将其更新到轨迹路径中， 如此循环，实现对被跟踪目标姿势的持续跟踪，其中轨迹路径最多保留1帧所对应的姿势用于预测下一帧的姿势，1为假定运动状态不变的时间段所...

【专利技术属性】
技术研发人员：汤牧天，
申请(专利权)人：汤牧天，
类型：发明
国别省市：84