一种基于双目视频传感器的高精度三维运动轨迹采集定位与运动过程再现方法技术

本发明专利技术公开了一种基于双目视频传感器的高精度三维运动轨迹采集与运动过程再现方法，本发明专利技术主要应用于对田径、游泳及冰上比赛等竞速项目的运动员运动情况数据采集与综合分析，帮助运动员教练员有效分析运动特点，改善运动策略提升运动成绩。本发明专利技术主要包括两个方面：首先，它采用了高精度视频目标跟踪技术与伺服控制跟踪系统，用于确定目标角度方位。其次，它通过相机标定与双目立体视觉技术使跟踪到的像素坐标数据，转台转角数据转换为三维空间坐标，进而得到运动目标在三维空间中的运动轨迹。然后可以通过高精度伺服控制系统对某一空间平面如运动场地平面进行光学投影，从而再现原目标的运动过程，使每一时刻投影的位置、速度和加速度等与之前所采集的目标运动过程一致。

【技术实现步骤摘要】
一种基于双目视频传感器的高精度三维运动轨迹采集定位与运动过程再现方法
本专利技术属于计算机视觉与计算机控制领域，具体涉及机器视觉跟踪技术、双目视觉定位技术、高精度伺服控制等
，是一种基于双目视频传感器的高精度定位方法。
技术介绍
近年来，随着计算机硬件水平的提高，计算机视觉技术飞速发展。其中计算机视觉中的目标跟踪技术也随之受益。不过遗憾的是现有的目标跟踪技术和云台跟踪系统的结合多用于安防监控领域而鲜有其他。近些年，随着冬奥会的即将到来，体育事业的发展也逐渐被重视。传统的冰上运动员，滑雪运动员一般通过记录整段滑行时间、滑行距离以及回放录像等来数据分析滑行质量。但由于无法分析运动员每一时刻的运动状态以及整个滑行轨迹，使得运动员不能达到理想的训练效果。基于诸如类似的辅助训练系统缺陷，急需引入双目视觉技术对运动员进行精确定位。但由于早期的计算机算力限制等原因导致无法使用实时的高精度跟踪算法、并且加上用于安防领域的云台伺服角输出精度不够。因此无法将这类设备应用于高精度定位事业。
技术实现思路
有鉴于此，本专利技术提出了一种基于双目视频传感器的高精度定位方法，将高精度目标跟踪技术作为视觉传感器，应用于基于高精度转台的反馈控制系统中的测量元件，在提高伺服跟踪技术的基础上，利用双目视觉技术对目标进行定位。因此该专利技术可广泛应用于类似于冰上、雪上的高速运动并记录高精度数据的场合。本专利技术是一种基于双目视频传感器的高精度定位方法，包括如下步骤：第一步，设计三台高精度二维转台，并通过控制器，驱动器，运算器组成高精度伺服控制系统。第二步，设计两个电控伺服调焦镜头，分别将两台相机与镜头固定至第一步所述转台上方，两转台可放置最远距离为80米。第三步，将激光手电筒置于第三台转台上，此转台置于步骤二所述两转台中间。第四步，利用视频目标跟踪算法对每台相机传入的每帧图片中目标进行跟踪，并利用自适应PID控制算法，将跟踪得到的目标中心点与图像中心点做比较，使转台能够稳定跟踪目标转动。利用步骤二的变焦镜头，基于图像跟踪框与整幅图像作比较，使镜头稳定变焦。最终让运动目标稳定的呈现在两幅画面中心。第五步，通过相机标定，获取相机的内外参数并得到世界坐标系与图像坐标系关系的对应矩阵，通过双目立体视觉技术将每一帧运动目标的像素坐标转换成世界坐标。第六步，通过世界坐标系与步骤三转台的转角关系，利用插值计算可让激光器复现运动目标的运动状态和轨迹。3、如权利要求1所述一种基于双目视频传感器的高精度定位方法，其特征在于，利用先进的KCF相关滤波跟踪技术，使图像传感器具有回传速度快，运算量小，跟踪精度高等特点。4、如权利要求1所述一种基于双目视频传感器的高精度定位方法，其特征在于，应用自适应PID控制算法对于非线性时变系统具有良好的控制效果，针对于不同运动目标可使云台自动跟踪控制更稳定，捕捉目标位置更精确。5、如权利要求1所述一种基于双目视频传感器的高精度定位方法，其特征在于，利用双目视觉定位技术和云台控制系统能够记录运动目标每个时刻运动速度、加速度大小，并能通过激光手电筒复现运动目标轨迹。附图说明图1是本专利技术系统整体结构框图；图2是高精度云台设计图与实物图；图3是系统闭环控制原理图；图4是双目视觉技术原理图。具体实施方式下面结合附图和具体实施例对本专利技术进行详细说明。应指出的是，所描述的实例仅旨在便于对本专利技术的理解，而对其不起任何限定作用。该专利技术的总体硬件设计结构框图如图1所示，系统由三台高精度伺服转台、两台高帧率工业相机、一台激光器、一台运动控制器、一台目标跟踪器、与一台PC上位机组成，其中目标跟踪器负责对相机传输的图片做跟踪处理计算，上位机则只负责显示视频与向控制器发送指令。总体过程如下，架在云台上的相机向目标跟踪器同步传输图像数据，跟踪器对每一帧图像进行目标跟踪处理，将跟踪结果数据传送给PC机，PC机会根据得到的结果自动向控制器发送控制指令，进而使云台跟踪转动。待目标运动过程结束后，PC机会记录目标轨迹并向继续控制器发送指令，使激光器云台复现整个运动轨迹。第一，设计三台高精度二维转台，转台设计图与实物图如图2所示。本系统搭建的伺服旋转平台为高精度直驱伺服平台，它是一种采用直线电机直接驱动的运动控制平台,它改变过去依赖于机械转换装置才能将旋转电机的旋转运动转化为直线运动的约束,克服了传统机械转换机构的传动链长、体积大、效率低、精度差等缺陷。系统中所用的电机配有编码器，因此可以利用采集编码器的信号作为系统反馈，构建一个闭环控制系统，来实现伺服控制。本系统的总体方案如下：即使用两个直驱伺服电机，直接带动负载实现角度跟踪和定位，通过直驱电机的内置编码器实时检测伺服电机转动的角度，以实现位置、速度及加速度的精确闭环控制。第二，设计两个电控伺服调焦镜头结构，分别将两台相机与镜头固定至第一步所述转台上方，两转台可放置最远距离为80米。然后将激光手电筒安装至第三台转台上，并将此转台置于上述两转台中间。第三，利用跟踪运算器将两台相机所传入的视频流分别进行基于KCF算法的目标跟踪处理，跟踪器对每台相机处理每一帧图像，都会向控制器传入一个像素点坐标。如图3所示的闭环控制回路的原理图，每一帧图像产生的像素点坐标作为反馈变量，都会使系统产生新的误差。再通过设计好的自适应PID回路，使得每一帧图像都能对应伺服电机的每一次的速度输出，将离散的速度输出过程连续化就能够得到稳定的输出结果，实现转台对目标的稳定跟踪。第四，利用张氏标定法得到相机参数，标定和建立图像坐标系与世界坐标系的关系矩阵，利用如图4的双目立体视觉技术将每一帧运动目标的像素坐标转换成世界坐标。双目机器视觉是利用仿真生物视觉系统的原理，使用双摄像机从不同的角度获取同一三维场景的两幅数字图像，通过立体匹配计算两幅图像像素间的位置偏差(即视差)来获取该三维场景的几何信息与深度信息，并重建该场景的三维形状与位置。它的原理如图4所示，Ol，Or分别为左右相机的光心位置，该位置可通过转台转动角度根据几何关系精确求得，T为左右相机光心之间的距离即基线距离，f为相机焦距，左右相同，P为待测目标点，Z为待测目标点到基线的距离，即待测目标点的深度值。(xl,yl),(xr,yr)分别为P点在左右相机的像点坐标，由以下三角形相似关系可得出待测目标点的精确坐标。最后可以利用世界坐标系与步骤三转台的转角关系，经过投影计算可让转台投影系统复现运动目标的运动状态和轨迹。综上所述，以上仅为本专利技术的较佳实施例而已，并非用于限定本专利技术的保护范围。凡在本专利技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本专利技术的保护范围之内。本文档来自技高网...

【技术保护点】
1.一种基于双目视频传感器的高精度三维运动轨迹采集与运动过程再现方法，其特征在于：/n1，包含三台高精度二维转台，并通过控制器，驱动器，运算器组成高精度伺服控制系统。/n2，包含两个电控伺服调焦镜头，分别将两台相机与镜头固定至第一步所述转台上。/n3，将激光器或其他投影装置置于第三台转台上构成投影系统。/n4，利用视频目标跟踪算法对相机传入的图片目标位置进行跟踪，利用自适应控制算法，将跟踪得到的目标中心点与图像中心点偏差量做为反馈量，控制转台转动从而稳定跟踪目标运动。利用步骤二的变焦镜头，基于图像跟踪框与整幅图像作比较，使镜头稳定变焦，保持目标大小稳定，图像清晰。最终让运动目标稳定的呈现在两幅画面中心位置附近。/n5，通过相机标定，获取相机的内外参并得到世界坐标系与图像坐标系间的变换矩阵，通过数学变换将同一时刻通过两台相机采集图形所获得的运动目标的像素坐标位置及两套转台系统的转角，相机光学变焦参数等变换成三维世界坐标。/n6，通过世界坐标系与步骤三转台的转角关系，利用插值计算让投影系统复现运动目标的运动状态和轨迹。/n

【技术特征摘要】
1.一种基于双目视频传感器的高精度三维运动轨迹采集与运动过程再现方法，其特征在于：
1，包含三台高精度二维转台，并通过控制器，驱动器，运算器组成高精度伺服控制系统。
2，包含两个电控伺服调焦镜头，分别将两台相机与镜头固定至第一步所述转台上。
3，将激光器或其他投影装置置于第三台转台上构成投影系统。
4，利用视频目标跟踪算法对相机传入的图片目标位置进行跟踪，利用自适应控制算法，将跟踪得到的目标中心点与图像中心点偏差量做为反馈量，控制转台转动从而稳定跟踪目标运动。利用步骤二的变焦镜头，基于图像跟踪框与整幅图像作比较，使镜头稳定变焦，保持目标大小稳定，图像清晰。最终让运动目标稳定的呈现在两幅画面中心位置附近。
5，通过相机标定，获取相机的内外参并得到世界坐标系与图像坐标系间的变换矩阵，通过数学变换将同一时刻通...

【专利技术属性】
技术研发人员：刘明，刘宗达，董立泉，赵跃进，杨婉钰，严密，孔令琴，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京;11