目标跟踪方法、跟踪装置和3D显示方法及显示装置制造方法及图纸

本发明专利技术涉及一种目标跟踪方法和装置，包括：根据首次跟踪算法输出被跟踪目标位置坐标，同时初始化作用于时变系统之上的滤波器；以及当跟踪算法输出一个新的有延迟的被跟踪目标的当前位置坐标时，通过作用于时变系统之上的滤波器对系统状态进行更新；比较被跟踪目标的移动速度与补偿判定阈值；以及如果被跟踪目标的移动速度大于补偿判定阈值，则通过作用于时变系统之上的滤波器对有延迟的被跟踪目标的当前位置坐标进行延迟补偿，并且输出补偿后的当前位置坐标。本发明专利技术还提供了基于目标跟踪方法和装置的3D显示方法和装置。本发明专利技术补偿了由于计算处理等不可抗因素导致的延迟时间内的被跟踪目标的当前位置坐标的空间延迟量，最终提高了裸眼3D显示质量。

【技术实现步骤摘要】
目标跟踪方法、跟踪装置和3D显示方法及显示装置
本专利技术涉及一种目标跟踪方法和装置、以及基于目标跟踪方法和装置的3D显示方法和装置。
技术介绍
现有的基于实时视频的目标跟踪预测方法，其技术方案多集中于：根据当前帧的目标跟踪结果，利用卡尔曼滤波器对下一帧图像中目标可能出现的区域作出预测，在下一帧时，先在前一次预测的区域内对目标进行搜索。这样利用前一帧的预测结果来缩小当前帧的搜素范围，可以大幅减少计算量，加快跟踪的速度，提高了目标跟踪的实时性。相关技术参见申请号为CN201210490994，名称为“一种基于预测的运动跟踪方法”、以及申请号为CN201410160852，名称为“人眼跟踪方法及装置”的相关专利申请，其内容结合于此作为参考。图1是3D显示原理的示意图。如图1中所示，一种3D显示系统包括：头部跟踪器102，用于跟踪人的头部的位置；跟踪模块104，包括计算模块104-2和控制模块104-4，用于根据头部跟踪器获得的人的头部的位置，进行计算并且控制显示模块和可控光学系统，以将正确图像显示给用户；显示模块106，用于在控制模块的控制下进行显示；可控光学系统108，用于在控制模块的控制下进行调节，以给用户提供正确显示。图2是目标跟踪传感器在t0时刻对被跟踪目标的原始数据进行采样的示意图，此处的被跟踪目标是人眼，其还可以是人的头部、脸部、以及其他部位。但是，在基于实时视频、红外探测、深度摄像头、穿戴设备等方式的目标跟踪的过程中，由于计算耗时等不可抗因素，当人体快速移动时，现有跟踪算法得到的被跟踪目标位置跟踪结果具有一定空间上的延迟。如图3所示，在Δt时间内，现有跟踪算法对原始数据进行计算，人体继续移动，导致目标跟踪结果具有空间上的延迟。将此跟踪结果应用于裸眼3D立体显示中时，则可能导致3D立体显示效果下降，如人体快速移动时可能发生反视现象。图4中示出在不对延迟量进行补偿的情况下，导致反视现象的示意图。如图4中所示，在t0时刻，被跟踪目标(例如，人眼)处于(x0,y0,z0)位置，此时摄像头对人物进行拍摄或红外传感器、深度传感器等对被跟踪目标数据进行采集，得到原始图像/数据。现有的跟踪算法对该原始图像/数据进行一系列分析处理，于t0+Δt时刻报告出被跟踪目标的位置坐标(x0,y0,z0)(此处，假设现有跟踪算法总可以准确无误地计算得到正确的被跟踪目标位置)，并根据此被跟踪目标位置，在显示设备上显示对应的3D立体图像，其左右眼视区分别对准跟踪算法得到的左右眼位置，在这个过程中，跟踪、排图等算法的计算、处理共耗时Δt。在本实施例中，显示设备包括显示模块与分光器件，分光器件用于将显示模块上显示的图像分别发送到人的左眼和右眼，以显示立体图像。事实上，由于人体在Δt时间内可以继续移动，所以在t0+Δt时刻被跟踪目标的真实位置已经发生了改变，不再是t0时刻的(x0,y0,z0)，而移动到了t0+Δt时刻的(x’,y’,z’)。正是由于计算耗时等不可抗因素，现有跟踪算法报告的被跟踪目标位置结果具有Δt时间的延迟，其与真实位置的偏差量由Δt与被跟踪目标移动的速度共同决定。在这种情况下，如果在3D显示排图时未补偿被跟踪目标位置的延迟量，则很可能发生反视现象，即，人体实际的左眼位于3D立体显示的右眼视区，而实际的右眼位于3D立体显示的左眼视区，从而表现出错误的显示效果。因此，需要一种能够解决计算耗时等不可抗因素导致的跟踪结果延迟/滞后的问题的手段。
技术实现思路
为了解决以上问题，本专利技术提供了一种目标跟踪方法和装置、以及3D显示方法和装置。根据本专利技术的一方面，提供一种目标跟踪方法，包括：根据首次跟踪算法输出被跟踪目标的位置坐标，同时初始化作用于时变系统之上的滤波器；以及当跟踪算法输出一个新的有延迟的被跟踪目标的当前位置坐标时，通过作用于时变系统之上的滤波器对系统状态进行更新；比较被跟踪目标的移动速度与补偿判定阈值，确定是否对当前位置坐标进行补偿；以及如果被跟踪目标的移动速度大于补偿判定阈值，则通过作用于时变系统之上的滤波器对有延迟的被跟踪目标的当前位置坐标进行延迟补偿，并且输出补偿后的当前位置坐标。作用于时变系统之上的滤波器可以为卡尔曼滤波器、平滑滤波器、巴特沃斯滤波器、二项式系数滤波器、或者维纳滤波器。具体地，在作用于时变系统之上的滤波器为卡尔曼滤波器的情况下：初始化卡尔曼滤波器包括：初始化计数器、延迟量补偿的系数矩阵、传感器的采样间隔、系统状态量的后验估计、系统状态转移系数矩阵、系统状态噪声增益矩阵、系统状态噪声协方差矩阵、测量系数矩阵、测量噪声协方差矩阵、系统状态后验估计的误差协方差矩阵。卡尔曼滤波器可以结合强跟踪滤波器对系统状态进行更新并且对被跟踪目标的当前位置坐标进行补偿。强跟踪滤波器可以是带多重次优渐消因子的强跟踪滤波器。强跟踪滤波器使用前，需要进行初始化，具体地，初始化强跟踪滤波器可以包括：初始化多重次优渐消因子的比例系数、强跟踪滤波器的遗忘因子、强跟踪滤波器的弱化因子。该方法可以包括通过卡尔曼滤波器和强跟踪滤波器进行以下更新处理：获取被跟踪目标的当前位置坐标；利用当前位置坐标，计算状态预测方程对系统状态量在采样时刻的先验估计利用先验估计计算测量方程的残差γ；利用残差γ，计算强跟踪滤波器的中间变量V；利用中间变量V，计算强跟踪滤波器的中间变量N；利用中间变量N，计算强跟踪滤波器的中间变量M；利用中间变量M，计算多重次优渐消因子的系数c；利用多重次优渐消因子的系数c，计算强跟踪滤波器的多重次优渐消因子λi；利用强跟踪滤波器的多重次优渐消因子λi，计算卡尔曼滤波器的系统状态先验估计的误差协方差矩阵P_；利用系统状态先验估计的误差协方差矩阵P_，计算卡尔曼滤波器的卡尔曼增益Kg；利用卡尔曼增益Kg，计算测量更新方程对系统状态量在采样时刻的后验估计利用后验估计计算卡尔曼滤波器的系统状态后验估计的误差协方差矩阵P。该方法可以通过卡尔曼滤波器和强跟踪滤波器进行延迟补偿包括：利用所计算的以上参数，根据公式计算补偿之后的被跟踪目标的当前位置坐标，其中，(xreal,yreal,zreal)是补偿之后的被跟踪目标的当前位置坐标，(x,y,z)是卡尔曼滤波器的后验估计中的位置坐标(x,y,z)，||(vx,vy,vz)||是速度值(vx,vy,vz)的2-范数，S是延迟补偿的系数矩阵，τ是补偿判定阈值，τ>0。被跟踪目标的当前位置坐标可以是三维坐标或二维坐标。使用作用于时变系统之上的滤波器对被跟踪目标的当前位置坐标进行滤波去噪，大幅消除了跟踪算法的计算误差和系统噪声，去除了被跟踪目标的当前位置坐标中的数据抖动。引入强跟踪滤波器的多重次优渐消因子，提高了作用于时变系统之上的滤波器对移动目标的跟踪性能，从而得到最接近最初获得的被跟踪目标位置时刻的目标真实运动状态的系统状态量。根据本专利技术的另一方面，提供一种3D显示方法，包括：根据本专利技术的目标跟踪方法获取被跟踪目标的当前位置坐标；以及根据被跟踪目标的当前位置坐标进行排图，在显示设备上显示相应立体图像给用户。根据本专利技术的另一方面，提供一种目标跟踪装置，包括：目标跟踪单元，用于跟踪被跟踪目标位置以获取被跟踪目标的当前位置坐标；以及更新和补偿单元，包括作用于时变系统之上的本文档来自技高网...

【技术保护点】
一种目标跟踪方法，其特征在于，包括：根据首次跟踪算法输出被跟踪目标的位置坐标，同时初始化作用于时变系统之上的滤波器；以及当所述跟踪算法输出一个新的有延迟的被跟踪目标的当前位置坐标时，通过所述作用于时变系统之上的滤波器对系统状态进行更新；比较被跟踪目标的移动速度与补偿判定阈值，确定是否对当前位置坐标进行补偿；以及如果所述被跟踪目标的移动速度大于所述补偿判定阈值，则通过所述作用于时变系统之上的滤波器对所述有延迟的被跟踪目标的当前位置坐标进行延迟补偿，并且输出补偿后的被跟踪目标的当前位置坐标。

【技术特征摘要】
1.一种目标跟踪方法，其特征在于，包括：根据首次跟踪算法输出被跟踪目标的位置坐标，同时初始化作用于时变系统之上的滤波器；以及当所述跟踪算法输出一个新的有延迟的被跟踪目标的当前位置坐标时，通过所述作用于时变系统之上的滤波器对系统状态进行更新；比较被跟踪目标的移动速度与补偿判定阈值，确定是否对当前位置坐标进行补偿；以及如果所述被跟踪目标的移动速度大于所述补偿判定阈值，则通过所述作用于时变系统之上的滤波器对所述有延迟的被跟踪目标的当前位置坐标进行延迟补偿，并且输出补偿后的被跟踪目标的当前位置坐标，其中，所述被跟踪目标的当前位置坐标为三维坐标。2.根据权利要求1所述的目标跟踪方法，其特征在于，所述作用于时变系统之上的滤波器为卡尔曼滤波器、平滑滤波器、巴特沃斯滤波器、二项式系数滤波器、或者维纳滤波器。3.根据权利要求1所述的目标跟踪方法，其特征在于，所述作用于时变系统之上的滤波器为卡尔曼滤波器，初始化所述卡尔曼滤波器包括：初始化计数器、延迟量补偿的系数矩阵、传感器的采样间隔、系统状态量的后验估计、系统状态转移系数矩阵、系统状态噪声增益矩阵、系统状态噪声协方差矩阵、测量系数矩阵、测量噪声协方差矩阵、系统状态后验估计的误差协方差矩阵。4.根据权利要求1所述的目标跟踪方法，其特征在于，所述作用于时变系统之上的滤波器为卡尔曼滤波器，所述卡尔曼滤波器结合强跟踪滤波器，对系统状态进行更新并且对被跟踪目标的当前位置坐标进行补偿。5.根据权利要求4所述的目标跟踪方法，其特征在于，所述强跟踪滤波器是带多重次优渐消因子的强跟踪滤波器，初始化所述强跟踪滤波器包括:初始化多重次优渐消因子的比例系数、强跟踪滤波器的遗忘因子、强跟踪滤波器的弱化因子。6.根据权利要求4或5所述的目标跟踪方法，其特征在于，所述方法包括通过所述卡尔曼滤波器和所述强跟踪滤波器进行以下更新处理：获取所述被跟踪目标的当前位置坐标；利用所述当前位置坐标，计算状态预测方程对系统状态量在采样时刻的先验估计利用所述先验估计计算测量方程的残差γ；利用所述残差γ，计算所述强跟踪滤波器的中间变量V；利用所述中间变量V，计算所述强跟踪滤波器的中间变量N；利用所述中间变量N，计算所述强跟踪滤波器的中间变量M；利用所述中间变量M，计算多重次优渐消因子的系数c；利用所述多重次优渐消因子的系数c，计算所述强跟踪滤波器的多重次优渐消因子λi；利用所述强跟踪滤波器的多重次优渐消因子λi，计算所述卡尔曼滤波器的系统状态先验估计的误差协方差矩阵P_；利用所述系统状态先验估计的误差协方差矩阵P_，计算所述卡尔曼滤波器的卡尔曼增益Kg；利用所述卡尔曼增益Kg，计算测量更新方程对系统状态量在采样时刻的后验估计以及利用所述后验估计计算所述卡尔曼滤波器的系统状态后验估计的误差协方差矩阵P。7.根据权利要求6所述的目标跟踪方法，其特征在于，通过所述卡尔曼滤波器和所述强跟踪滤波器进行延迟补偿包括：利用所计算的以上参数，根据公式计算补偿之后的被跟踪目标的当前位置坐标，其中，(xreal,yreal,zreal)是补偿之后的被跟踪目标的当前位置坐标，(x,y,z)是卡尔曼滤波器的后验估计中的位置坐标(x,y,z)，||(vx,vy,vz)||是速度值(vx,vy,vz)的2-范数，S是延迟补偿的系数矩阵，τ是所述补偿判定阈值，τ>0。8.一种3D显示方法，其特征在于，包括：根据权利要求1至7中任一项所述的目标跟踪方法获取被跟踪目标的当前位置坐标；以及根据所述被跟踪目标的当前位置坐标进行排图，在显示设备上显示相应立体图像给用户。9.一种目标跟踪装置，其特征在于，包括：目标跟踪单元，用于跟踪被跟踪目标位置以获取被跟踪目标的当前位置坐标；以及更新和补偿单元，包括作用于时变系统之上的滤波器，在所述目...

【专利技术属性】
技术研发人员：杨青，简培云，李东方，
申请(专利权)人：深圳超多维光电子有限公司，
类型：发明
国别省市：广东;44