一种基于电液可调焦镜头的移动目标三维轨迹追踪方法技术

本发明专利技术属于计算机视觉领域，涉及移动目标追踪方法技术领域，具体公开一种基于电液可调焦镜头的移动目标三维轨迹追踪方法，包括如下步骤：（1）获得调焦控制电流与相机内参的函数关系；（2）获得电液可调焦镜头调焦控制电流与最优成像物距之间的函数关系；（3）目标追踪算法初始化，追踪目标框作为后续对焦窗口；（4）进行一次自动对焦，记录对焦成功后的调焦控制电流值，以及追踪目标框的尺寸和中心点坐标；（5）将该调焦控制电流值对应的内参和最优成像物距，以及追踪目标框中心点坐标代入相机投影模型，算出目标的三维空间坐标并记录；（6）对同一目标重复步骤（4）、（5），将所记录的目标三维空间坐标按顺序连成轨迹。间坐标按顺序连成轨迹。间坐标按顺序连成轨迹。

【技术实现步骤摘要】
一种基于电液可调焦镜头的移动目标三维轨迹追踪方法


[0001]本专利技术属于计算机视觉领域，涉及移动目标追踪方法
，具体涉及一种基于电液可调焦镜头的移动目标三维轨迹追踪方法。

技术介绍

[0002]视觉目标追踪是人类最基本的视觉功能之一，同时也是计算机视觉领域最基础也是最重要的研究方向之一，持续受到包括神经科学和计算机科学在内的多学科研究工作者重点关注。但是目前的视觉目标追踪方法大多集中在二维图像平面上的追踪，对三维轨迹的追踪较少。但仅在二维平面上对目标进行追踪极大地限制了目标追踪技术的应用场景。
[0003]目前对视觉目标的三维轨迹追踪主要采用立体视觉的方法来实现，通过双目相机或多个相机，深度相机以及激光雷达等设备来恢复相机投影过程中丢失的深度信息，这些方法都具有结构复杂，设备成本较高的缺点，其中深度相机和激光雷达还受到其本身量程较小的限制，无法追踪较远处的目标。

技术实现思路

[0004]本专利技术的目的在于提供一种基于电液可调焦镜头的移动目标三维轨迹追踪方法。
[0005]基于上述目的，本专利技术采用如下技术方案：
[0006]一种基于电液可调焦镜头的移动目标三维轨迹追踪方法，包括如下步骤：
[0007]步骤1，在不同焦距下对电液可调焦镜头进行标定，获得调焦控制电流与相机内参的函数关系；
[0008]步骤2，建立电液可调焦镜头光学成像系统模型，获得电液可调焦镜头调焦控制电流与最优成像物距之间的函数关系；
[0009]步骤3，目标追踪算法初始化，生成追踪目标框并框选需追踪目标，追踪目标框作为后续对焦窗口；
[0010]步骤4，进行一次自动对焦，使图像中追踪目标框内清晰度评价值大于预设阈值K，记录对焦成功后的调焦控制电流I
i
，以及图像中追踪目标框的尺寸size
i
和去畸变后的中心点坐标(x
i
，y
i
)；
[0011]步骤5，将调焦控制电流值I
i
对应的内参(f
xi
，f
yi
，c
x
，c
y
，s以及畸变参数)和最优成像物距u
i
，以及去畸变后的追踪目标框中心点坐标(x
i
，y
i
)代入相机投影模型，算出目标的三维空间坐标(X
i
，Y
i
，Z
i
)并记录；
[0012]步骤6，对同一追踪目标重复步骤4
‑
5，将所记录的目标三维空间坐标按顺序连成轨迹，即为所追踪移动目标的三维轨迹。
[0013]进一步的，在步骤1中，电液可调焦镜头调焦控制电流与相机内参的函数关系建立过程为：在多个调焦控制电流下对电液可调焦镜头进行标定，通过曲线拟合获得调焦控制电流与相机内参的函数关系
[0014](f
x
，f
y
)＝H(I)
ꢀꢀꢀ
(1)
[0015]其中f
x
，f
y
为相机内参中随焦距值发生变化的参数，物理意义为相机在像素平面x，y方向上的等效焦距，单位为像素；I为电液可调焦镜头的调焦控制电流；
[0016]获取不随焦距值变化的相机内参c
x
，c
y
，s以及畸变参数(畸变参数数量由采用的标定方法决定)，c
x
，c
y
物理意义为相机光心在像素平面上的坐标，s物理意义为相机感光元件横边与纵边之间的倾斜参数，均可在标定中获得，为常数。
[0017]进一步的，步骤2中电液可调焦镜头调焦控制电流与最优成像物距的函数关系建立过程为：
[0018]利用建模得到的可调焦镜头光学成像系统模型，记录多个调焦控制电流下的最优成像物距，并对记录的数据进行曲线拟合，可得到电液可调焦镜头的调焦控制电流与最优成像物距之间的关系：
[0019]u＝F(I)
ꢀꢀꢀ
(2)
[0020]其中u为最优成像物距，I为电液可调焦镜头的调焦控制电流。
[0021]进一步的，步骤4中所述自动对焦包括第一次自动对焦和后续自动对焦，第一次自动对焦过程为：(1)以一定步长t从初始调焦控制电流(焦距最短或最长时)开始搜索，并同时对追踪目标框内部图像区域计算清晰度评价值，获得清晰度评价值最大时的调焦控制电流I1以及此时的清晰度评价值D
max
，并设置清晰度评价阈值
[0022]K＝αD
max
ꢀꢀꢀ
(3)
[0023]其中α为预设的清晰度置信度(α＜1)；K即为后续自动对焦时使用的预设清晰度评价阈值；
[0024](2)对焦完成后记录图像中追踪目标框的尺寸size1和去畸变后的中心点坐标(x1，y1)。
[0025]后续自动对焦过程为：计算追踪目标框内部图像区域的清晰度评价值，记为D
i
，若D
i
≥K，则直接记录此时的调焦控制电流I
i
、图像中追踪目标框的尺寸size
i
和去畸变后的中心点坐标(x
i
，y
i
)；若D
i
＜K,则读取此时图像中追踪目标框的尺寸size
i
，并与上一次成功对焦(成功对焦即为D
i
≥K)时的追踪目标框尺寸size
i
‑1进行比较：若size
i
＜size
i
‑1，则调焦控制电流以一定步长t向最优成像物距变长的方向搜索，并计算追踪目标框内清晰度评价值，直到清晰度评价值大于或等于阈值K完成对焦；若size
i
＞size
i
‑1，则调焦控制电流以一定步长t向最优成像物距变短的方向搜索，并计算追踪目标框内清晰度评价值，直到清晰度评价值大于或等于阈值K完成对焦；对焦完成之后记录搜索得到的调焦控制电流I
i
以及对焦后的图像中追踪目标框的尺寸size
i
和追踪目标框去畸变后的中心点坐标(x
i
，y
i
)。
[0026]进一步的，步骤4的去畸变为：根据选用的标定方法所使用的畸变模型，计算当前帧的去畸变图像，在去畸变后的图像(即去畸变图像)中读取并记录追踪目标框的中心点坐标(x
i
，y
i
)。
[0027]进一步的，步骤5中所述相机投影模型为：
[0028][0029]其中，(x
i
，y
i
)为去畸变后的追踪目标框中心点坐标，c
x
，c
y
，s为标定获得的不随焦距变化的相机内参，f
xi
，f
yi
，为将当前调焦控制电流I
i...

【技术保护点】

【技术特征摘要】
1.一种基于电液可调焦镜头的移动目标三维轨迹追踪方法，其特征在于，包括如下步骤：步骤1，在不同焦距下对电液可调焦镜头进行标定，获得调焦控制电流与相机内参的函数关系；步骤2，建立电液可调焦镜头光学成像系统模型，获得电液可调焦镜头调焦控制电流与最优成像物距之间的函数关系；步骤3，目标追踪算法初始化，生成追踪目标框，框选需追踪的目标；步骤4，进行自动对焦，记录对焦成功后的调焦控制电流，以及图像中追踪目标框的尺寸和去畸变后的中心点坐标；步骤5，通过相机投影模型，计算出目标的三维空间坐标并记录；步骤6，对同一追踪目标重复步骤4
‑
5，将所记录的目标三维空间坐标按顺序连成轨迹。2.根据权利要求1所述的基于电液可调焦镜头的移动目标三维轨迹追踪方法，其特征在于，在步骤1中，电液可调焦镜头调焦控制电流与相机内参的函数关系建立过程为：在多个调焦控制电流下对电液可调焦镜头进行标定，然后通过曲线拟合获得调焦控制电流与相机内参的函数关系(f
x
，f
y
)＝H(I)
ꢀꢀꢀꢀꢀꢀꢀ
(1)其中f
x
，f
y
为相机在像素平面x，y方向上的等效焦距，单位为像素；I为电液可调焦镜头的调焦控制电流；获取相机光心在像素平面上的坐标、相机感光元件横边与纵边之间的倾斜参数。3.根据权利要求2所述的基于电液可调焦镜头的移动目标三维轨迹追踪方法，其特征在于，在步骤2中，电液可调焦镜头调焦控制电流与最优成像物距的函数关系建立过程为：利用电液可调焦镜头光学成像系统模型，记录多个调焦控制电流下的最优成像物距，并对记录的数据进行曲线拟合，得到电液可调焦镜头的调焦控制电流与最优成像物距之间的关系：u＝F(I)
ꢀꢀꢀꢀꢀ
(2)其中u为最优成像物距，I为电液可调焦镜头的调焦控制电流。4.根据权利要求3所述的基于电液可调焦镜头的移动目标三维轨迹追踪方法，其特征在于，在步骤4中，所述自动对焦包括第一次自动对焦和后续自动对焦，第一次自动对焦过程为：(1)以一定步长从初始调焦控制电流开始搜索，并同时对追踪目标框内部图像区域，计算追踪目标框内部图像区域的清晰度评价值，获得清晰度评价值最大时的调焦控制电流以及最大清晰度评价值，并设置清晰度评价阈值K＝αD
max
ꢀꢀꢀꢀꢀꢀꢀꢀ
(3)其中α为预设的清晰度置信度，α＜1；K为后续自动对焦时使用的清晰度评价阈值；D
max
为最大清晰度评价值；(2)对焦完成后记录图像中追踪目标框的尺寸和去畸变后的中心点坐标。5.根据权利要求4所述的基于电液可调焦镜头的移动目标三维轨迹追踪方法，其特征在于，后续自动对焦过程为：计算追踪目标框内部图像区域的清晰度评价值，记为D
i
；若D
i
≥K，则直接记录此时的调焦控制电流I
i
、图像中追踪目标框...

【专利技术属性】
技术研发人员：李恒宇，韩爽，刘靖逸，王曰英，谢少荣，罗均，
申请(专利权)人：上海大学，
类型：发明
国别省市：