基于圆形非编码点的物体运动轨迹与姿态实时检测方法技术

本发明专利技术公开了一种基于圆形非编码点的物体运动轨迹与姿态实时检测方法，主要解决现有视觉位姿测量技术无法获得物体上任意一点及被遮挡位置的运动轨迹与姿态，且实时性差的问题

【技术实现步骤摘要】
基于圆形非编码点的物体运动轨迹与姿态实时检测方法


[0001]本专利技术属于单目视觉位姿测量
，特别涉及一种物体运动轨迹与姿态实时检测方法，可用于目标跟踪
、
运动分析
、
自动驾驶和机器人导航
。

技术介绍

[0002]单目视觉技术是一种基于单个相机的计算机视觉技术，通过计算图像中物体的位置
、
大小
、
形状这些特征来获取物体的信息
。
该技术以其成本低
、
实现简单
、
无需复杂设备的优点，广泛应用于机器人导航
、
运动分析
、
虚拟现实
、
自动驾驶等领域
。
单目视觉位姿测量使用人工标志点和自然模型角点作为测量目标，其测量精度高，应用广泛
。
[0003]2014
年赵永生等人在公开号为
CN 105783872 A
的专利文献中公开了
《
一种基于单目视觉技术的动态点目标运动轨迹测算方法
》
，其通过构建单目相机的针孔模型，获得单目相机图像中像点与动态点之间的映射关系，并通过多次拍摄来拟合轨迹曲线
。
该方法由于是对所布设动态点进行测量，因而只可观察到所布设动态点的运动轨迹，而无法测量到动态点之外其他点的运动且无法进行实时检测
。
[0004]2019
年安徽建筑大学的雷经发等人在专利号为
CN201910850083.6
的专利文献中公开了一种圆环标识的运动姿态视觉测量方法及其应用，其先使用单目相机拍摄一张已知内外圆半径的圆环标识图片；然后提取边缘点拟合得到二次型参数矩阵，结合射影几何原理计算出真实圆心像点；最后根据真实圆心像点求出消隐线方程，依据曲线二次型和消隐线理论最终解算出圆环标识的转动参数和平移参数
。
该方法由于需要使用已知内外径的圆环标识，且要以圆环标识的运动姿态代表目标物体的运动姿态，故当圆环标识被部分遮挡，单目相机无法拍摄到圆环标识时，则无法计算圆环标识的运动姿态
。
[0005]2023
年合肥工业大学孙海等人在
《
基于单目视觉的特定工件位姿检测研究
》
文章中，建立了一种基于单目视觉的特定立方体工件检测模型
。
该模型利用霍夫变换提取拟合目标物的临近特征角点，再结合相机标定的参数与特征工件的先验信息换算出拟合角点的实际坐标，最后，根据图像特征角点像素坐标与用户坐标间的映射关系，得到目标物的位姿信息
。
该方法由于只可检测到特征角点的坐标，因而只能求得特征角点在运动过程中的位姿信息，非角点处的位姿信息将无法获得，导致物体整体的位姿测量精度不高
。

技术实现思路

[0006]本专利技术的目的在于针对上述现有技术的不足，提出一种基于圆形非编码点的物体运动轨迹与姿态实时检测方法，以实时求解物体在运动过程中甚至圆形非编码点被部分遮挡时，物体上任一点包括质心的运动轨迹与姿态，提高检测的鲁棒性
。
[0007]为了实现上述目的，本专利技术的技术方案包括如下步骤：
[0008](1)
获取待测物体及其
CAD
模型，在被测物体表面布设一些圆形非编码标志点作为控制点，用于求解物体运动轨迹与姿态；
[0009](2)
在被测物体表面及周围再布设一些编码标志点与至少一根比例尺，采用近景
摄影测量技术重建出所布设的控制点的三维坐标，并对控制点重新编号；
[0010](3)
采用
ICP
算法将所重建的摄影测量坐标系转换至被测物体
CAD
模型坐标系，同时将控制点的三维坐标变换至转换后的坐标系中；
[0011](4)
采用基于约束搜索球的点数据归属算法，确定步骤
(3)
坐标转换后的控制点在被测物体
CAD
模型表面的对应三角面片，并将控制点投影至所对应的三角面片，获得控制点在被测物体
CAD
模型上对应的模型点；
[0012](5)
通过单目相机采集不同位置
、
不同姿态下的
M
幅十字靶标图像，以对单目相机进行标定，获得单目相机的内参矩阵
K
，其中
M>8
；
[0013](6)
物体开始运动前，通过单目相机采集
N
帧被测物体图像，采用圆形非编码标志点实时检测算法提取
N
帧图像中控制点的中心坐标，并基于管道滤波算法为这些检测到的控制点分别构建一个管道，并手动将管道
ID
更新为该管道所对应的模型点
ID
，其中
N
为管道长度，
N>7
；
[0014](7)
物体开始运动后，控制单目相机实时采集一帧被测物体图像，采用圆形非编码标志点实时检测算法提取被测物体运动图像中控制点的中心坐标；
[0015](8)
基于管道滤波算法，对步骤
(7)
所检测的单目相机中所有控制点进行实时跟踪；
[0016](9)
根据步骤
(7)
中的控制点的二维坐标
(u,v)
T
和对应的模型点在
CAD
模型坐标系下的坐标
(X
w
,Y
w
,Z
w
)
T
，基于直接线性变换法，建立起像素坐标系到
CAD
模型坐标系的映射关系：
[0017][0018]其中
P
为待求的投影矩阵，
Z
c
为控制点在相机坐标系下的
Z
坐标，即该标志点的深度；
[0019](10)
选取6个以上不共面的控制点的二维坐标和对应的模型点在
CAD
模型坐标系下坐标，计算出投影矩阵
P
，并利用投影矩阵
P
求解物体上任意一点包括质心的运动轨迹与姿态；
[0020](11)
判断是否停止图像的实时采集：
[0021]若停止采集图像，则结束物体运动轨迹与姿态的实时求解；
[0022]若继续采集图像，则根据步骤
(8)
控制点实时跟踪结果及步骤
(10)
得到的第
m
帧的投影矩阵
P
m
，对第
m
帧时的模型点进行重投影，以对管道进行实时更新，返回步骤
(7)。
[0023]本专利技术与现有技术相比，具有如下优点：
[0024]1)
本专利技术由于采用了近景摄影测量技术与投影本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于圆形非编码点的物体运动轨迹与姿态实时检测方法，其特征在于，包括如下步骤：
(1)
获取待测物体及其
CAD
模型，在被测物体表面布设一些圆形非编码标志点作为控制点，用于求解物体运动轨迹与姿态；
(2)
在被测物体表面及周围再布设一些编码标志点与至少一根比例尺，采用近景摄影测量技术重建出所布设的控制点的三维坐标，并对控制点重新编号；
(3)
采用
ICP
算法将所重建的摄影测量坐标系转换至被测物体
CAD
模型坐标系，同时将控制点的三维坐标变换至转换后的坐标系中；
(4)
采用基于约束搜索球的点数据归属算法，确定步骤
(3)
坐标转换后的控制点在被测物体
CAD
模型表面的对应三角面片，并将控制点投影至所对应的三角面片，获得控制点在被测物体
CAD
模型上对应的模型点；
(5)
通过单目相机采集不同位置
、
不同姿态下的
M
幅十字靶标图像，以对单目相机进行标定，获得单目相机的内参矩阵
K
，其中
M>8
；
(6)
物体开始运动前，通过单目相机采集
N
帧被测物体图像，采用圆形非编码标志点实时检测算法提取
N
帧图像中控制点的中心坐标，并基于管道滤波算法为这些检测到的控制点分别构建一个管道，并手动将管道
ID
更新为该管道所对应的模型点
ID
，其中
N
为管道长度，
N>7
；
(7)
物体开始运动后，控制单目相机实时采集一帧被测物体图像，采用圆形非编码标志点实时检测算法提取被测物体运动图像中控制点的中心坐标；
(8)
基于管道滤波算法，对步骤
(7)
所检测的单目相机中所有控制点进行实时跟踪；
(9)
根据步骤
(7)
中的控制点的二维坐标
(u,v)
T
和对应的模型点在
CAD
模型坐标系下的坐标
(X
w
,Y
w
,Z
w
)
T
，基于直接线性变换法，建立起像素坐标系到
CAD
模型坐标系的映射关系：其中
P
为待求的投影矩阵，
Z
c
为控制点在相机坐标系下的
Z
坐标，即该标志点的深度；
(10)
选取6个以上不共面的控制点的二维坐标和对应的模型点在
CAD
模型坐标系下坐标，计算出投影矩阵
P
，并利用投影矩阵
P
求解物体上任意一点包括质心的运动轨迹与姿态；
(11)
判断是否停止图像的实时采集：若停止采集图像，则结束物体运动轨迹与姿态的实时求解；若继续采集图像，则根据步骤
(8)
控制点实时跟踪结果及步骤
(10)
得到的第
m
帧的投影矩阵
P
m
，对第
m
帧时的模型点进行重投影，以对管道进行实时更新，返回步骤
(7)。2.
如权利要求1所述的方法，其特征在于，步骤
(2)
采用近景摄影测量技术重建出所布设的控制点的三维坐标，实现如下：
(2a)
使用单反相机拍摄
N
张待测物体图片，
N>10
；
(2b)
提取拍摄图像中的编码标志点及圆形非编码标志点的二维坐标；
(2c)
在拍摄图像中选用公共编码标志点数目多的两幅图像进行相对定向，计算出相机
之间的相对位置和朝向关系，重建出摄影测量坐标系，并给出至少五个编码标志点在摄影测量坐标系下的三维坐标，将其作为辅助点；
(2d)
利用辅助点对剩余图像进行绝对定向，并结合已经定向好的图像分别搜索公共的未重建的编码标志点，再对其进行三维重建，得到其在摄影测量坐标系下的三维坐标；
(2e)
利用极线约束算法对拍摄图像中的所有圆形非编码标志点进行匹配，基于匹配结果对所有圆形非编码标志点进行三维重建，得到其在摄影测量坐标系下的三维坐标；
(2f)
基于光束平差算法调整单反相机的内外参数及圆形非编码标志点与编码标志点的三维坐标；
(2g)
选取比例尺上至少2个圆形非编码标志点，设置其为摄影测量坐标系的比例尺，根据比例尺调整摄影测量坐标系下所有控制点和编码标志点的三维坐标
。3.
如权利要求1所述的方法，其特征在于，步骤
(2)
中对控制点重新编号，是基于等式
P
id
＝
P0+i
进行编号，其中，
P
id
为某一控制点的新
ID
，
P0是本次编号的起始位置，
i
为该控制点编号的次序
。4.
如权利要求1所述的方法，其特征在于，步骤
(3)
采用
ICP
算法将所重建的摄影测量坐标系转换至被测物体
CAD
模型坐标系，实现如下：
(3a)
根据近景摄影测量重建的控制点在被测物体上的位置分布，在
CAD
模型上，手动选取三个位置大致相同的点，计算其初始变换矩阵，并将该
CAD
模型坐标系与摄影测量坐标系进行粗匹配；
(3b)
对于每一个控制点，利用最近邻搜索算法在粗匹配后的
CAD
模型表面寻找与该点距离最近的三角面片，利用其计算控制点到
CAD
模型表面上的最近三角面片的距离，并将其作为点到面的残差；
(3c)
将所有控制点的残差平方相加得到残差的平方和，通过最小化残差平方和来计算坐标变换矩阵，并将坐标变换矩阵应用到控制点上，得到变换后摄影测量坐标系及控制点坐标；
(3d)
根据坐标系转换的精度要求设置残差平方和阈值
K
，并判断当前残差平方和是否小于阈值
K
：若小于，则完成从摄影测量坐标系到被测物体
CAD
模型坐标系的转换；否则，返回步骤
(3b)。5.
如权利要求1所述的方法，其特征在于，步骤
(6)
中基于管道滤波算法为检测到的控制点分别构建一个管道，并手动将管道
ID
更新为该管道所对应的模型点
ID
，实现如下：
(6a)
为第1帧图像中识别到的每一个圆形非编码标志点构建一个管道，并将该圆形非编码标志点的中心作为管道中心，设管道的截面积大小为
(2L+1)
×
(2L+1)
；将每个管道的
ID
设置为
‑1，管道计数器设置为1，帧消失计数器设置为0，其中：
L
＝
(40
～
200)d/F
为与相机帧率有关的计算参数，
d
为像元大小，
F
为相机帧率；
(6b)
对第
i
帧图像的控制点进行管道归属，
i
＝
2,3,4,...,N
，判断其是否落入步骤
(6a)
中所构建的某一个管道中：若该控制点中心坐标与某个管道中心坐标的
x
坐标值的差的绝对值小于
L
，且
y
坐标值的差的绝对值也小于
L
，则对该管道计数器加1，并将该管道的中心更新为该控制点的中心，归属成功；
否则，归属失败，按步骤
(6a)
方法为该控制点构建一个新管道；
(6c)
设置阈值计数器
Kc
，并在当前帧为第
N
帧时将管道计数器与阈值计数器进行比较：若管道的管道计数器大于等于
Kc
，则手动为管道编号，管道
ID
为管道所对应的模型点
ID
，其中

【专利技术属性】
技术研发人员：史宝全，李孟攀，蔡林生，苏伟杰，郑思琪，孙浩宇，梁健焯，叶俊杰，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：