一种基于双目视觉的飞机局部外形测量方法技术

本发明专利技术公开了一种基于双目视觉的飞机局部外形测量方法，使用AGV小车搭载双目相机，在测量区域对应黏贴反光标志点，且标志点包括靶标点和编码点，所述编码点含有编号信息，用于确定周围靶标点与其对应关系；双目相机拍摄完图片后，根据图片中匹配好的编码点信息，通过ICP算法完成左右图像中待测靶标点的匹配，根据双目视觉原理，计算出各靶标点在相机坐标系下的坐标，并将其变换到相对于AGV小车系统固定的坐标系下，更新校正AGV小车位姿。本发明专利技术通过AGV小车搭载双目相机，对大尺寸范围下飞机局部外形区域大量靶标点进行精确测量，自动修正AGV小车位姿，具有自动化功能，降低干涉，有助于提高检测效率。助于提高检测效率。助于提高检测效率。

【技术实现步骤摘要】
一种基于双目视觉的飞机局部外形测量方法


[0001]本专利技术属于数字化测量的
，具体涉及一种基于双目视觉的飞机局部外形测量方法。

技术介绍

[0002]当前航空制造业正不断向数字化、信息化发展，随着飞机性能要求的不断提升，航空产品制造过程中的质量把控越来越重要，传统的生产模式和测量方法已不足以满足新形势下航空产品的生产需求。因此，应用具备测量精度高，测量数据管理便捷，特征涵盖范围大等优点的数字化测量技术，优化提升产品质量与性能，是当前航空制造业升级转型发展的重要内容。
[0003]在飞机制造过程中，飞机大型零部件生产与装配是较为重要的环节之一，传统生产方法中，常采用测量产品表面大量离散点坐标值的方式，来衡量大型零部件的制造质量。例如，使用激光跟踪仪对零部件表面进行采样检测。在一定范围内，激光跟踪仪具有较高精度，但实际使用时，需要对激光跟踪仪进行建站或转站等工作，还需要操作人员手持靶球进行测点采集，效率较低。使用一种更为高效，且能够在较大范围下精确测量飞机外形的方法，已成为飞机制造环节数字化检测的迫切需求之一。

技术实现思路

[0004]本专利技术的目的在于提供一种基于双目视觉的飞机局部外形测量方法，通过AGV小车搭载双目相机，对大尺寸范围下飞机局部外形区域大量靶标点进行精确测量，自动修正AGV小车位姿，具有自动化功能，降低干涉，有助于提高检测效率。
[0005]本专利技术主要通过以下技术方案实现：一种基于双目视觉的飞机局部外形测量方法，使用AGV小车搭载双目相机，在测量区域对应黏贴反光标志点，且标志点包括靶标点和编码点，所述编码点含有编号信息，用于确定周围靶标点与其对应关系；包括以下步骤：步骤S100：若双目相机观测到新的靶标点则进行靶标点初始化；步骤S200：根据系统控制信号u对系统状态预测得到AGV小车位姿、靶标点坐标；步骤S300：采用双目相机进行实际图像采集并进行观测值计算，拍摄得到实际采集的靶标点；步骤S400：结合步骤S200中的预测的AGV小车位姿、靶标点坐标以及步骤S300中实际采集的靶标点，并基于自适应卡尔曼滤波方法更新AGV小车位姿以及靶标点坐标；在双目相机的左、右相机拍摄完左、右图像后，根据图片中匹配好的编码点信息，通过ICP算法完成双目相机的左、右相机采集的左、右图像中待测靶标点的匹配，根据双目视觉原理，计算出各靶标点在相机坐标系下的坐标，并将其变换到相对于AGV小车系统固定的坐标系下，以更新校正AGV小车位姿；设AGV小车坐标系与左侧相机坐标系重合，则在k时刻，AGV小车的运动模型为：
其中：为控制信号，控制小车的速度和转向角；θ表示小车方位角，L为小车轴距，为小车转向角，dt为时间的微分；AVG小车的运动按时域划分，每一次执行控制指令的过程可视为一个时刻，k时刻即第k次执行指令的时候；在k时刻的小车方位角为θ
k
，且小车转向角分别为；在k-1时刻的小车方位角为θ
k-1
；在k时刻以及k-1时刻时，AVG小车的x方向的坐标分别为x
k
、x
k-1
，且y方向的坐标分别为：y
k
、y
k-1
；u
k
为在k时刻的控制信号；AVG小车的移动速度v
k
和转向角由k时刻的控制信号u
k
决定。
[0006]世界坐标系应是固定不动的，世界坐标系可根据需要另行建立，不应建立在移动的小车系统中。
[0007]本专利技术在使用过程中，所述双目相机通过升降平台安装在AGV小车上实现对带测量区域的检测。测量前，需要在待测量区域粘贴反光标志点，标志点包括靶标点和编码点，编码点含有编号信息，可用于确定周围靶标点与其相对关系。如图1所示，设图中黑色的点为编码点，白色的点为靶标点。
[0008]本专利技术通过规划控制升降平台和AGV小车，将双目相机移动到检测位置，完成图像拍摄。使用自适应卡尔曼滤波算法，对拍摄到的靶标点坐标进行维护，实现坐标高精度计算。所使用的双目相机事先已进行过标定，设双目相机中，右侧相机相对于左侧相机的旋转矩阵为R，平移向量为T。本专利技术通过双目相机采集靶标点与标定点，一方面用于重构物体外形，另一方面通过将各靶标点变换到相对于AGV小车系统固定的坐标系下，校正AGV小车的测量路线，降低复杂环境的干涉，提高测量的精度。
[0009]为了更好地实现本专利技术，进一步地，在步骤S400中，对于初次观测到的靶标点，使用自适应卡尔曼滤波算法将靶标点信息添加到联合状态序列中，并更新对应协方差；当双目相机在不同摄站进行拍摄时，根据图像采集的观测信息以及协方差信息，通过自适应卡尔曼滤波方法完成靶标点坐标值的计算与更新。
[0010]为了更好地实现本专利技术，进一步地，设在k时刻，小车位姿与靶标点坐标联合状态
向量为，且，协方差为，其中 表示各靶标点坐标，根据控制信号u预测系统先验状态向量：状态转移方程F为：根据状态转移方程F计算传递后的协方差：其中，表示小车的运动模型；表示k时刻小车的后验位姿估计值；表示对k时刻小车位姿的先验估计值；表示对k-1时刻小车位姿的后验估计值；表示k时刻靶标点的先验估计值；表示k-1时刻，已观测到的所有靶标点的后验估计值；为噪声干扰参数；是对时刻状态量求导所得的雅克比矩阵，表示k时刻的先验协方差估计矩阵，表示k-1时刻的后验协方差估计矩阵；为观测模型观测误差服从的高斯分布的协方差矩阵；上标T表示矩阵转置。
[0011]协方差为n
×
n的矩阵，n为的行数，的表达为本领域的公知常识，故不再赘述。
[0012]m为靶标点向量，用于表示所有已知靶标点空间坐标。是状态转移函数对k-1时刻状态量求导所得的雅克比矩阵。表示k时刻的先验协方差估计矩阵，表示k-1时刻的后验协方差估计矩阵。为噪声干扰。为增广观测函数。
[0013] 表示状态转移函数对状态量X求导所得的雅克比矩阵。
[0014]为了更好地实现本专利技术，进一步地，如果经过观测，图片中同时存在已经观测到的靶标点和新的靶标点，则根据相机观测模型，计算预测值与实际值的残差：其中，设已观测到的靶标点编号为i，新观测到的靶标点编号为j；h为观测函数，为经观测函数计算出的第i个靶标点坐标预测值，为使用相机系统测量出的靶标点读数值；表示对k时刻小车位姿的先验估计值；表示k-1时刻，已观测到的靶标点的后验估计值；表示靶标点i的测量值与预测值之间的误差，亦称为新息；以下使用自适应卡尔曼滤波算法求取系统后验概率密度估计，令：
求出自适应渐消因子：根据调整计算系统先验协方差估计值：再计算卡尔曼增益：最后，完成系统后验概率分布计算，更新所有已观测到的靶标点坐标信息：其中：均为中间过程参数；是对k-1时刻状态量求导所得的雅克比矩阵，是由观测函数分别对小车状态和第i个靶标点求导所组成的矩阵；为中间过程参数，表示k时刻的观测新息之间的期望；
为中间过程参数，表示k-1时刻的观测新息之间的期望；表示靶标点测量值与预测值之间的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双目视觉的飞机局部外形测量方法，其特征在于，使用AGV小车搭载双目相机，在测量区域对应黏贴反光标志点，且标志点包括靶标点和编码点，所述编码点含有编号信息，用于确定周围靶标点与其对应关系；包括以下步骤：步骤S100：若双目相机观测到新的靶标点则进行靶标点初始化；步骤S200：根据系统控制信号u对系统状态预测得到AGV小车位姿、靶标点坐标；u为控制信号，控制小车的速度和转向角；步骤S300：采用双目相机进行实际图像采集并进行观测值计算，拍摄得到实际采集的靶标点；步骤S400：结合步骤S200中的预测的AGV小车位姿、靶标点坐标以及步骤S300中实际采集的靶标点，并基于自适应卡尔曼滤波方法更新AGV小车位姿以及靶标点坐标；在双目相机的左、右相机拍摄完左、右图像后，根据图片中匹配好的编码点信息，通过ICP算法完成双目相机的左、右相机采集的左、右图像中待测靶标点的匹配，根据双目视觉原理，计算出各靶标点在相机坐标系下的坐标，并将其变换到相对于AGV小车系统固定的坐标系下，以更新校正AGV小车位姿；设AGV小车坐标系与左侧相机坐标系重合，则在k时刻，AGV小车的运动模型为：其中：θ表示小车方位角，L为小车轴距，为小车转向角，dt为时间的微分；AVG小车的运动按时域划分，每一次执行控制指令的过程视为一个时刻，k时刻即第k次执行指令的时候；在k时刻的小车方位角为θ
k
，且小车转向角分别为；在k-1时刻的小车方位角为；在k时刻以及k-1时刻时，AVG小车的x方向的坐标分别为x
k
、x
k-1
，且y方向的坐标分别为：y
k
、y
k-1
；AVG小车的移动速度v
k
和转向角由k时刻的控制信号u
k
决定；u
k
为在k时刻的控制信号。2.根据权利要求1所述的一种基于双目视觉的飞机局部外形测量方法，其特征在于，在步骤S400中，对于初次观测到的靶标点，使用自适应卡尔曼滤波算法将靶标点信息添加到联合状态序列中，并更新对应协方差；当双目相机在不同摄站进行拍摄时，根据图像采集的观测信息以及协方差信息，通过自适应卡尔曼滤波方法完成靶标点坐标值的计算与更新。3.根据权利要求2所述的一种基于双目视觉的飞机局部外形测量方法，其特征在于，设
在k时刻，小车位姿与靶标点坐标联合状态向量为，且，协方差为，其中 表示各靶标点坐标，根据...

【专利技术属性】
技术研发人员：隋少春，朱绪胜，刘蕾，杨林志，陈洪宇，
申请(专利权)人：成都飞机工业集团有限责任公司，
类型：发明
国别省市：