多相机视觉的大目标定位方法、系统及设备技术方案

本发明专利技术的一种多相机视觉的大目标定位方法、系统及设备，其方法包括根据目标模型计算出目标在世界坐标系中的坐标，标定相机内参，标定相机间的位姿关系；进行图像处理，检测图像的关键点，匹配目标在参考位置图像的关键点和目标在实际位置图像的关键点，利用光束平差法计算相机外参，再设定基准相机，结合相机间位姿，联合计算相机的外参；根据目标在参考位置和实际位置的相机外参，计算目标实际位置与参考位置的偏差量，完成目标定位。本发明专利技术可以实现大目标的定位有效利用每个相机视野观测到的有效信息；可通过多相机联合的方式，更准确地计算出目标的位置。确地计算出目标的位置。确地计算出目标的位置。

【技术实现步骤摘要】
多相机视觉的大目标定位方法、系统及设备


[0001]本专利技术涉及视觉技术的目标定位领域，具体涉及一种多相机视觉的大目标定位方法。

技术介绍

[0002]随着计算机视觉、数字图像处理等技术的发展，已经可以通过相机图像提取出目标的重要信息。同时，由于自动化技术和机械制造技术的蓬勃发展，借助机械臂、机器人等技术自动完成焊接、喷漆、涂胶等作业也成为生产线中的重要需求。将相机成像和实际的生产需求进行融合，是工业相机的重要应用场景。以机器人的车身涂胶作业为例，机器人通常会按照预先设定运动轨迹，对车身进行涂胶，认为此时车身处于参考位置。但是，轨道每次将车身传输到机器人作业区域的位置可能是不同的，且车身的实际位置可能与参考位置存在偏差。为了使机器人能够正常作业，需要得到车身实际位置与参考位置的偏差量，并根据偏差量矫正机器人的运动轨迹。借助相机矫正机器人的运动轨迹时，由于车身目标较大，单个相机的视野无法观测车身的完整结构，因此，一般在车身的左前、左后、右前、右后分别安装一个相机，共计四个相机。这四个相机安装稳定，相机之间的旋转关系和平移关系（以下简称“相机间位姿”）保持不变，且这四个相机可以分别观测车身的部分结构特征，将四个相机观测的结构特征结合起来，便可以得到需要观测的车身结构特征，进而计算车身实际位置与参考位置的偏差，实现车身位置的定位，并矫正机器人的运动轨迹。多相机视觉进行车身定位，在机器人车身涂胶作业方面具有重要的应用价值和使用前景。
[0003]当目标较大时，单个相机仅能观测到有限的目标场景，为了完整观测感兴趣的目标区域，需要使用多个相机。同时，由于每个相机能够观测到的目标场景较小，相机之间不存在重叠视野，或者相机之间的重叠视野较小以至于不足以提取出有价值的目标信息，这使得各相机观测到的信息较为独立。
[0004]与本专利技术最相近似的实现方案为：一种基于光束平差法的三维重建方法【专利CN102889882B】，该方法在控制场标定相机内参，在测量场标定相机外参，并将控制场和测量场中的多个测量点的像素坐标作为观测值，利用基于共线条件方程式的光束平差法获取多个测量点的三维空间坐标值。
[0005]该技术存在以下缺点：1.无法解决大目标场景下，相机只能通过部分场景估计目标位置，没有有效利用目标的全部信息；2.该技术获取设定数量不同方位所述测量场的多幅图像，多幅图像均包含多个控制点和多个测量点的像点，缺乏灵活性，且可能需要多次录取图像以满足要求。

技术实现思路

[0006]本专利技术提出的一种多相机视觉的大目标定位方法，可解决上述技术问题。
[0007]为实现上述目的，本专利技术采用了以下技术方案：一种多相机视觉的大目标定位方法，是指在相机视野存在限制的情况下，通过联
合相机之间的目标信息，计算相机姿态，并完成目标的定位，具体包括以下步骤:计算目标坐标、相机内参和相机间位姿；多个相机分别录取目标在实际位置和参考位置的图像，检测并匹配目标在所述实际位置和参考位置上的关键点；根据关键点、目标坐标、各相机的内参计算各相机的外参；设定基准相机、结合各相机间位姿关系和各相机的外参，使用多机联合光束平差法优化基准相机的外参；根据基准相机的外参，计算目标实际位置相对于参考位置的坐标偏差值，完成目标的定位。
[0008]进一步的，计算目标坐标、相机内参和相机间位姿，包括：建立世界坐标系，根据目标模型计算出目标的特征点在世界坐标系中的坐标；标定相机内参，可使用用张正友标定法进行标定；根据每个相机拍摄的图像和对应的模型坐标，计算每个相机的外参，并设置基准相机，计算每个相机与基准相机的位姿关系，再进行多次测量，计算相机间位姿的均值。
[0009]进一步的，所述多个相机分别录取目标在实际位置和参考位置的图像，检测并匹配目标在所述实际位置和参考位置上的关键点，包括：多个相机分别录取目标在实际位置和参考位置的图像，使用斑点检测法提取多个相机中目标在参考位置和实际位置图像中的关键点；使用最近迭代法的点集匹配方法匹配各个相机中目标在参考位置和实际位置中的关键点。
[0010]进一步的，可使用光束平差法，根据关键点、目标坐标、各相机的内参计算各相机的外参。
[0011]进一步的，所述设定基准相机、结合各相机间位姿关系和各相机的外参，使用多机联合光束平差法优化基准相机的外参，包括：使用下列目标函数构建数学模型：（5）其中，表示目标函数，表示基准相机的外参，表示相机的数量，表示目标模型关键点在相机坐标系下的坐标，表示第个相机视角内的目标模型关键点坐标的集合，表示每个相机视野内的目标模型坐标在像素平面上的像素点坐标，表示归一化因子，表示第个相机的内参，表示相机与基准相机的位姿关系，表示第个相机视角内的目标模型坐标。
[0012]使用高斯牛顿法计算公式（5）的增量，进而计算基准相机外参的增量，多次计算直到误差小于预设的阈值或相邻两次误差小于预设的阈值。
[0013]进一步的，所述根据基准相机的外参，计算目标实际位置相对于参考位置的坐标偏差值，按照如下公式计算：
（14）其中，表示目标参考位置与实际位置之间的旋转矩阵，表示目标参考位置与实际位置之间的平移向量，表示参考位置相机外参的旋转矩阵，表示参考位置相机外参的平移向量，表示实际位置相机外参的旋转矩阵，表示实际位置相机外参的平移向量。
[0014]再一方面，本专利技术还公开一种多相机视觉的大目标定位系统，包括以下模块：图像摄取模块，包括若干台分布在不同位置的相机，用于摄取目标不同角度的照片；参数加载模块，用于计算和存储目标的特征点在世界坐标系的坐标、相机内参和相机间位姿关系；关键点检测与匹配模块，用于检测并匹配目标在参考位置和实际位置处图像的关键点；偏差计算模块，偏差计算模块用于计算目标实际位置与参考位置的偏差量，偏差值包括一个旋转矩阵和一个平移向量。
[0015]进一步的，参数加载模块计算得到目标的特征点在世界坐标系的坐标、相机内参和相机间位姿关系信息后将其固定保存，在后续的大目标定位过程中上述信息直接读取使用，不再重复计算。
[0016]进一步的，关键点检测与匹配模块使用斑点检测法提取多个相机中目标在参考位置和实际位置图像中的关键点；然后使用最近迭代法的点集匹配方法匹配各个相机中目标在参考位置和实际位置中的关键点。
[0017]进一步的，偏差计算模块先利用光束平差法计算各相机外参，再设定基准相机，联合各相机外参优化基准相机的外参，最后通过基准相机在参考位置和实际位置的外参计算出偏差值。
[0018]又一方面，基于同样的专利技术构思，本专利技术还公开一种计算机可读存储介质，计算机可读存储介质中存储有至少一个程序数据，该程序数据用于实现上述任一多相机视觉的大目标定位方法。
[0019]再一方面，基于同样的专利技术构思，本专利技术还公开一种多相机视觉的大目标定位设备，包括由若干个相机组成的摄像系统、储存器和处理器；所述摄像系统用于摄取图像信息并将所述图像信息传输给所述储存器；所述处理器用于执行所述储存器中储存的程序指令，以实现上述任一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多相机视觉的大目标定位方法，其特征在于，包括以下步骤：计算目标坐标、相机内参和相机间位姿；多个相机分别录取目标在实际位置和参考位置的图像，检测并匹配目标在实际位置和参考位置上的关键点；根据关键点、目标坐标和各相机的内参计算各相机的外参；设定基准相机、结合各相机间位姿关系和各相机的外参，使用多机联合光束平差法优化基准相机的外参；根据基准相机的外参，计算目标实际位置相对于参考位置的坐标偏差值，完成目标的定位。2.根据权利要求1所述的多相机视觉的大目标定位方法，其特征在于，所述计算目标坐标、相机内参和相机间位姿，包括：建立世界坐标系，根据目标模型计算出目标的特征点在世界坐标系中的坐标；标定相机内参；根据每个相机拍摄的图像和对应的模型坐标，计算每个相机的外参，并设置基准相机，计算每个相机与基准相机的位姿关系，再进行多次测量，计算相机间位姿的均值。3.根据权利要求2所述的多相机视觉的大目标定位方法，其特征在于，所述标定相机内参采用张正友标定法。4.根据权利要求1所述的多相机视觉的大目标定位方法，其特征在于，所述多个相机分别录取目标在实际位置和参考位置的图像，检测并匹配目标在所述实际位置和参考位置上的关键点，包括：多个相机分别录取目标在实际位置和参考位置的图像，使用斑点检测法提取多个相机中目标在参考位置和实际位置图像中的关键点；使用最近迭代法的点集匹配方法匹配各个相机中目标在参考位置和实际位置中的关键点。5.根据权利要求1所述的多相机视觉的大目标定位方法，其特征在于，所述根据关键点、目标坐标和各相机的内参计算各相机的外参，包括：根据目标模型坐标、关键点和相机内参，使用光束平差法计算各个相机初始外参。6.根据权利要求1所述的多相机视觉的大目标定位方法，其特征在于，所述设定基准相机、结合各相机间位姿关系和各相机的外参，使用多机联合光束平差法优化基准相机的外参，包括：使用下列目标函数构建数学模型：（5）其中，表示目标函数，表示基准相机的外参，表示相机的数量，表示目标模型关键点在相机坐标系下的坐标，表示第个相机视角内的目标模型关键点坐标的集合，表示每个相机视野内的目标模型坐标在像素平面上的像素点坐标，表示归一化因
子，表示第个相机的内参，表示相机与基准相机的位姿关系，表示第个相机视角内的目标模型坐标；...

【专利技术属性】
技术研发人员：沈曦，张光宇，唐俊峰，邵云峰，曹桂平，董宁，
申请(专利权)人：合肥埃科光电科技股份有限公司，
类型：发明
国别省市：