多目相机的视差校准方法、装置及系统制造方法及图纸

本发明专利技术实施方式提供一种多目相机的视差校准方法，属于视觉处理领域。所述多目相机包含至少两个位置相对固定的摄像装置，所述方法还包括：标定得出所述多目相机的统一投影模型；根据所述统一投影模型对每个所述摄像装置的成像进行校准。同时，还提供了一种采用上述视差校准方法的多目相机，以及采用上述视差校准方法的图像处理系统。本发明专利技术通过对多目相机的成像之间的差异进行了校准，避免了图像视差，满足了后期迅速图像拼接和进一步处理。

Parallax calibration method, device and system for multi-camera

【技术实现步骤摘要】
多目相机的视差校准方法、装置及系统
本专利技术涉及视觉处理领域，具体地涉及多目相机的视差校准方法、多目相机的视差校准装置及系统。
技术介绍
所谓多目校准，是指基于多个摄像头的视差的消除。目前的多目相机，虽然在出厂时进行了一定的调校，但是还是会因为多目相机每个摄像头相对位置关系的不一致，造成每个摄像头拍摄的画面会出现图像位置和大小不一致的情况，不便于后期图像迅速拼接和图像数据的进一步分析。特别是常用的多光谱相机，其每个摄像头仅仅是光谱滤波的不同，为了便于后期拼图，以及光谱数据分析和植被相应指数迅速计算，需要每个摄像头的图像具有良好的重合性。现有的技术中并没有对多目相机的成像进行校准的通用性和易用性方法。
技术实现思路
本专利技术实施方式的目的是至少解决上述多目相机的摄像头之间由于不同位置造成的视差问题，使各自拍摄的画面达到位置重叠和大小一致，以满足后期的画面处理需求。为了实现上述目的，在本专利技术第一方面，提供一种多目相机的视差校准方法，所述多目相机包含至少两个位置相对固定的摄像装置，标定得出所述多目相机的统一投影模型；根据所述统一投影模型对每个所述摄像装置的成像进行校准。可选的，所述统一投影模型包括等效共面矩阵和等效内参矩阵。可选的，所述标定得出所述多目相机的统一投影模型，包括：标定获取每个所述摄像装置的内参矩阵和相对于其余摄像装置的位置关系矩阵；对所述摄像装置进行旋转变换等效以达到全部所述摄像装置的光轴相互平行，得到所述等效共面矩阵；将全部所述摄像装置的焦距统一为等效焦距以及将全部所述摄像装置的光心统一为等效光心，得到所述等效内参矩阵。可选的，所述标定获取每个所述摄像装置的内参矩阵和相对于其余摄像装置的位置关系矩阵，包括：采用单目标定获取单个所述摄像装置的内参矩阵，所述内参矩阵至少包含有fx、fy、cx、cy，fx、fy分别为x、y方向上的焦距，cx、cy分别为x、y方向上的光心；以及采用双目标定获取单个所述摄像装置相对于其余摄像装置的位置关系矩阵，所述位置关系矩阵至少包含有旋转矩阵。可选的，所述标定获取每个所述摄像装置的内参矩阵和相对于其余摄像装置的位置关系矩阵的步骤之后，还包括对所述内参矩阵和所述位置关系矩阵进行误差控制的步骤：当所述内参矩阵和所述位置关系矩阵的重投影误差大于设定误差时，重新通过单目标定和/或双目标定进行再次获取，直至其重投影误差小于所述设定误差。可选的，所述得到所述等效共面矩阵，包括：A、将全部所述旋转矩阵进行处理，轮空旋转矩阵数目置为0；B、以左右图像的重投影畸变最小或左右视图共同面积最大的原则，将待处理的旋转矩阵以每组两个分为多组；如果旋转矩阵的数目为单数，将有一个旋转矩阵轮空，则将轮空旋转矩阵数目加1；将每组内的两个旋转矩阵进行共面；每组得到一个共面后的旋转矩阵；C、判断共面后的旋转矩阵数目加上轮空旋转矩阵数目是否为1，为1转步骤D；否则，判断共面后的旋转矩阵数目是否为1，为1则将共面后的旋转矩阵加上最近一轮的轮空旋转矩阵作为待处理的旋转矩阵，重复步骤B，同时将轮空旋转矩阵数目减1；不为1，则将共面后的旋转矩阵作为待处理的旋转矩阵，重复步骤B；D、将得到的唯一的共面后的旋转矩阵作为等效共面矩阵。可选的，将全部所述摄像装置的光心统一为等效光心的步骤为：在图像二维坐标系下构建至少4个点的二维坐标，投影到三维相机系下；在三维相机系下使用中间内参矩阵进行标定，所述中间内参矩阵为将原来的所述内参矩阵中的焦距替换为焦距均方根值所得到的矩阵；对标定后的坐标采用所述等效共面矩阵，重新反投影到图像二维坐标系；得到cxnew,cynew，其中cxnew,cynew分别为x、y方向上的等效光心。可选的，所述焦距均方根值的计算步骤为：选出每个所述摄像装置的内参矩阵中焦距的最小值f＝min(fx,fy)，其中fx,fy分别为x、y方向上的焦距；每个所述摄像装置的焦距分别记为；f1、f2…fn；所述fxrms和fyrms分别为x、y方向上的焦距均方根值。可选的，在所述根据所述统一投影模型对每个所述摄像装置的成像进行校准的步骤之前，还包括去除畸变黑边的步骤：取待处理图像中的若干参考点位，所述参考点位分布于待处理图像的边缘上；根据标定算法计算所述参考点位的标准坐标；通过所述标准坐标计算出所述待处理图像的有效像素所构成区域的最大内接矩阵；将所述最大内接矩阵缩放变换至所述待处理图像的相同大小。可选的，所述根据标定算法计算所述参考点位的标准坐标，包括以下步骤：将所述参考点位的像素坐标点从像素坐标系转换至相机坐标系，得到相机坐标点；将所述相机坐标点进行畸变校正，得到校正后的相机坐标点；将所述校正后的相机坐标点转换至世界坐标系，得到世界坐标点；将所述世界坐标点进行归一化后转换至相机坐标系，再转换至像素坐标系，得到所述参考点位的新的像素坐标点作为所述标准坐标。可选的，所述通过所述标准坐标计算出所述待处理图像的有效像素所构成区域的最大内接矩阵，包括：在标准坐标下，取所述待处理图像的有效像素中的上边缘线在y方向的最小值，下边缘线在y方向的最大值，左边缘线在x方向的最大值,右边缘线在x方向的最小值，由以上四个值确定所述最大内接矩阵的边缘线，从而确定所述最大内接矩阵。可选的，将全部所述摄像装置的焦距统一为等效焦距的步骤为：fxrms和fyrms分别乘以缩放系数S得到x、y方向上的等效焦距fxnew和fynew；所述缩放系数S＝max(待处理图像x方向边长/最大内接矩阵x方向边长，待处理图像y方向边长/最大内接矩阵y方向边长)。可选的，所述得到所述等效内参矩阵，包括：将单个所述摄像装置的内参矩阵中的fx、fy均替换为fxnew和fynew，将cx、cy均替换为cxnew,cynew；得到所述等效内参矩阵。可选的，所述根据所述统一投影模型对每个所述摄像装置的成像进行校准,包括：根据所述等效共面矩阵计算每个旋转矩阵需要的旋转调整矩阵,所述旋转调整矩阵用于校准所述摄像装置之间的旋转视差；根据所述等效内参矩阵计算每个内参矩阵需要的缩放调整矩阵,所述缩放调整矩阵用于校准所述摄像装置之间的缩放视差。在本专利技术的第二方面，还提供一种处理装置，所述处理装置被配置成采用前述的视差校准方法对摄像装置进行处理。在本专利技术的第三方面，还提供一种多目相机，所述多目相机包括至少两个位置相对固定的摄像装置，所述多目相机包括：图像处理装置，所述图像处理装置被配置成采用前述的视差校准方法对所述摄像装置进行处理。可选的，所述多目相机还包括：通信接口，所述通信接口被配置成将所述图像处理装置处理后的图像传输至所述多目相机外部。在本专利技术的第四方面，还提供一种多摄像头的图像处理系统，所述系统包括：至少两个位置相对固定的摄像装置；处理装置，所述处理装置被配置成采用前述的视差校准方法对所述摄像装置进行处理。在本专利技术的第五方面，还提供一种机器可读存储介质，所述机器可读存储介质上存储有指令，该指令在被控制器执行时能够使得所述控制器执行前述的视差校准方法。本专利技术上述技术方案通过对多光谱相机多个摄像头的投影模型进行重新校准，避免了图像视差，满足后期迅速图像拼接和进一步处理。本专利技术实施方式的其它特征和优点将在随后的具体实施方式部分予以详细说明。附图说明附图是用来提供对本专利技术实施方式的进一本文档来自技高网...

【技术保护点】
1.一种多目相机的视差校准方法，所述多目相机包含至少两个位置相对固定的摄像装置，其特征在于，所述方法包括：标定得出所述多目相机的统一投影模型；根据所述统一投影模型对每个所述摄像装置的成像进行校准。

【技术特征摘要】
1.一种多目相机的视差校准方法，所述多目相机包含至少两个位置相对固定的摄像装置，其特征在于，所述方法包括：标定得出所述多目相机的统一投影模型；根据所述统一投影模型对每个所述摄像装置的成像进行校准。2.根据权利要求1所述的方法，其特征在于，所述统一投影模型包括等效共面矩阵和等效内参矩阵。3.根据权利要求2所述的方法，其特征在于，所述标定得出所述多目相机的统一投影模型，包括：标定获取每个所述摄像装置的内参矩阵和相对于其余摄像装置的位置关系矩阵；对所述摄像装置进行旋转变换等效以达到全部所述摄像装置的光轴相互平行，得到所述等效共面矩阵；将全部所述摄像装置的焦距统一为等效焦距以及将全部所述摄像装置的光心统一为等效光心，得到所述等效内参矩阵。4.根据权利要求3所述的方法，其特征在于，所述标定获取每个所述摄像装置的内参矩阵和相对于其余摄像装置的位置关系矩阵，包括：采用单目标定获取单个所述摄像装置的内参矩阵，所述内参矩阵至少包含有fx、fy、cx、cy，fx、fy分别为x、y方向上的焦距，cx、cy分别为x、y方向上的光心；以及采用双目标定获取单个所述摄像装置相对于其余摄像装置的位置关系矩阵，所述位置关系矩阵至少包含有旋转矩阵。5.根据权利要求4所述的方法，其特征在于，所述标定获取每个所述摄像装置的内参矩阵和相对于其余摄像装置的位置关系矩阵的步骤之后，还包括对所述内参矩阵和所述位置关系矩阵进行误差控制的步骤：当所述内参矩阵和所述位置关系矩阵的重投影误差大于设定误差时，重新通过单目标定和/或双目标定进行再次获取，直至其重投影误差小于所述设定误差。6.根据权利要求4所述的方法，其特征在于，所述得到所述等效共面矩阵，包括：A、将全部所述旋转矩阵进行处理，轮空旋转矩阵数目置为0；B、以左右图像的重投影畸变最小或左右视图共同面积最大的原则，将待处理的旋转矩阵以每组两个分为多组；如果旋转矩阵的数目为单数，将有一个旋转矩阵轮空，则将轮空旋转矩阵数目加1；将每组内的两个旋转矩阵进行共面；每组得到一个共面后的旋转矩阵；C、判断共面后的旋转矩阵数目加上轮空旋转矩阵数目是否为1，为1转步骤D；否则，判断共面后的旋转矩阵数目是否为1，为1则将共面后的旋转矩阵加上最近一轮的轮空旋转矩阵作为待处理的旋转矩阵，重复步骤B，同时将轮空旋转矩阵数目减1；不为1，则将共面后的旋转矩阵作为待处理的旋转矩阵，重复步骤B；D、将得到的唯一的共面后的旋转矩阵作为等效共面矩阵。7.根据权利要求4所述的方法，其特征在于，将全部所述摄像装置的光心统一为等效光心的步骤为：在图像二维坐标系下构建至少4个点的二维坐标，投影到三维相机系下；在三维相机系下使用中间内参矩阵进行标定，所述中间内参矩阵为将原来的内参矩阵中的焦距替换为焦距均方根值所得到的矩阵；对标定后的坐标采用所述等效共面矩阵，重新反投影到图像二维坐标系；得到cxnew,cynew，其中cxnew,cynew分别为x、y方向上的等效光心。8.根据权利要求7所述的方法，其特征在于，所述焦距均方根值的计算步骤为：选出每个所述摄像装置的内参矩阵中焦距的最小值f＝min(fx,fy)，其中fx,fy分别为x、y方向上的焦距；每个所述摄像装置的焦距分别记为；f1、f2…fn；所述fxrms和fyrms分别为x、y方向上的焦距均方根值。9.根据权利要求...

【专利技术属性】
技术研发人员：朱嘉炜，刘鹏，
申请(专利权)人：广州极飞科技有限公司，
类型：发明
国别省市：广东,44