双目相机以及用于双目相机的自校准方法技术

本申请公开了一种双目相机，其包括第一和第二成像镜头以及第一和第二图像传感器，还包括分别设置在第一和第二成像镜头物侧的第一和第二光路转换装置、相对于第一成像镜头固定的校准用标记和设置在校准用标记和第二光路转换装置之间的校准用镜头，校准用标记能够经由校准用镜头和第二成像镜头成像在第二图像传感器上。本申请还公开了用于上述双目相机的自校准方法，其包括：通过第二图像传感器采集校准用标记的图像；提取图像中的特征参数；将特征参数与预先存储的参考基准比较；以及当特征参数与参考基准的差超过预定阈值时，判断双目相机需要重新标定。根据本发明专利技术，有利于方便、有效地检测双目相机需要重新标定的状态。

Binocular camera and self calibration method for binocular camera

The invention discloses a binocular camera, which comprises a first and a second imaging lens and a first and a second image sensor also includes respectively disposed in the first and second lens imaging the object side of the first and second optical path converting device, aligning the first imaging lens fixed mark and set with lens calibration between markers and second light path conversion device in the calibration relative to the calibration mark through calibration lens and second lens imaging in second image sensor. Also disclosed for the binocular camera self calibration method, which comprises: second through the image sensor calibration mark image; image feature extraction; compared with the pre stored reference features; and when the characteristic parameters and the reference difference exceeds a predetermined threshold value, judging the binocular camera need re calibration. According to the invention, it is convenient to effectively detect the recalibration state of the binocular camera.

【技术实现步骤摘要】
双目相机以及用于双目相机的自校准方法
本专利技术总体地涉及立体相机装置，具体地涉及一种双目相机装置以及用于双目相机的自校准方法。
技术介绍
双目相机是一种日益受关注的能够提供立体视觉的设备。基于双目相机获得的图像，通过双目视差原理，能够计算出双目相机所拍摄到的物体相对于相机的三维空间位置。在三位空间位置计算中，双目相机的两个成像镜头之间的位置关系影响很大，因此该位置关系需要进行校准和标定。在初次校准和标定之后，由于双目相机中两个成像镜头之间的连接不可能是理想的刚体连接，所以在使用过程中，机械连接会发生缓慢的形变，导致双目相机的原始标定参数失效。通常的做法一种是返厂重新标定，另一种做法是动态标定。返厂重新标定会影响双目相机的使用。动态标定通常是实时提取双目图像中的特征点进行重标定，但是在特征不明显的情况下，往往会导致动态标定失败，甚至会恶化标定结果。因此，一方面，当双目相机需要重新校准和标定时，人们需要及时了解到这一情况；另一方面，还需要一种能够不影响双目相机使用又能有效校准和标定的办法。
技术实现思路
本专利技术的目的是提供一种双目相机，其能够至少部分地解决现有技术中的问题。根据本专利技术的第一方面，提供一种双目相机，其包括第一成像镜头和第二成像镜头以及分别用于感测第一成像镜头和第二成像镜头成像得到的图像的第一图像传感器和第二图像传感器，还包括：第一光路转换装置，其设置在所述第一成像镜头的物侧，用于接收进入双目相机的第一入射光束并提供投射向所述第一成像镜头的第一成像光束和方向不同于第一成像光束的校准用光束；校准用标记，其设置在所述校准用光束的光路中以便被其照明，并且相对于所述第一成像镜头固定；第二光路转换装置，其设置在所述第二成像镜头的物侧，用于接收进入双目相机的第二入射光束并使之至少部分地成为投射向所述第二成像镜头的第二成像光束；以及校准用镜头，其设置在所述校准用标记和第二光路转换装置之间，用于对所述校准用标记进行成像，其中，所述第二光路转换装置还用于接收所述校准用镜头出射的光束并使之至少部分投射向所述第二成像镜头，从而使得所述校准用标记经由所述校准用镜头和第二成像镜头成像在第二图像传感器上。所述第一光路转换装置可以为分束镜或者通过机械或电学方式控制以选择性地透射和反射的光学装置。所述第二光路转换装置可以为分束镜或者通过机械或电学方式控制以选择性地透射和反射的光学装置。所述校准用标记可以为设置在第一光路转换装置与校准用镜头之间的板状件，其上包括透光部分和不透光部分，从而形成校准用图案。或者，所述校准用标记可以为形成在所述第一光路转换装置的光学表面上的校准用图案。在一些实施方式中，所述第一光路转换装置可以包括被所述第一入射光束照射的光学表面，所述校准用标记为形成在该光学表面上的校准用图案。优选，所述光学表面包括第一部分和第二部分，所述第一部分使照射到其上的所述第一入射光束的至少一部分成为所述校准用光束，而所述第二部分使照射到其上的所述第一入射光束基本上全部投射向第一成像镜头，所述第一部分和第二部分形成所述校准用图案。所述第二部分可以为半透半反部分。在另一些实施方式中，所述第一光路转换装置可以为棱镜型分束镜，所述校准用标记为形成在所述棱镜型分束镜的出射表面上的校准用图案，其中所述校准用光束从该出射表面出射。优选地，所述校准用图案是通过蚀刻制作在所述出射表面上的。优选地，所述校准用镜头相对于所述第一成像镜头和第一光路转换装置固定，或者相对于第二成像镜头和第二光路转换装置固定。根据本专利技术的另一个方面，还提供一种用于以上所述双目相机的自校准方法，该方法包括：通过第二图像传感器采集校准用标记的图像；提取所述图像中的特征参数；将所述特征参数与预先存储的参考基准比较；以及当所述特征参数与参考基准的差超过预定阈值时，判断双目相机需要重新标定。优选地，所述自校准方法还可以包括：对双目相机进行标定；在上述标定之后，通过第二图像传感器采集校准用标记的图像；以及提取该图像中的特征参数并存储作为所述参考基准。所述自校准方法还可以包括：判断双目相机需要重新标定之后，发出提示信息，以提示使用者双目相机需要重新标定。作为替代或补充，所述自校准方法还可以包括：判断双目相机需要重新标定之后，基于所述特征参数与参考基准计算双目相机的两个成像镜头的相对位置变化量，并对双目相机自动进行重新标定。所述特征参数可以包括校准用标记在图像中的位置、大小和清晰度中的至少一者。根据本专利技术实施例的双目相机，通过设置相对于第一成像镜头固定的校准用标记，并使之通过第二成像镜头成像在第二图像传感器上，所以校准用标记成像所得的图像可以作为反映两个成像镜头相对位置的一个参考标识。校准用标记和校准用镜头等部件内置于双目相机的内部，不增大相机的外形。此外，通过第一光路转换装置，使得无需增加额外的光源就能够实现校准用标记的照明。另外，校准用镜头与第二成像镜头的配合使用，使得能够对校准用标记良好地成像，增加了光路的调节灵活性。根据本专利技术实施例的用于双目相机的自校准方法，能够方便、有效地检测出双目相机需要重新标定的状态。此外，该自校准方法非常有利于动态获得可靠的特征点，并使得能够自动计算和校准双目相机的两个成像镜头的相对位置关系。附图说明从下面结合附图对本专利技术实施例的详细描述中，本专利技术的这些和/或其它方面和优点将变得更加清楚并更容易理解，其中：图1为根据本专利技术第一实施例的双目相机的示意图；图2为根据本专利技术第二实施例的双目相机的示意图；图3为根据本专利技术第三实施例的双目相机的示意图；图4为可应用于图3所示双目相机的第一光束转换装置/校准用标记的示意图；图5示出了根据本专利技术第四实施例的用于双目相机的自校准方法的一个示例。具体实施方式下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。为了便于描述，附图中仅示出了与专利技术相关的部分。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。图1为根据本专利技术第一实施例的双目相机100的示意图，其中仅示出了与专利技术相关的光学成像部分。双目相机100包括第一成像镜头11、第一图像传感器12、第二成像镜头13以及第二图像传感器14。第一和第二成像镜头11、13具有预定的相对位置。如图所示，同一物体通过第一和第二成像镜头11、13分别成像到第一图像传感器12和第二图像传感器14，而且所成图像相对于图像中对应光轴O1和O2的中心位置具有不同的偏移x1和x2。基于该不同的偏移以及两个镜头的相对位置参数，可以计算出被成像物体相对于相机的空间位置。常规地，如图1所示，第一和第二成像镜头11、13可以并排布置，即两者的光轴O1和O2相互平行且彼此偏离一定距离d，同时两个镜头在光轴方向上的位置是一致的。当然，随着双目相机的发展，第一和第二成像镜头11、13可以具有其它的相对位置关系。镜头的相对位置关系通过一些参数来表征。当镜头位置校准之后，确定这些参数的过程又称为标定。由于双目相机的两个镜头的相对位置是空间位置计算的基础，所以无论具体的相对位置如何，希望尽可能刚性地保持这种相对位置关系。另一方面，实际上，刚性地保持两个镜头的相本文档来自技高网...

【技术保护点】
一种双目相机，包括第一成像镜头和第二成像镜头以及分别用于感测第一成像镜头和第二成像镜头成像得到的图像的第一图像传感器和第二图像传感器，其特征在于，还包括：第一光路转换装置，其设置在所述第一成像镜头的物侧，用于接收进入双目相机的第一入射光束并提供投射向所述第一成像镜头的第一成像光束和方向不同于第一成像光束的校准用光束；校准用标记，其设置在所述校准用光束的光路中以便被其照明，并且相对于所述第一成像镜头固定；第二光路转换装置，其设置在所述第二成像镜头的物侧，用于接收进入双目相机的第二入射光束并使之至少部分地成为投射向所述第二成像镜头的第二成像光束；以及校准用镜头，其设置在所述校准用标记和第二光路转换装置之间，用于对所述校准用标记进行成像，其中，所述第二光路转换装置还用于接收所述校准用镜头出射的光束并使之至少部分投射向所述第二成像镜头，从而使得所述校准用标记经由所述校准用镜头和第二成像镜头成像在第二图像传感器上。

【技术特征摘要】
1.一种双目相机，包括第一成像镜头和第二成像镜头以及分别用于感测第一成像镜头和第二成像镜头成像得到的图像的第一图像传感器和第二图像传感器，其特征在于，还包括：第一光路转换装置，其设置在所述第一成像镜头的物侧，用于接收进入双目相机的第一入射光束并提供投射向所述第一成像镜头的第一成像光束和方向不同于第一成像光束的校准用光束；校准用标记，其设置在所述校准用光束的光路中以便被其照明，并且相对于所述第一成像镜头固定；第二光路转换装置，其设置在所述第二成像镜头的物侧，用于接收进入双目相机的第二入射光束并使之至少部分地成为投射向所述第二成像镜头的第二成像光束；以及校准用镜头，其设置在所述校准用标记和第二光路转换装置之间，用于对所述校准用标记进行成像，其中，所述第二光路转换装置还用于接收所述校准用镜头出射的光束并使之至少部分投射向所述第二成像镜头，从而使得所述校准用标记经由所述校准用镜头和第二成像镜头成像在第二图像传感器上。2.如权利要求1所述的双目相机，其中，所述校准用标记为设置在第一光路转换装置与校准用镜头之间的板状件，其上包括透光部分和不透光部分，从而形成校准用图案。3.如权利要求1所述的双目相机，其中，所述校准用标记为形成在所述第一光路转换装置的光学表面上的校准用图案。4.如权利要求3所述的双目相机，其中，所述第一光路转换装置包括被所述第一入射光束照射的光学表面，所述校准用标记为形...

【专利技术属性】
技术研发人员：游宇，
申请(专利权)人：驭势科技北京有限公司，
类型：发明
国别省市：北京,11