相机间外参的标定方法及电子设备技术

本申请实施例提供了相机间外参的标定方法及电子设备。本申请实施例提供的相机间外参的标定方法包括：首先确定两个相机获取的图像中的共视图像，然后确定共视图像在世界坐标系下的坐标，然后确定两个相机的相机间外参的初值，再然后通过建立共视图像在不同相机的像素坐标系或图像坐标系下的映射关系，最后基于该映射关系和相机间外参的初值确定相机外参的终值。本申请实施例提供的相机间外参的标定方法，可以在不预先知道相机的内参的情况下，并且在不依赖特定的标定仪器的帮助下，标定两个或更多个相机的相机间外参。或更多个相机的相机间外参。或更多个相机的相机间外参。

【技术实现步骤摘要】
相机间外参的标定方法及电子设备


[0001]本申请涉及机器视觉领域，尤其涉及相机间外参的标定方法及电子设备。

技术介绍

[0002]在机器视觉等领域中，电子设备在确定图像中任意两点像素之间的真实距离前需要先确定空间物体表面某点的三维几何位置与该空间物体在图像中对应点之间的映射关系，这种映射关系可以称为相机参数。其中，相机参数包括相机内参和相机外参。
[0003]电子设备在具备两个或更多个相机的情况下，可以通过两个或更多个相机拍摄得到的图像进行同时定位和建图（simultaneous localization and mapping, SLAM）。由于不同相机在现实空间中的位姿（pose）不同，需要确定两个或更多个相机的相机间外参，才能确定不同相机拍摄得到的图像之间的映射关系，进而才能联合处理不同相机拍摄得到的图像以实现定位和建图。其中，两个或更多个相机之间的相机间外参是指两个或更多个相机之中任意两个相机的相机坐标系的转换关系。
[0004]为了获得不同相机的相机间外参，一种可行的方法为：通过标定板、标定杆等参照物直接确定相机1和相机2的内参和外参，然后通过比较相机1获取到的参照物的图像和相机2获取到参照物的图像确定相机1和相机2之间的映射关系，最后通过映射关系、相机1的内参和外参、相机2的内参和外参，直接求解得到相机1和相机2的相机间外参。
[0005]但是，实现该方法需依赖特定的、精密的辅助仪器，如标定版、标定杆等。消费者不能通过一种简便的方式进行相机间外参的标定，导致电子设备的定位和建图的精度和能力下降，进而影响到用户体验。

技术实现思路

[0006]本申请实施例提供了相机间外参的标定方法及电子设备。本申请实施例提供的相机间外参的标定方法包括：首先确定两个相机获取的图像中的共视图像，然后确定共视图像在世界坐标系下的坐标，然后确定两个相机的相机间外参的初值，再然后通过建立共视图像在不同相机的像素坐标系或图像坐标系下的映射关系，最后基于该映射关系和相机间外参的初值确定相机外参的终值。本申请实施例提供的相机间外参的标定方法，可以在不预先知道相机的内参的情况下，并且在不依赖特定的标定仪器的帮助下，标定两个或更多个相机的相机间外参。
[0007]第一方面，本申请实施例提供了一种相机间外参的标定方法，应用于包括第一相机和第二相机的电子设备，包括：执行第一运动，或者显示第一通知，该第一通知用于提醒用户对该电子设备执行第一运动；在该第一运动过程中，获取包括共视图像的第一图像组和第二图像组，该第一图像组为通过该第一相机获取的图像组，该第二图像组为该第二相机获取的图像组，该第一相机和该第二相机的相对位姿不变；根据该第一图像组或根据该第二图像组确定该共视图像在世界坐标系下的坐标；根据该第一图像组确定第一外参组、根据该第二图像组确定第二外参组，该第一外参组包括该第一相机在获取第一图像组中的
图像时的相机外参，该第二外参组包括该第二相机在获取第二图像组中的图像时的相机外参；根据该共视图像在世界坐标系下的坐标、该第一外参组、该第二外参组确定第一参数，该第一参数为该第一相机和该第二相机的相机间外参的初值；建立该第一图像组和该第二图像组中共视图像的映射关系，根据该映射关系和第一参数确定第二参数，该第二参数为该第一相机和该第二相机的相机间外参的终值。
[0008]在上述实施例中，可以在不预先知道相机的内参的情况下，并且在不依赖特定的标定仪器的帮助下，标定两个或更多个相机的相机间外参，进而为联合处理多个相机的图像提供了基础。
[0009]结合第一方面的一些实施例，在一些实施例中，确定该第一相机和该第二相机没有共视区域，该第一运动与第一相机和第二相机的相对位姿有关，该第一运动用于使得该第一图像组和该第二图像组中存在具有该共视图像的多个图像对；该根据该第一图像组或根据该第二图像组确定该共视图像在世界坐标系下的坐标，具体包括：确定该第一图像组和第二图像组中具有该共视图像的多个图像对，根据该多个图像对确定该共视图像在世界坐标系下的坐标；该建立该第一图像组和该第二图像组中共视图像的映射关系，具体包括：建立该多个图像对中该共视图像的映射关系。
[0010]在上述实施例中，在第一相机和第二相机没有共视区域的情况下，需要通过第一运动使得第一图像组和第二图像组中存在具有共视图像的多个图像对。并且，由于执行了第一运动才获得具有共视图像的多个图像对，则第一图像组和第二图像组中的一部分图像是不属于该多个图像对的，进而在建立多个图像对中共视图像的映射关系时，可以只对图像对中的共视图像建立映射关系。
[0011]结合第一方面的一些实施例，在一些实施例中，确定该第一相机和该第二相机有共视区域；该根据该第一图像组或根据该第二图像组确定该共视图像在世界坐标系下的坐标，具体包括：确定该第一图像组和第二图像组中具有该共视图像的多个图像对，根据该多个图像对确定该共视图像在世界坐标系下的坐标；该建立该第一图像组和该第二图像组中共视图像的映射关系，具体包括：建立该多个图像对中该共视图像的映射关系。
[0012]在上述实施例中，在第一相机和第二相机没有共视区域的情况下，理论上，第一图像组和第二图像组中每一张图像上均有共视图像。但是考虑到实际可视区域的影响，第一图像组和第二图像组中的一部分图像是不属于该多个图像对的，进而在建立多个图像对中共视图像的映射关系时，可以只对图像对中的共视图像建立映射关系。
[0013]结合第一方面的一些实施例，在一些实施例中，在该执行第一运动，或者显示第一通知前，该方法还包括：在该第一相机获取的图像不满足第一条件的情况下，开启该第二相机，并且通过该第一相机和该第二相机获取图像。
[0014]在上述实施例中，在第一相机获取的图像不满足第一条件的情况下，会开启第二相机获取图像，进而联合处理图像得到更准确的定位和建图结果。
[0015]结合第一方面的一些实施例，在一些实施例中，该第一条件包括：图像的纹理程度低于纹理阈值、图像中的动态物体数量多于动态物体数量阈值、图像中的动态物体面积大于动态物体面积阈值中的一种或多种。
[0016]在上述实施例中，直接判断定位和建图结果是否准确是比较困难的，所以可以根据图像的纹理程度低于纹理阈值、图像中的动态物体数量多于动态物体数量阈值、图像中
的动态物体面积大于动态物体面积阈值等判断图像是否会导致定位和建图结果不准确。
[0017]结合第一方面的一些实施例，在一些实施例中，该多个图像对包括第一图像对，该第一图像对包括第一图像和第二图像，该第一图像属于第一图像组，该第二图像属于第二图像组，该第一图像对的置信度大于置信度阈值，该置信度用于描述图像对中共视图像的旋转不变性。
[0018]在上述实施例中，当图像1和图像2的共视图像的旋转不变性较差时，用图像1和图像2的数据参与计算反而会使得最后确定的相机间外参不容易收敛到最优值附近，所以可以对图像对进行筛选，进而提高收敛的速度。
[0019]第二方面，本申请实施例提供了一种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种相机间外参的标定方法，其特征在于，应用于包括第一相机和第二相机的电子设备，包括：执行第一运动，或者显示第一通知，所述第一通知用于提醒用户对所述电子设备执行第一运动；在所述第一运动过程中，获取包括共视图像的第一图像组和第二图像组，所述第一图像组为通过所述第一相机获取的图像组，所述第二图像组为所述第二相机获取的图像组，所述第一相机和所述第二相机的相对位姿不变；根据所述第一图像组或根据所述第二图像组确定所述共视图像在世界坐标系下的坐标；根据所述第一图像组确定第一外参组、根据所述第二图像组确定第二外参组，所述第一外参组包括所述第一相机在获取第一图像组中的图像时的相机外参，所述第二外参组包括所述第二相机在获取第二图像组中的图像时的相机外参；根据所述共视图像在世界坐标系下的坐标、所述第一外参组、所述第二外参组确定第一参数，所述第一参数为所述第一相机和所述第二相机的相机间外参的初值；建立所述第一图像组和所述第二图像组中共视图像的映射关系，根据所述映射关系和第一参数确定第二参数，所述第二参数为所述第一相机和所述第二相机的相机间外参的终值。2.根据权利要求1所述的方法，其特征在于，在所述执行第一运动，或者显示第一通知前，所述方法还包括：确定所述第一相机和所述第二相机没有共视区域，所述第一运动与第一相机和第二相机的相对位姿有关，所述第一运动用于使得所述第一图像组和所述第二图像组中存在具有所述共视图像的多个图像对；所述根据所述第一图像组或根据所述第二图像组确定所述共视图像在世界坐标系下的坐标，具体包括：确定所述第一图像组和第二图像组中具有所述共视图像的所述多个图像对，根据所述多个图像对确定所述共视图像在世界坐标系下的坐标；所述建立所述第一图像组和所述第二图像组中共视图像的映射关系，具体包括：建立所述多个图像对中所述共视图像的映射关系。3.根据权利要求1所述的方法，其特征在于，确定所述第一相机和所述第二相机有共视区域；所述根据所述第一图像组或根据所述第二图像组确定所述共视图像在世界坐标系下的坐标，具体包括：确定所述第一图像组和第二图像组中具有所述共视图像的多个图像对，根据所述多个图像对确定所述共视图像在世界坐标系下的坐标；所述建立所述第一图像组和所述第二图像组中共视图像的映射关系，具体包括：建立所述多个图像对中所述共视图像的映射关系。4.根据权利要求1
‑
3中任一项所述的方法，其特征在于，在所述执行第一运动，或者显示第一通知前，所述方法还包括：在所述第一相机获取的图像不满足第一条件的情况下，开启所述第二相机，并且通过所述第一相机和所述第二相机获取图像。5.根据权利要求4所述的方法，其特征在于，所述第一条件包括：图像的纹理程度低于纹理阈值、图像中的动态物体数量多于动态物体数量阈值、图像中的动态物体面积大于动
态物体面积阈值中的一种或多种。6.根据权利要求2或3所述的方法，其特征在于，所述多个图像对包括第一图像对，所述第一图像对包括第一图像和第二图像，所述第一图像属于第一图像组，所述第二图像属于第二图像组，所述第一图像对的置信度大于置信度阈值，所述置信度...

【专利技术属性】
技术研发人员：刘小伟，陈兵，周俊伟，王国毅，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：