自动对焦双目摄像头的标定、3D视觉及深度点云计算方法技术

本发明专利技术公开了一种自动对焦双目摄像头的产线标定方法，包括：A1：在双目摄像头的一场景深度位置处配置第一标定板；A2：左右摄像头的镜头移动至一个新位置获取第一标定板图像；A3：重复步骤A2；A4：确定左右摄像头各自对于当前场景深度的最佳对焦位置；A5：重复步骤A1～A4以获取整个深度范围内的多个场景深度下左右摄像头各自对于各个场景深度的最佳对焦位置，得到左右摄像头各自的场景深度和最佳对焦位置关系的曲线，并得到整个深度范围内的多个场景深度对应的关联对焦位置；A6：根据步骤A5中获取的各个关联对焦位置，分别对左右摄像头进行单目及双目摄像头标定。本发明专利技术还公开了自动对焦双目摄像头的3D立体视觉拍摄方法和计算稠密深度点云的方法。算稠密深度点云的方法。算稠密深度点云的方法。

【技术实现步骤摘要】
自动对焦双目摄像头的标定、3D视觉及深度点云计算方法


[0001]本专利技术涉及计算机视觉
，尤其涉及一种自动对焦双目摄像头的产线标定方法、3D立体视觉拍摄方法和计算稠密深度点云的方法。

技术介绍

[0002]自动对焦是指相机内置的一种通过电子及机械装置自动完成对被摄主体对焦并使图像达到清晰的功能。由于具有对焦准确、操作方便的特点，当前带自动对焦功能的摄像头在越来越多的行业都有广泛的应用，包括智能手机、无人机、视频监控等领域。
[0003]摄像头应用正在从2D进入基于双目、多目摄像头的3D时代。消费电子领域，在虚拟现实VR(Virtual Reality)、增强现实AR(Augmented Reality)、混合现实MR(Mixed Reality)应用中，3D立体视频使得虚拟物体更好地“浸入”到现实场景。5G时代，文体娱乐行业，歌舞戏曲节目、体育赛事的VR直播给观众提供“身临其境”的体验感。在隧道挖掘、矿井作业、排爆、管道检测等高危行业，远程3D立体视觉系统作为“全信息化”的手段，保护施工员人身安全。远程医疗及高清双目内窥镜、外视镜系统让术者感受到“逼真”的3D效果，提高诊疗及手术效果。使用双目摄像头拍摄的左右图像是实现以上3D立体视觉应用的基础。当前通用的双目摄像头一般使用定焦镜头，拍摄设备对焦距离固定，当拍摄场景发生变化时，如果新的场景深度超出了摄像头的景深范围，拍摄的视频是模糊的。在智能手机等消费电子领域，使用单目自动对焦摄像头拍摄视频时，由于当前通用的基于对比度的对焦算法在特定场景下计算时间较长，不能及时对焦，造成拍摄的视频内容模糊。另外目前一些手机对焦算法还不能有效应对拍摄场景内容发生微小变化、场景深度并未变化的情况，此时手机会持续移动镜头位置搜索最佳对焦点，导致拍摄的视频时而清晰，时而模糊。
[0004]此外，例如在手机行业，使用红外结构光摄像头模组来抓取人脸的3D点云，实现人脸识别。无人机行业，通过双目摄像头实现3D环境感知来支持无人机在飞行中避障。汽车行业，通过双目摄像头完成测距、3D环境感知来辅助驾驶及支持自动驾驶。扫地机器人行业，通过双目摄像头完成3D环境感知来实现路径规划、避障及物体识别。虚拟现实VR(Virtual Reality)行业，使用双目摄像头完成VR头盔的定位追踪、操作手柄定位及3D内容采集。使用双目摄像头拍摄的左右图像是实现以上三维测量应用的基础。当前通用的双目摄像头一般使用定焦镜头，拍摄设备对焦距离固定，当拍摄场景发生变化时，如果新的场景深度超出了摄像头的景深范围，拍摄的图像可能是模糊的，从而左右摄像头图像的立体匹配效果不佳，计算出的稠密深度点云精度差。
[0005]以上
技术介绍
内容的公开仅用于辅助理解本专利技术的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述
技术介绍
不应当用于评价本申请的新颖性和创造性。

技术实现思路

[0006]为解决上述技术问题，本专利技术提出一种自动对焦双目摄像头的产线标定方法、3D
立体视觉拍摄方法和计算稠密深度点云的方法，可以使得拍摄的视频时刻保持清晰，也可以计算出稠密的深度点云。
[0007]为了达到上述目的，本专利技术采用以下技术方案：
[0008]本专利技术公开了一种自动对焦双目摄像头的产线标定方法，包括：
[0009]A1：在双目摄像头的一场景深度位置处配置第一标定板；
[0010]A2：将所述双目摄像头的左右摄像头的镜头按照预设步长移动至一个新位置后，左右摄像头分别拍摄第一标定板以获取第一标定板图像；
[0011]A3：重复步骤A2，以获取左右摄像头的镜头的多个位置处拍摄的第一标定板图像，使得左右摄像头各自分别获取一组第一标定板图像；
[0012]A4：分别计算左右摄像头各自获取的一组第一标定板图像中预设区域的对比度，将各组中对比度最大时对应的镜头的位置分别确定为左右摄像头各自对于当前场景深度的最佳对焦位置；
[0013]A5：重复步骤A1～A4，以获取整个深度范围内的多个场景深度下左右摄像头各自对于各个场景深度的最佳对焦位置，并依据左右摄像头各自对于各个场景深度的最佳对焦位置得到左右摄像头各自的场景深度和最佳对焦位置关系的曲线，再根据左右摄像头各自的场景深度和最佳对焦位置关系的曲线得到整个深度范围内的多个场景深度下对应的关联对焦位置，各个所述关联对焦位置分别由场景深度和对应的左摄像头最佳对焦位置、右摄像头最佳对焦位置组成；
[0014]A6：根据步骤A5中获取的各个所述关联对焦位置，在每个所述关联对焦位置中的场景深度下，分别对左右摄像头进行单目标定得到左右摄像头的单目摄像头参数，并结合左右摄像头的单目摄像头参数标定双目摄像头的相对位置。
[0015]在一些实施例中，本专利技术还包括如下技术特征：
[0016]所述第一标定板为实心圆点阵列标定板，其尺寸、圆点直径及间距与场景深度成正相关。
[0017]步骤A4中的所述预设区域包括一个区域或者五个区域，其中一个区域是指图像中心的方形区域，五个区域是指图像中心的方形区域和图像中0.5或0.8视场处的四个方形区域。
[0018]步骤A4中采用公式计算第一标定板图像中预设区域的对比度，式中，L
max
和L
min
分别为预设区域中最大的像素灰度值和最小的像素灰度图。
[0019]步骤A1中配置的所述第一标定板垂直于双目摄像头的光轴，且整个深度范围分为多段深度区间，每一段使用一个尺寸的标定模板；当双目摄像头进入下一段深度区间标定时，更换与该段深度区间相适应的标定模板；在每一次执行步骤A3前执行的步骤A2中，将左右摄像头的镜头移动至对焦距离最近处，步骤A3中重复步骤A2时，依序将左右摄像头的镜头按预设步长移动，直至左右摄像头的镜头位于对焦距离最远处，以遍历完左右摄像头的镜头的全部位置。
[0020]步骤A6具体包括：
[0021]A61：根据步骤A5中获取的各个所述关联对焦位置中的场景深度，整个深度范围分为多段深度区间，在各段深度区间下分别配置第二标定板；
[0022]A62：左右摄像头分别从不同角度拍摄第二标定板以获取多幅第二标定板图像，基于最小化重投影误差求得左右摄像头的内参数、外参数和畸变参数，结合左右摄像头的外参数标定双目摄像头的相对位置；
[0023]A63：重复步骤A61～A62，以获取在每个所述关联对焦位置中的场景深度下左右摄像头的内参数、外参数和畸变参数以及双目摄像头的相对位置。
[0024]所述第二标定板采用黑白棋盘格标定板，其尺寸、棋盘格大小及间距与场景深度成正相关；且整个深度范围分为多段深度区间，每一段使用一个尺寸的标定模板；当双目摄像头进入下一段深度区间标定时，更换与该段深度区间相适应的标定模板。
[0025]本专利技术公开了一种自动对焦双目摄像头的产线标定装置，包含有计算机程序，用于实现上述的产线标定方法。
[0026本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自动对焦双目摄像头的产线标定方法，其特征在于，包括：A1：在双目摄像头的一场景深度位置处配置第一标定板；A2：将所述双目摄像头的左右摄像头的镜头按照预设步长移动至一个新位置后，左右摄像头分别拍摄第一标定板以获取第一标定板图像；A3：重复步骤A2，以获取左右摄像头的镜头的多个位置处拍摄的第一标定板图像，使得左右摄像头各自分别获取一组第一标定板图像；A4：分别计算左右摄像头各自获取的一组第一标定板图像中预设区域的对比度，将各组中对比度最大时对应的镜头的位置分别确定为左右摄像头各自对于当前场景深度的最佳对焦位置；A5：重复步骤A1～A4，以获取整个深度范围内的多个场景深度下左右摄像头各自对于各个场景深度的最佳对焦位置，并依据左右摄像头各自对于各个场景深度的最佳对焦位置得到左右摄像头各自的场景深度和最佳对焦位置关系的曲线，再根据左右摄像头各自的场景深度和最佳对焦位置关系的曲线得到整个深度范围内的多个场景深度下对应的关联对焦位置，各个所述关联对焦位置分别由场景深度和对应的左摄像头最佳对焦位置、右摄像头最佳对焦位置组成；A6：根据步骤A5中获取的各个所述关联对焦位置，在每个所述关联对焦位置中的场景深度下，分别对左右摄像头进行单目标定得到左右摄像头的单目摄像头参数，并结合左右摄像头的单目摄像头参数标定双目摄像头的相对位置。2.根据权利要求1所述的产线标定方法，其特征在于，所述第一标定板为实心圆点阵列标定板，其尺寸、圆点直径及间距与场景深度成正相关。3.根据权利要求1所述的产线标定方法，其特征在于，步骤A4中的所述预设区域包括一个区域或者五个区域，其中一个区域是指图像中心的方形区域，五个区域是指图像中心的方形区域和图像中0.5或0.8视场处的四个方形区域。4.根据权利要求1所述的产线标定方法，其特征在于，步骤A4中采用公式计算第一标定板图像中预设区域的对比度，式中，L
max
和L
min
分别为预设区域中最大的像素灰度值和最小的像素灰度图。5.根据权利要求1所述的产线标定方法，其特征在于，步骤A1中配置的所述第一标定板垂直于双目摄像头的光轴，且整个深度范围分为多段深度区间，每一段使用一个尺寸的标定模板；当双目摄像头进入下一段深度区间标定时，更换与该段深度区间相适应的标定模板；在每一次执行步骤A3前执行的步骤A2中，将左右摄像头的镜头移动至对焦距离最近处，步骤A3中重复步骤A2时，依序将左右摄像头的镜头按预设步长移动，直至左右摄像头的镜头位于对焦距离最远处，以遍历完左右摄像头的镜头的全部位置。6.根据权利要求1所述的产线标定方法，其特征在于，步骤A6具体包括：A61：根据步骤A5中获取的各个所述关联对焦位置中的场景深度，整个深度范围分为多段深度区间，在各段深度区间下分别配置第二标定板；A62：左右摄像头分别从不同角度拍摄第二标定板以获取多幅第二标定板图像，基于最小化重投影误差求得左右摄像头的内参数、外参数和畸变参数，结合左右摄像头的外参数标定双目摄像头的相对位置；
A63：重复步骤A61～A62，以获取在每个所述关联对焦位置中的场景深度下左右摄像头的内参数、外参数和畸变参数以及双目摄像头的相对位置。7.根据权利要求6所述的产线标定方法，其特征在于，所述第二标定板采用黑白棋盘格标定板，其尺寸、棋盘格大小及间距与场景深度成正相关；且整个深度范围分为多段深度区间，每一段使用一个尺寸的标定模板；当双目摄像头进入下一段深度区间标定时，更换与该段深度区间相适应的标定模板。8.一种自动对焦双目摄像头的产线标定装置，其特征在于，包含有计算机程序，用于实现如权利要求1至7任一项所述的产线标定方法。9.一种自动对焦双目摄像头的3D立体视觉拍摄方法，其特征在于，包括：采用权利要求1至7任一项所述的产线标定方法对所述双目摄像头进行产线标定，以及：B1：左右摄像头的镜头分别位于对焦在同一场景深度的初始位置处，将该场景深度保存为对比深度值，左右摄像头分别拍摄当前场景的第一帧图像；B2：根据该对比深度值对应的关联对焦位置处所标定的单目摄像头参数和双目摄像头的相对位置，计算当前场景的深度；B3：比较计算得到的当前场景的深度与对比深度值是否一致，如果是，则执行步骤B6，如果否，则执行步骤B4；B4：基于计算得到的当前场景的深度，根据步骤A5得到的多个所述关联对焦位置，将左右摄像头的镜头分别推至与当前场景的深度对应的最佳对焦位置处，并将当前场景的深度保存为对比深度值；B5：左右摄像头分别拍摄当前场景的新一帧图像；B6：根据该对比深度值对应的关联对焦位置处所标定的单目摄像头参数和双目摄像头的相对位置，将左右摄像头分别拍摄的图像进行立体校正得到左图像和右图像，所述左图像是指左摄像头拍摄的图像立体校正后的图像，所述右图像是指右摄像头拍摄的图像立体校正后的图像；B7：将左图像和右图像进行拼接，输出至3D显示设备的屏幕上；B8：左右摄像头分别拍摄当前场景的新一帧图像，并返回至步骤B2。10.根据权利要求9所述的3D立体视觉拍摄方法，其特征在于，步骤B2中具体采用：基于准确匹配的特征点对和该对比深度值对应的左右摄像头的所述单目摄像头参数和双目摄像头的相对位...

【专利技术属性】
技术研发人员：蔡瑜，罗富城，
申请(专利权)人：像工场深圳科技有限公司，
类型：发明
国别省市：