一种基于双目视觉的深度成像及信息获取方法技术

本发明专利技术提供了一种基于双目视觉的深度成像及信息获取方法，该方法通过畸变校正和极线校正对双目摄像头拍摄的图像进行空间校准，构造基于校准后图像对的二维视差标签集合，每次选取不同的标签组合作为源汇点构造网络图并设计边权值，采用最大流算法迭代求取网络的最小割集，根据设计的标签更新策略完成像素点的二维视差标签分配，迭代终止时可以得到比较稠密的视差图，结合三角测距原理计算得到场景的深度信息，通过采集关键点的深度信息进一步优化计算结果，结合GPS数据和摄像头架设的高度、角度信息，场景中任一目标的位置及物理尺度信息均可被获取。

A Method of Depth Imaging and Information Acquisition Based on Binocular Vision

【技术实现步骤摘要】
一种基于双目视觉的深度成像及信息获取方法
本专利技术属深度成像领域，尤其涉及一种基于双目视觉的深度成像方法及信息获取方法。
技术介绍
深度成像是利用成像设备提取场景深度信息，并将深度信息表示为深度图像的技术。该技术可以与目标检测、目标识别、图像分割等技术结合，应用于智能视频监控、无人驾驶汽车、智能交通、安防及机器人自动控制等领域。在实际场景中，可用于在地铁、车站、广场、商场、公园等重要场所及人流密集区域的行人检测。本专利技术创新性的提出了二维视差存在下的双目深度成像方法，结合智能三维立体监控摄像头，优化了深度信息的获取及修正方法，获得了目标的物理尺度信息及世界位置信息，是对监控手段的智能化升级，也是智慧城市的重要体现所在。国内外很多大学和科研机构也均对深度成像技术进行过研究，并取得了一定的研究成果。传统深度成像技术包括激光深度成像、双目视觉深度成像和雷达深度成像技术，其中，激光深度成像设备造价较高，且易受光照影响，雷达成像设备虽然可以获得大视场的深度信息，但是，雷达信号只对强散射点有不错的效果，相较这两种成像技术，双目深度成像技术具有成本低，易实现，适用场景更加广泛的优势。双目深度成像技术的核心是立体匹配算法，立体匹配算法可根据匹配基元不同分为两类：一类是以SGBM算法为代表的局部立体匹配算法，另一类是以alpha-betaswap算法为代表的全局立体匹配算法。由于全局立体匹配算法融入了多种先验知识，最终的算法结果相较局部立体匹配算法来说更有优势。但是，在实际数据获取及相机标定中，由于存在系统误差，一对待匹配图像不仅有横向视差，还存在纵向视差，传统的alpha-betaswap算法在算法设计中仅考虑了横向视差存在的情况，因而无法满足实际系统的应用需要；由于视差值一般为整数，损失了部分系统精度，所以计算出的深度信息还不够准确，进一步影响了目标物理尺度信息和世界位置信息的准确计算获取。
技术实现思路
为了克服上述缺陷，进一步提高双目深度成像的精度，对传统立体匹配算法设计中融入二维视差的考虑，获取较为准确的视差值，采用测量修正法进一步优化根据视差值计算出的深度信息，结合摄像机架设高度、角度信息及GPS信息，获得目标的物理尺度及世界位置信息。本专利技术的目的是提供一种基于双目视觉的深度成像及信息获取方法，可以克服现有双目深度成像算法难以适应二维视差存在的问题，提高算法本身的视差计算能力，通过构造二维视差存在下的网络图、权值及标签更新策略，计算出较为准确的视差值，结合摄像头架设角度、高度信息和GPS数据，实现场景内目标的物理尺度计算和世界位置信息获取。为达到上述目的，本专利技术的技术解决方案是：一种基于双目视觉的深度成像及信息获取方法，步骤包括：1)采用棋盘格标定板进行双目相机标定，根据标定结果进行图像畸变校正和极线校正，得到空间校准后的图像对。2)设定合适的二维视差取值范围，根据二维视差的不同取值，设置对应的二维视差标签，构成二维视差标签集合；设置最大流监测值，初始化为无穷大；3)选取一对不同的二维视差标签作为源点和汇点构造无向网络图，如图1所示，根据视差标签和图像对的像素信息设计t-link边的权值，根据相邻像素点的像素信息设计n-link边的权值；4)执行最大流算法求取网络的最大流和最小割，读取最大流监测值，判断当前最大流与最大流监测值相比是否下降；如果判别为否，各像素点视差标签不变，最大流监测值也不变；如果判别为是，更新当前最大流为最大流监测值，保留最小割结果，进入步骤5)5)根据最小割结果，依据视差标签更新策略，将源点集合内像素点的二维视差标签更新为汇点的二维视差标签，将汇点集合内像素点的二维视差标签更新为源点的二维视差标签，判断是否遍历完所有的视差标签组合构造网络图并执行最大流算法；如果判别为否，进入步骤3)；如果判别为是，保留当前所有视差标签的分配结果，进入步骤6)；6)根据二维视差标签与二维视差之间的对应关系，得到所有像素点的二维视差值和视差图像；根据三角测距原理，计算场景所有像素点对应的深度信息；7)采集关键点的深度信息，结合计算出的关键点深度信息，根据检测值与计算值之间的差异，得到深度信息修正值，补偿由于视差精度不足引起的系统误差，进一步得到更为准确的全局深度信息；8)采集相机架设角度和高度信息，结合场景中目标的深度信息，进一步输出场景内目标的相关物理尺度信息；结合GPS数据，输出目标的世界位置信息。上述方法中，根据二维视差标签集合的构造方式，在选择一对二维视差标签组合执行最大流算法时，采用升序或降序的标签选取方式，保证选取的视差标签组合不重复。若视差范围较大，可通过降低图像分辨率，减小视差范围，降低视差标签数目，减少算法迭代次数，再根据降低图像分辨率的比例，计算真实视差，优化视差计算速度。上述方法中，边权值设计时采用截断函数防止过大的权值出现，保证算法可以更好的优化，减少计算出的视差图中的噪声区域，提高图像中视差连续区域的平滑性。截断函数中的阈值U，经实验分析，当初始图像像素被灰度归一化为0～1后，U＝0.0784有最佳优化效果，当初始图像仅被灰度化后，U＝20有最佳优化效果。上述方法中，每次执行最大流算法都可以收敛到当前视差标签组合下的局部最优解，最大流算法获得的最小割分割结果与最大后验概率估计的结果一致，当所有视差标签组合执行完最大流算法时，算法收敛到局部最优解，同时生成了较为稠密的视差图。上述方法中，由于视差值是根据像素坐标计算得到，一般为整数，损失了部分精度，因此采用LED单点测距仪对关键点测量深度信息，与根据关键点处视差值计算出的深度信息求差值，得到深度信息修正值，优化图像中所有像素点的深度信息。上述方法中，根据修正后的深度信息、摄像头架设角度、高度信息，可通过构造图3所示的物理尺度计算模型，根据三角测距原理进一步计算得到目标的物理尺度信息，如高度、宽度等。与现有技术相比，本专利技术可实现场景的深度成像，并对深度信息修正，结合部分架设信息，能获得目标的物理尺度信息，结合GPS数据，能获得目标的世界位置信息了，适用于开放或封闭区域的深度成像，应用范围广泛，有利于目标检测中目标的相关属性信息获取。附图说明：图1为含边权值的无向网络图图2为二维视差下的相机成像模型图3为物理尺度计算模型图4为基于双目视觉的深度成像及信息获取方法流程图图5为基于双目视觉的深度成像及信息获取方法中的深度成像示意图。图6为基于双目视觉的深度成像及信息获取方法中的深度成像效果说明图。具体实施方式：下面结合附图与具体实施方式对本技术方案进一步说明如下：如图4所示，描述了基于双目视觉的深度成像及信息获取方法流程，首先进行彩色图像采集，获取某一监控区域的彩色图像，设定合适的二维视差范围，初始化最大流监测值，根据标签集合设定规则，构建二维视差标签集合，迭代选取一对二维视差标签组合构造网络图，并进行边权值的设计，再执行最大流算法优化，计算网络最大流和最小割结果，判断最大流相较最大流监测值是否有所下降。如果判别为否，不执行最大流监测值更新和标签更新。如果判断为是，更新最大流监测值为当前最大流，根据最小割结果执行标签更新策略。然后判断是否遍历完所有视差标签组合，如果判别为否，选择不同的二维视差标签重新构造网络图并优化。如果判别为是，生本文档来自技高网...

【技术保护点】
1.一种基于双目视觉的深度成像及信息获取方法，其特征是步骤包括：a)进行彩色图像采集，获取某一监控区域的彩色图像，设定合适的二维视差范围，初始化最大流监测值；b)根据标签集合设定规则，构建二维视差标签集合；c)迭代选取一对二维视差标签组合；d)构造网络图，并进行边权值的设计；e)执行最大流算法优化，计算网络最大流和最小割结果，判断最大流相较最大流监测值是否有所下降：如果判别为否，不执行最大流监测值更新和标签更新，直接进入步骤f)；如果判断为是，更新最大流监测值为当前最大流，根据最小割结果执行标签更新策略，然后进入步骤f)；f)判断是否遍历完所有视差标签组合：如果判别为否，则进入步骤b)；如果判别为是，则生成视差图，然后进入步骤g)；g)根据三角测距原理和视差结果计算每个像素点对应的全局深度信息；再结合采集到的关键点深度信息，计算得到深度信息修正值，完成全局深度信息修正；利用摄像头架设信息和GPS信息，分别输出目标物理尺度信息和目标世界位置信息。

【技术特征摘要】
1.一种基于双目视觉的深度成像及信息获取方法，其特征是步骤包括：a)进行彩色图像采集，获取某一监控区域的彩色图像，设定合适的二维视差范围，初始化最大流监测值；b)根据标签集合设定规则，构建二维视差标签集合；c)迭代选取一对二维视差标签组合；d)构造网络图，并进行边权值的设计；e)执行最大流算法优化，计算网络最大流和最小割结果，判断最大流相较最大流监测值是否有所下降：如果判别为否，不执行最大流监测值更新和标签更新，直接进入步骤f)；如果判断为是，更新最大流监测值为当前最大流，根据最小割结果执行标签更新策略，然后进入步骤f)；f)判断是否遍历完所有视差标签组合：如果判别为否，则进入步骤b)；如果判别为是，则生成视差图，然后进入步骤g)；g)根据三角测距原理和视差结果计算每个像素点对应的全局深度信息；再结合采集到的关键点深度信息，计算得到深度信息修正值，完成全局深度信息修正；利用摄像头架设信息和GPS信息，分别输出目标物理尺度信息和目标世界位置信息。2.根据权利要求1所述的方法，其特征是，所述步骤a)和b)中，采用双目相机采集彩色图像；采用棋盘格标定板进行双目相机标定，根据标定结果进行图像畸变校正和极线校正，得到空间校准后的图像对；设定合适的二维视差取值范围，根据二维视差的不同取值，设置对应的二维视差标签，构成二维视差标签集合；设置最大流监测值，初始化为无穷大；所述步骤c)和d)中，选取一对不同的二维视差标签作为源点和汇点构造无向网络图，根据视差标签和图像对的像素信息设计t-link边的权值，根据相邻像素点的像素信息设计n-link边的权值；所述步骤e)中，执行最大流算法求取网络的最大流和最小割，读取最大流监测值，判断当前最大流与最大流监测值相比是否下降；如果判别为否，各像素点视差标签不变，最大流监测值也不变；如果判别为是，更新最大流监测值为当前最大流，保留最小割结果；所述步骤f)中，根据最小割结果，依据视差标签更新策略，将源点集合内像素点的二维视差标签更新为汇点的二维视差标签，将汇点集合内像素点的二维视差标签更新为源点的二维视差标签，判断是否遍历完所有的视差标签组合构造网络图并执行最大流算法；如果判别为否，进入步骤b)；如果判别为是，保留当前所有视差标签的分配结果，进入步骤g)；所述步骤g)中，根据二维视差标签与二维视差之间的对应关系，得到所有像素点的二维视差值和视差图像；根据三角测距原理，计算场景所有像素点对应的深度信息；采集关键点的深度信息，结合计算出的关键点深度信息，根据检测值与计算值之间的差异，得到深度信息修正值，补偿由于视差精度不足引起的系统误差，进一步得到更为准确的全局深度信息；采集相机架设角度和高度信息，结合场景中目标的深度信息，进一步输出场景内目标的相关物理尺度信息；结合GPS数据，获得目标的世界位置信息。3.根据权利要求2所述的方法，其特征是所述步骤b)中，根据预设的二维视差范围，设计对应不同纵向和横向视差组合的二维视差标签集合；其中，预设的纵向视差l∈[l1,lm]，横向视差d∈[d1,dn]，m，n为正整数，则二维视差标签集合被设计为F＝{u1,u2,…,um×n}，其中，um×n为二维视差标签；所述步骤c)中，给定一组初始标签f，P＝{Pm|m∈F}，其中Pm＝{p∈P|fp＝m}表示视差标签被分配为m的像素点集合；无向网络图中像素点...

【专利技术属性】
技术研发人员：魏运，田青，仝淑贞，
申请(专利权)人：魏运，田青，
类型：发明
国别省市：北京,11