一种基于双目采集图像提取景深信息的方法技术

本发明专利技术公开了一种基于双目采集图像提取景深信息的方法。包括：使用畸变校正算法校正图像畸变，使用双边滤波方法处理图像噪声干扰，使用调优后的立体匹配算法得到场景的深度信息图，通过三维重建获得目标场景中特征点的三维坐标信息，通过对特征点的坐标信息进行处理得到用于障碍检测和避障的数据，实际场景的测试结果验证了文章提出的方法的有效性。本发明专利技术提出的方法能够弥补当前解决方案的不足，更好地满足实际需求。

A method of extracting depth information based on binocular image acquisition

【技术实现步骤摘要】
一种基于双目采集图像提取景深信息的方法
本专利技术属于图像处理领域，具体涉及到一种利用双目采集图像提取景深信息的方法。
技术介绍
对障碍物的准确检测和避让是室内机器人能够自主或半自主地完成任务的必要前提，能够及时有效的躲避近距离的障碍物已经成为该领域的重要研究方向。目前主流的应用于室内机器人的避障及安全防撞技术分为非接触式防撞技术和接触式防撞技术。其中接触式技术是通过接触式传感器感知障碍物，该方式没有预见性，虽然设计和实现简单，但具有盲目性，不仅避障效率低下，而且由于环境的不确定性，可能会给机器人及周围物品造成不可预知的后果。非接触式防撞是机器人通过所携带的非接触式传感器探测前方障碍物与本体的距离从而做出下一步的路径规划的技术。该方式属于主动避障，可以提前感知障碍物以保证本体和周围物品的安全。目前，非接触式障碍检测多使用超声波、红外探测和激光测距等方式实现。超声波和红外探测探头少，由于信号沿直线传播，因此检测面积有限，对于条状物体检测精度较差，容易造成漏测。激光测距采用大面积扫描技术，测量范围大，精度相较前两种是最高的，但装置体积大，成本也是最高的，难以普及。因此，需要一种室内环境下，低成本、高准确度的识别技术。基于视觉来进行距离信息的探测是可行的方案，方案的实现主要分为单目视觉和双目视觉。基于单目视觉的技术无法直接获得目标物体的三维坐标信息，必须通过改变相机的位置来获取环境中特征点的距离信息，该方案实现起来比较困难，并且检测精度也难以满足实际场景的需要。而双目视觉作为计算机视觉领域的一个重要分支，是获得环境中特定物体的景深信息的一种有效方式。该方案通过两个相同的摄像头对同一场景同时拍摄一对照片，经特定的算法处理之后，得到该场景中特定物体的三维坐标信息，进而识别场景中障碍物的景深信息。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种基于双摄像头采集的图像，实现在室内环境下，提取景深信息的方法。包括以下处理流程：S1：图像采集，获得目标场景的左、右图像；S2：图像校正，使用图像畸变校正算法处理S1得到的左、右图像，得到近似理想位置关系的图像对；S3：图像降噪，使用双边滤波方法处理S2得到的左、右图像，去除噪声干扰，同时保留图像细节和边缘信息；S4：立体匹配，通过实际测试对比不同匹配算法的时间消耗和精度，使用调优后的SGBM算法处理S3得到的左、右图像，得到对应的深度信息图；S5：图像阈值分割，对S4得到的深度信息图进行阈值分割，提取原图像中有用区域，方便后续的处理；S6：三维重建，使用三维重建算法处理S5得到的深度信息图，得到包含特征点三维坐标信息的结果；S7：获取并过滤特征点，提取S6得到的特征点坐标信息，从景深信息过滤和障碍物高度信息过滤两个方面对特征点做进一步处理；S8：构建障碍检测区域，处理S7得到的特征点的坐标信息，得到用于实现避障功能的数据。本专利技术的有意效果：使用图像畸变校正算法和双边滤波降噪算法对双摄像头拍摄的图像对进行处理后，能够有效去除原始图像的噪声干扰，保留细节信息和边缘信息，并且能将图像间的位置关系调整至近似理想的状态，保证了后续处理过程的准确性。进一步的，所述步骤S4中算法的输入是经过S2～S3操作后的图像对，使用基于SAD匹配代价函数的SGBM算法来搜索左、右图像中的匹配像素点，具体公式为：其中，S表示SAD窗口范围，d表示左右图像中匹配点间的横坐标之差。该步骤中具体包括：S41，对两幅图像中的每个匹配像素点计算前文提到的匹配代价函数C(x,y,d)，用零初始化总的匹配代价函数S(x,y,d)；S42，从3、5或者8个方向进行匹配，用迭代的方法计算每个方向上的匹配代价S(r)(x,y,d)以及所有方向代价的总和S(x,y,d)；S43，S(x,y,d)计算完成后，找到其最小值d(x,y)；S44，做左-右检验来保证从左向右和从右向左(即双通道)匹配结果的一致性，将不是完全匹配的像素点标记为“无效”；S45，过滤边缘部分误匹配的像素点。进一步的，所述步骤S5中，该步操作通过图像阈值分割把S4得到的深度信息图中需要提取景深信息的目标区域从背景区域中分离出来，方便后续的景深信息提取操作。进一步的，所述步骤S6通过三维重建处理S5的结果，得到目标场景中的特征点的坐标数据。进一步的，所述步骤S7读取S6得到的目标场景的特征点坐标信息，之后从景深信息过滤和障碍物高度信息过滤两个方面来对特征点做进一步的过滤处理，从而得到的有用特征点。进一步的，所述步骤S8会首先构建三个检测区域，通过检测各个区域内有用特征点的数量和分布，得到用于实现避障功能所需的数据。本专利技术的有益效果：通过上述对图像的处理过程，可以生成对应目标区域的深度信息图，保证了处理过程时间消耗的合理性，提出的避障方法实现了对目标场景中特征点的过滤和分区域检测，能够得到用于实现避障功能所需的数据。附图说明图1是本专利技术实施例1的一种基于基于双目采集图像提取景深信息的方法的流程图；图2是本专利技术实施例3的一种图像畸变校正操作前后的对比示意图；图3是本专利技术实施例7的一种实测场景景深信息提取结果的趋势图。图4是本专利技术实施例9的一种对深度信息图分割区域进行障碍检测的示意图。具体实施方式为了更加清楚的阐述本专利技术实施例的技术方案、实现方法，下面结合本专利技术实施例汇总的附图，对本专利技术实施例中的技术方案做更加详细、完整的描述。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本专利技术保护的范围。图1是本专利技术提供的基于双目采集图像提取景深信息的方法的工作流程图，该流程包括：S1：图像采集，获得目标场景的左、右图像；S2：图像校正，使用图像畸变校正算法处理S1得到的左、右图像，得到近似理想位置关系的图像对；S3：图像降噪，使用双边滤波方法处理S2得到的左、右图像，去除噪声干扰，同时保留图像细节和边缘信息；S4：立体匹配，通过实际测试对比不同匹配算法的时间消耗和精度，使用调优后的SGBM算法处理S3得到的左、右图像，得到对应的深度信息图；S5：图像阈值分割，对S4得到的深度信息图进行阈值分割，提取原图像中有用区域，方便后续的处理；S6：三维重建，使用三维重建算法处理S5得到的深度信息图，得到包含特征点三维坐标信息的结果；S7：获取并过滤特征点，提取S6得到的特征点坐标信息，从景深信息过滤和障碍物高度信息过滤两个方面对特征点做进一步处理；S8：构建障碍检测区域，处理S7得到的特征点的坐标信息，得到用于实现避障功能的数据。通过本实施例1的方法，完善了对原始图像的预处理操作，并在提取景深信息前对处理算法得到的深度信息图进行了阈值分割，这样就大大方便了后续的处理操作。实施例3如图2所示，是本专利技术提供的一种图像畸变校正操作前后的对比图，图中，P是三维空间中一点，Ol和Or分别为左、右摄像头的投影中心。由P、Ol和Or三点确定的平面叫做极平面。极平面与左、右摄像头投影平面分别有两个交点。pl和pr是P在左右相机成像平面上的投影点，el和er叫做极点，而plel和prer就是极线。给定其中一个相机的成像平面上图像中的一个待匹配点，它在另一个相机成像平面上图像中的对应点如果存在的话，其必定本文档来自技高网...

【技术保护点】
1.一种基于双目采集图像提取景深信息的方法，其工作流程，包括：S1：图像采集，获得目标场景的左、右图像；S2：图像校正，使用图像畸变校正算法处理S1得到的左、右图像，得到近似理想位置关系的图像对；S3：图像降噪，使用双边滤波方法处理S2得到的左、右图像，去除噪声干扰，同时保留图像细节和边缘信息；S4：立体匹配，通过实际测试对比不同匹配算法的时间消耗和精度，使用调优后的SGBM算法处理S3得到的左、右图像，得到对应的深度信息图；S5：图像阈值分割，对S4得到的深度信息图进行阈值分割，提取原图像中有用区域，方便后续的处理；S6：三维重建，使用三维重建算法处理S5得到的深度信息图，得到包含特征点三维坐标信息的结果；S7：获取并过滤特征点，提取S6得到的特征点坐标信息，从景深信息过滤和障碍物高度信息过滤两个方面对特征点做进一步处理；S8：构建障碍检测区域，处理S7得到的特征点的坐标信息，得到用于实现避障功能的数据。

【技术特征摘要】
1.一种基于双目采集图像提取景深信息的方法，其工作流程，包括：S1：图像采集，获得目标场景的左、右图像；S2：图像校正，使用图像畸变校正算法处理S1得到的左、右图像，得到近似理想位置关系的图像对；S3：图像降噪，使用双边滤波方法处理S2得到的左、右图像，去除噪声干扰，同时保留图像细节和边缘信息；S4：立体匹配，通过实际测试对比不同匹配算法的时间消耗和精度，使用调优后的SGBM算法处理S3得到的左、右图像，得到对应的深度信息图；S5：图像阈值分割，对S4得到的深度信息图进行阈值分割，提取原图像中有用区域，方便后续的处理；S6：三维重建，使用三维重建算法处理S5得到的深度信息图，得到包含特征点三维坐标信息的结果；S7：获取并过滤特征点，提取S6得到的特征点坐标信息，从景深信息过滤和障碍物高度信息过滤两个方面对特征点做进一步处理；S8：构建障碍检测区域，处理S7得到的特征点的坐标信息，得到用于实现避障功能的数据。2.根据权利要求1所述的景深信息提取方法，其特征在于，所述步骤S1所采用的图像采集模块是基线距固定的集成式平行光轴双目相机模块。3.根据权利要求2所述的景深信息提取方法，其特征在于，所述步骤S2的操作是为了通过校正算法处理由双摄像头采集的存在畸变的图像对，消除畸变影响，使其达到便于后续处理的近似理想状态。4.根据权利要求3所述的景深信息提取方法，其特征在于，所述步骤S3的操作是为了用双边滤波方法处理经过畸变校正后的图像对，达到降噪平滑、保留图像细节和边缘信息的目的。5.根据权利要求1-4所述的景深信...

【专利技术属性】
技术研发人员：袁东明，墨宁宁，黎淑兰，胡鹤飞，冉静，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京,11