一种基于立体视觉的目标检测方法及系统技术方案

本发明专利技术公开了一种基于立体视觉的目标检测方法，对立体视觉的一侧视图使用深度学习算法进行目标检测，获取该侧视图的目标区域和类别；采用基于立体视觉的视差图处理算法获取候选目标区域，对候选目标区域使用深度学习分类模型进行分类，得到立体视觉目标区域和类别；将所述该侧视图的目标区域和类别与所述立体视觉目标区域和类别进行合并，得到最终目标区域。优点：能够在图像中检测不同远近大小的目标。

A method and system of object detection based on stereo vision

【技术实现步骤摘要】
一种基于立体视觉的目标检测方法及系统
本专利技术涉及一种基于立体视觉的目标检测方法及系统，属于图像处理

技术介绍
常用的深度学习图像目标检测方法包括Faster-RCNN、YOLO、SSD等，这些算法对近处较大的目标，有很好的检测效果，但是都存在对远处较小目标的检测不理想的情况，这就会影响到目标检测算法在实际中的应用。
技术实现思路
本专利技术所要解决的技术问题是克服现有技术对远处较小目标检测效果不理想的问题，提供一种基于立体视觉的目标检测方法及系统。为解决上述技术问题，本专利技术提供一种基于立体视觉的目标检测方法，对立体视觉的一侧视图使用深度学习算法进行目标检测，获取该侧视图的目标区域和类别；采用基于立体视觉的视差图处理算法获取候选目标区域，对候选目标区域使用深度学习分类模型进行分类，得到立体视觉目标区域和类别；将所述该侧视图的目标区域和类别与所述立体视觉目标区域和类别进行合并，得到最终目标区域。进一步的，为了对图像中的较大目标进行检测；采用深度学习YOLOV3目标检测算法，对立体视觉的一侧视图进行目标检测，以获得目标区域和类别及类别置信度。进一步的，为了在局部最优的视差求取方法的基础上，添加正则化约束并通过动态规划思想来提高计算结果平滑性，以达到求解最优视差图的目的；对立体视觉的该侧视图和位于该侧视图对面的侧视图进行双目标定，利用半全局立体匹配算法对标定后的两侧视图进行立体匹配，得到立体视觉视差图；获取立体视觉视差图中每个像素点的隶属度数据，对隶属度数据进行二值化处理，以消除孤立的像素，得到消除孤立像素后的隶属度数据二值化图像，对得到的消除孤立像素后的隶属度数据二值化图像通过种子填充算法进行处理，以获取该二值化图像的联通区域，获取每一个联通区域的外接矩形，形成候选目标区域。进一步的，为了判定候选目标区域的类别及类别置信度；利用深度学习ResNet34模型对候选目标区域进行分类得到立体视觉目标区域和类别及类别置信度。进一步的，对立体视觉一侧视图的目标检测结果和立体视觉目标检测结果进行融合；对该侧视图的目标区域和立体视觉目标区域，计算它们之间的交并比；通过交并比和预先设定的阈值进行比较，若交并比大于阈值则以两个区域的类别置信度较大的区域为最终目标区域，若交并比小于等于阈值的两个区域，则这两个区域都为最终目标区域。一种基于立体视觉的目标检测系统，包括单侧视图目标区域和类别获取模块、立体视觉目标区域和类别获取模块以及最终目标区域获取模块；所述单侧视图目标区域和类别获取模块用于对立体视觉的一侧视图使用深度学习算法进行目标检测，获取该侧视图的目标区域和类别及类别置信度；所述立体视觉目标区域用于采用基于立体视觉的视差图处理算法获取候选目标区域，对候选目标区域使用深度学习分类模型进行分类，得到立体视觉目标区域和类别及类别置信度；所述最终目标区域获取模块用于将所述该侧视图的目标区域和类别与所述立体视觉目标区域和类别进行合并，得到最终目标区域。进一步的，所述单侧视图目标区域和类别获取模块包括目标检测模块，用于采用深度学习YOLOV3目标检测算法进行目标检测，以得到目标区域和类别及类别置信度。进一步的，所述立体视觉目标区域和类别获取模块包括立体视觉视差图获取模块、候选目标区域获取模块和深度学习ResNet34模型处理模块；所述立体视觉视差图获取模块用于对立体视觉的该侧视图和位于该侧视图对面的侧视图进行双目标定，利用半全局立体匹配算法对标定后的两侧视图进行立体匹配，得到立体视觉视差图；所述候选目标区域获取模块用于获取立体视觉视差图中每个像素点的隶属度数据，再利用种子填充算法对隶属度数据进行处理获取候选目标区域；所述深度学习ResNet34模型处理模块用于利用深度学习ResNet34模型对候选目标区域进行分类得到立体视觉目标区域类别及类别置信度。进一步的，所述候选目标区域获取模块包括二值化处理模块、形态学开运算处理模块和种子填充算法处理模块；所述二值化处理模块用于对所述隶属度数据进行二值化处理，得到二值化图像；所述形态学开运算处理模块用于对二值化图像进行形态学开运算处理，得到消除孤立像素后的隶属度数据二值化图像。所述种子填充算法处理模块用于对得到的消除孤立像素后的隶属度数据二值化图像通过种子填充算法进行处理，以获取该二值化图像的联通区域，获取每一个联通区域的外接矩形，形成候选目标区域。进一步的，所述最终目标区域获取模块包括交并比处理模块和最终目标区域判断模块；所述交并比处理模块用于对该侧视图的目标区域和立体视觉目标区域，计算它们之间的交并比；所述最终目标区域判断模块用于通过交并比和预先设定的阈值进行比较，若交并比大于阈值则以两个区域的类别置信度较大的区域为最终目标区域，若交并比小于等于阈值的两个区域，则这两个区域都为最终目标区域。本专利技术所达到的有益效果：能够在图像中检测不同远近大小的目标。附图说明图1是本专利技术的数据处理流程图；图2是YOLOV3的网络结构；图3是YOLOV3检测结果；图4是立体视觉的左图数据。图5是立体视觉的右图数据。图6是立体视觉的视差图；图7是ResNet34的网络结构；图8是远处较小目标检测结果图；图9是IOU的计算公式示意图。具体实施方式为使得本专利技术的专利技术目的、特征、优点能够更加的明显和易懂，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本专利技术一部分实施例，而非全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。下面结合附图并通过具体实施方式来进一步说明本专利技术的技术方案。在图1中，首先用深度学习YOLOV3(YouOnlyLookOnceVersion3，YOLOV3)目标检测算法，对左图的数据进行处理。图2是YOLOV3的网络结构。经过YOLOV3目标检测算法处理之后，能够获得左图的目标区域和类别。图3是利用YOLOV3，对左图处理之后的结果，其明确标出了目标所在的位置及其类别。在图1中，对于立体视觉的左图和右图，首先需要进行双目标定，以进行立体匹配。本专利技术采用半全局立体匹配算法，该算法在局部最优的视差求取方法的基础上，添加正则化约束并通过动态规划思想来提高计算结果平滑性，以达到求解最优视差图的目的。图4是立体视觉的左图，图5是立体视觉的右图，对这两幅图利用半全局立体匹配算法进行立体匹配之后，就得到了如图6所示的立体视觉视差图。在得到视差图之后，就需要确定视差图上的像素点是否属于一个物体。本专利技术采用计算隶属度的方式来确定一个像素点是否属于一个物体。对视差图中每一个像素点计算隶属度，当隶属度为正值时表示为物本文档来自技高网...

【技术保护点】
1.一种基于立体视觉的目标检测方法，其特征在于，对立体视觉的一侧视图使用深度学习算法进行目标检测，获取该侧视图的目标区域和类别及类别置信度；/n采用基于立体视觉的视差图处理算法获取候选目标区域，对候选目标区域使用深度学习分类模型进行分类，得到立体视觉目标区域和类别及类别置信度；/n将所述该侧视图的目标区域和类别与所述立体视觉目标区域和类别进行合并，得到最终目标区域。/n

【技术特征摘要】
1.一种基于立体视觉的目标检测方法，其特征在于，对立体视觉的一侧视图使用深度学习算法进行目标检测，获取该侧视图的目标区域和类别及类别置信度；
采用基于立体视觉的视差图处理算法获取候选目标区域，对候选目标区域使用深度学习分类模型进行分类，得到立体视觉目标区域和类别及类别置信度；
将所述该侧视图的目标区域和类别与所述立体视觉目标区域和类别进行合并，得到最终目标区域。


2.根据权利要求1所述的基于立体视觉的目标检测方法，其特征在于，采用深度学习YOLOV3目标检测算法进行目标检测，以获得目标区域和类别及类别置信度。


3.根据权利要求1所述的基于立体视觉的目标检测方法，其特征在于，对立体视觉的该侧视图和位于该侧视图对面的侧视图进行双目标定，利用半全局立体匹配算法对标定后的两侧视图进行立体匹配，得到立体视觉视差图；
获取立体视觉视差图中每个像素点的隶属度数据，再利用种子填充算法对隶属度数据进行处理获取候选目标区域；
利用深度学习ResNet34模型对候选目标区域进行分类得到立体视觉目标区域和类别及类别置信度。


4.根据权利要求3所述的基于立体视觉的目标检测方法，其特征在于，对所述隶属度数据进行二值化处理，得到隶属度数据二值化图像，再对隶属度数据二值化图像进行形态学开运算处理，对开运算后的隶属度数据二值化图像通过种子填充算法处理，获取该二值化图像的联通区域，获取每一个联通区域的外接矩形，形成候选目标区域。


5.根据权利要求1所述的基于立体视觉的目标检测方法，其特征在于，对该侧视图的目标区域和立体视觉目标区域，计算它们之间的交并比；
通过交并比和预先设定的阈值进行比较，若交并比大于阈值则以两个区域的类别置信度较大的区域为最终目标区域，若交并比小于等于阈值的两个区域，则这两个区域都为最终目标区域。


6.一种基于立体视觉的目标检测系统，其特征在于，包括单侧视图目标区域和类别获取模块、立体视觉目标区域和类别获取模块以及最终目标区域获取模块；
所述单侧视图目标区域和类别获取模块用于对立体视觉的一侧视图使用深度学习算法进行目标检测，获取该侧视图的目标区域和类别及类别置信度；
所述立体视觉目标区域用于采用基于立体视觉的视差图处理算法获取候选目标区域，对候选目标区域使用深度学习分类模型进...

【专利技术属性】
技术研发人员：李俊，张星月，
申请(专利权)人：南京和光智能制造研究院有限公司，江苏孔德惟道智能科技有限公司，
类型：发明
国别省市：江苏;32