一种场景分割和障碍物检测的系统技术方案

本发明专利技术涉及图像处理领域，公开了一种场景分割和障碍物检测的系统，其特征在于，该系统包括：共享网络，用于提取场景图像的特征f；场景分割网络，用于对所述特征f进行分类，获取对所述场景图像中的各个场景特征进行分类后的特征fs；合并网络，用于将所述特征f和所述特征fs融合为特征fd；以及目标检测网络，用于通过区域特征提取所述特征fd中的感兴趣区域，获取对所述感兴趣区域的目标分类结果。

【技术实现步骤摘要】
一种场景分割和障碍物检测的系统
本专利技术涉及图像处理领域，具体地，涉及一种场景分割和障碍物检测的系统。
技术介绍
自动驾驶任务中，环境感知技术，如道路场景分割，障碍物的检测等，是保证驾驶安全性能的关键因素。场景的分割和障碍物的检测在学术界和工业界都受到广泛关注。场景分割的主要任务是分割传感器(如摄像机、激光雷达)所得到的图像中出现的所有对象(如道路、车辆、行人、树木、隔离带、天空等)；而障碍物检测的主要任务是检测出车辆周围所有障碍物(如其他车辆、行人等)的精确位置。近年来，随着深度学习算法的兴起，场景分割和障碍物检测算法的性能都得到很大的提升。然而，无论对于场景分割任务，还是障碍物检测任务，基于深度学习的算法由于其模型的复杂性，都需要消耗大量的计算时间，并且需要占用大量的内存资源。在工业应用中，由于车辆上搭载的计算资源是非常有限的。如何在这种情况下保证场景分割和障碍物检测算法的实时性，同时减少算法所需内存资源成为研究的重点。另一方面，本案专利技术人在实现本专利技术的过程中发现，场景分割任务和障碍物检测任务有很强的关系(比如我们可以利用场景分割这种更一般的结果来辅助障碍物检测)，然而在现有的算法中，场景分割和障碍物检测往往都是被独立研究的。
技术实现思路
本专利技术的目的是提供一种场景分割和障碍物检测的方法及系统，该方法和系统借助于特征共享，并融合了场景分隔和障碍物检测，从而大幅度减少了算法所消耗的内存资源，提升了算法的速度，使场景分割和障碍检测更具有实时性。为了实现上述目的，本专利技术提供一种场景分割和障碍物检测的方法，其特征在于，该方法包括：提取场景图像的特征f，可以利用卷积和池化操作来实现；对所述特征f进行分类，获取对所述场景图像中的各个场景特征进行分类后的特征fs；将所述特征f和所述特征fs融合为特征fd；以及通过区域特征提取所述特征fd中的感兴趣区域，获取对所述感兴趣区域的目标分类结果。其中，所述对所述特征f进行分类，获取对场景图像中的各个场景特征进行分类后的特征fs包括：根据所述特征f进行场景分割，并输出标记每一类场景的场景分割结果f场景分割；以及对所述场景分割结果f场景分割进一步通过像素分类判断所述每一类场景的具体类别，获取所述特征fs。其中，所述对所述场景分割结果f场景分割进一步通过像素分类判断所述每一类场景的具体类别，获取所述特征fs包括：利用分类算法对所述场景分割结果f场景分割进行分类处理；以及通过上采样方法将分类后的场景分割结果的尺寸恢复到原始尺寸，从而获取与原始尺寸相应的分类结果的特征fs。其中，通过区域特征提取所述特征fd中的感兴趣区域，获取对所述感兴趣区域的目标分类结果包括：获取所述特征fd中的感兴趣区域的坐标；根据所述特征fd和所述感兴趣区域的坐标，通过区域特征提取获取感兴趣区域的特征fr；对所述特征fr中的感兴趣区域进行分类，获取感兴趣区域的目标分类结果。其中，所述方法还包括：根据所述特征fr通过卷积操作，获取感兴趣区域的位置坐标的偏移量；以及根据所述偏移量调整所述感兴趣区域的坐标。根据本专利技术的另一方面，还提供一种场景分割和障碍物检测的系统，该系统包括：共享网络，用于提取场景图像的特征f；场景分割网络，用于对所述特征f进行分类，获取对所述场景图像中的各个场景特征进行分类后的特征fs；合并网络，用于将所述特征f和所述特征fs融合为特征fd；以及目标检测网络，用于通过区域特征提取所述特征fd中的感兴趣区域，获取对所述感兴趣区域的目标分类结果。其中，所述场景分割网络包括：场景分割模块，用于根据所述特征f进行场景分割，并输出标记每一类场景的场景分割结果f场景分割；以及分类模块，用于对所述场景分割结果f场景分割进一步通过像素分类判断所述每一类场景的具体类别，获取所述特征fs。其中，所述分类模块包括：分类处理模块，用于利用分类算法对所述场景分割结果f场景分割进行分类处理；以及上采样模块，用于通过上采样方法将分类后的场景分割结果的尺寸恢复到原始尺寸，从而获取与原始尺寸相应的分类结果的特征fs。其中，所述目标检测网络包括：RPN(区域方案网络，RegionProposalNetwork)网络，用于获取所述特征fd中的感兴趣区域的坐标；区域特征提取网络，用于根据所述特征fd和所述感兴趣区域的坐标，通过区域特征提取获取感兴趣区域的特征fr；以及目标分类网络，用于对所述特征fr中的感兴趣区域进行分类，获取感兴趣区域的目标分类结果。其中，该系统还包括位置回归网络，用于根据所述特征fr通过卷积操作，获取感兴趣区域的位置坐标的偏移量，并根据所述偏移量调整所述感兴趣区域的坐标。通过上述技术方案，所述场景分割和障碍物检测的方法和系统，利用特征共享，将从原始场景图像中提取的特征共享给场景分割和目标检测(或称为障碍物检测)，并且目标检测进一步利用场景分割的结果，从而节省了大量的算法资源，提高了场景分割和目标检测的速度，并且该方法和系统结合了场景分割和目标检测，能够同时输出场景分割结果和目标检测结果(或障碍物检测结果)。本专利技术的其它特征和优点将在随后的具体实施方式部分予以详细说明。附图说明附图是用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本专利技术，但并不构成对本专利技术的限制。在附图中：图1是根据本专利技术的实施例一的场景分割和障碍物检测的方法的流程图；图2是根据本专利技术的实施例二的场景分割和障碍物检测的方法的流程图；图3是根据本专利技术的实施例二的场景分割和障碍物检测的方法的优选实施方式的流程图；图4是根据本专利技术的实施例三的场景分割和障碍物检测的系统的结构图；图5是根据本专利技术的实施例四的场景分割和障碍物检测的系统的结构图；图6是根据本专利技术的实施例四的场景分割和障碍物检测的系统的优选实施方式的流程图；图7是根据本专利技术的实施例四的场景分割和障碍物检测的系统的工作原理的示意图；图8是根据本专利技术的实施例四的场景分割和障碍物检测的系统的场景分割效果的示例；以及图9是根据本专利技术的实施例四的场景分割和障碍物检测的系统的目标检测效果的示例。附图标记说明100：共享网络200：场景分割网络210：场景分割模块220：分类模块221：分类处理模块222：上采样模块300：合并网络400：目标检测网络410：RPN网络420：区域特征提取网络430：目标分类网络500：位置回归网络具体实施方式以下结合附图对本专利技术的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本专利技术，并不用于限制本专利技术。图1是根据本专利技术的实施例一的场景分割和障碍物检测的方法的流程图。如图1所示，该方法可以包括以下步骤：在步骤S100中，提取场景图像的特征f。通过多次的卷积和池化等操作，对大小为Wi×Hi的待处理的原始场景图像进行初步的特征提取，并最终输出维度为W×H×N的特征f(featuremap)作为该图像的特征表达，其中，Wi、Hi分别为原始的场景图像的宽度和高度，W、H、N分别为该特征表达的宽度、高度和通道数。在步骤S200中，对所述特征f进行分类，获取对场景图像中的各个场景特征进行分类后的特征fs。例如，可以经过图像卷积最终得到维度大小为W×H×n的场景分割输出fs，其中n为待分割的场景类别数目。在此本文档来自技高网...

【技术保护点】
一种场景分割和障碍物检测的系统，其特征在于，该系统包括：共享网络，用于提取场景图像的特征f；场景分割网络，用于对所述特征f进行分类，获取对所述场景图像中的各个场景特征进行分类后的特征fs；合并网络，用于将所述特征f和所述特征fs融合为特征fd；以及目标检测网络，用于通过区域特征提取所述特征fd中的感兴趣区域，获取对所述感兴趣区域的目标分类结果。

【技术特征摘要】
1.一种场景分割和障碍物检测的系统，其特征在于，该系统包括：共享网络，用于提取场景图像的特征f；场景分割网络，用于对所述特征f进行分类，获取对所述场景图像中的各个场景特征进行分类后的特征fs；合并网络，用于将所述特征f和所述特征fs融合为特征fd；以及目标检测网络，用于通过区域特征提取所述特征fd中的感兴趣区域，获取对所述感兴趣区域的目标分类结果。2.根据权利要求1所述的场景分割和障碍物检测的系统，其特征在于，所述场景分割网络包括：场景分割模块，用于根据所述特征f进行场景分割，并输出标记每一类场景的场景分割结果f场景分割；以及分类模块，用于对所述场景分割结果f场景分割进一步通过像素分类判断所述每一类场景的具体类别，获取所述特征fs。3.根据权利要求2所述的场景分割和障碍物检测的系统，其特征在于，所述分类模块包括：分...

【专利技术属性】
技术研发人员：刘康伟，
申请(专利权)人：法乐第北京网络科技有限公司，
类型：发明
国别省市：北京,11