一种基于深度学习的越野环境场景识别方法及系统技术方案

本发明专利技术涉及一种基于深度学习的越野环境场景识别方法及系统，属于越野环境场景识别技术领域，解决了现有越野环境场景识别时间长、可通过区域提取成本高且提取效果较差的问题。一种基于深度学习的越野环境场景识别方法，包括如下步骤：获取越野环境场景下拍摄得到的待检测图像；对待检测图像进行场景识别，处理得到待检测图像的烟雾识别结果、扬尘识别结果、自然场景识别结果和道路类型识别结果；根据所述道路类型识别结果对待检测图像进行道路语义分割，处理得到待检测图像的路面分割结果；在待检测图像上统一显示所述烟雾识别结果、扬尘识别结果、自然场景识别结果、道路类型识别结果及路面分割结果。该方法有效缩短了越野环境场景识别时间。

A method and system of off-road environment scene recognition based on deep learning

The invention relates to an off-road environment scene recognition method and system based on deep learning, belonging to the technical field of off-road environment scene recognition, which solves the problems of long time of existing off-road environment scene recognition, high cost of region extraction and poor extraction effect. An in-depth learning based off-road environment scene recognition method includes the following steps: obtaining the image to be detected under the off-road environment scene; scene recognition of the image to be detected, processing to obtain the smoke recognition result, dust recognition result, natural scene recognition result and road type recognition result of the image to be detected; treating according to the road type recognition result The road semantic segmentation is carried out for the detection image, and the road segmentation result of the image to be detected is obtained through processing; the smoke recognition result, dust recognition result, natural scene recognition result, road type recognition result and road segmentation result are displayed uniformly on the image to be detected. This method effectively shortens the time of scene recognition in off-road environment.

【技术实现步骤摘要】
一种基于深度学习的越野环境场景识别方法及系统
本专利技术涉及越野环境场景识别
，尤其涉及一种基于深度学习的越野环境场景识别方法及系统。
技术介绍
无人驾驶车辆在越野环境中的场景理解任务主要包括对道路的识别与检测，以及一些特殊场景，如烟雾场景、沙尘环境等的识别。目前基于深度学习的场景理解算法大多数是针对城市环境而言，不适用于越野环境。城市环境中的道路类型往往是结构化道路，受环境影响较小，而越野环境下的道路类型通常是非结构化道路，道路轮廓不规则，且受天气影响较大，特征多变，如雨天中的泥泞路面和晴天下的土路的道路特征就不一致，所以一些适用于城市环境的场景理解算法在越野环境下有可能会失效。其次，在场景理解任务中，由于场景复杂度不同，不同场景之间存在交叉关联性。如越野场景可分为烟雾环境、沙尘环境、土路场景、砂石路场景等等，但目前的场景理解算法往往只检测某一种场景，实现的是单输入单输出的检测方式，不能满足复杂越野环境下的单输入多输出的场景理解任务需求。由于针对场景分类任务，对于相同类别的属性特征，每个深度学习训练出来的模型只能输出一种类别的属性。目前为了实现单输入多输出的场景理解任务，可以有两种实现方式。一种是采取多显卡配置，每个显卡运行一个模型，输出一个属性结果，多个显卡承载多个模型，以此实现多输出的方法。但该方法需要用到多个显卡，成本高，且每个显卡只运行一个模型，配置利用率低。另一种实现多输出的方法是在单个显卡上依次运行多个模型。将待检测图像输入第一个模型，运行出结果后释放该模型，然后将待检测图像输入到下一个模型，依次类推，直至将所有模型遍历一遍。该方法显卡利用率高，但加载模型和释放模型的时间消耗过长，不适用于无人驾驶车辆的实车运行。另外，当无人车在越野环境中行驶时，可通行区域的提取往往依赖多个激光雷达配合检测，激光雷达成本较高，且使用单一种类的传感器的检测效果不佳。
技术实现思路
鉴于上述的分析，本专利技术旨在提供一种基于深度学习的越野环境场景识别方法及系统，用以解决现有越野环境场景识别时间长、可通过区域提取成本高且提取效果较差的问题。本专利技术的目的主要是通过以下技术方案实现的：一种基于深度学习的越野环境场景识别方法，包括如下步骤：获取越野环境场景下拍摄得到的待检测图像；对待检测图像进行场景识别，处理得到所述待检测图像的烟雾识别结果、扬尘识别结果、自然场景识别结果和道路类型识别结果；根据所述道路类型识别结果对所述待检测图像进行道路语义分割，处理得到所述待检测图像的路面分割结果；在所述待检测图像上统一显示所述烟雾识别结果、扬尘识别结果、自然场景识别结果、道路类型识别结果及路面分割结果。在上述方案的基础上，本专利技术还做了如下改进：进一步，所述对待检测图像进行场景识别，处理得到所述待检测图像的烟雾识别结果、扬尘识别结果、自然场景识别结果、道路类型识别结果，包括：利用滑动窗口扫描所述待检测图像，得到若干个待检测子区域；将所述若干个待检测子区域依次输入至训练好的场景识别模型，由所述场景识别模型处理得到每一所述待检测子区域的场景识别结果；若超过一定比例的待检测子区域的烟雾识别结果均为有烟雾，则所述待检测图像的烟雾识别结果为有烟雾；若超过一定比例的待检测子区域的扬尘识别结果均为有扬尘，则所述待检测图像的扬尘识别结果为有扬尘；将所述待检测子区域自然场景识别结果中占比最大的自然场景类型，作为所述待检测图像的自然场景识别结果；将所述待检测子区域道路类型识别结果中占比最大的道路类型，作为所述待检测图像的道路类型识别结果；其中，所述待检测子区域的场景识别结果，对应于烟雾识别结果、扬尘识别结果、自然场景识别结果、道路类型识别结果、无识别结果中的一种。进一步，通过以下方式训练所述场景识别模型：获取环境场景样本集及各环境场景样本的标签；将所述环境场景样本集分为训练集和测试集；利用训练集训练所述场景识别模型，利用测试集对训练后的场景识别模型进行评估，得到满足精度要求的场景识别模型；所述环境场景样本集至少包括：用于烟雾识别的烟雾样本；用于扬尘识别的扬尘样本；用于自然场景识别的草地样本、林地样本、雪地样本；用于道路类型识别的土路样本、草路样本、砂石路样本、水泥路样本、涉水路面样本、冰雪路面样本；及负样本。进一步，所述对待检测图像进行场景识别，处理得到所述待检测图像的烟雾识别结果、扬尘识别结果、自然场景识别结果、道路类型识别结果，还包括：将所述待检测图像分别输入至烟雾识别模型、扬尘识别模型、自然场景识别模型、道路类型识别模型；由所述烟雾识别模型、扬尘识别模型、自然场景识别模型、道路类型识别模型分别处理所述待检测图像，得到所述待检测图像的烟雾识别结果、扬尘识别结果、自然场景识别结果、道路类型识别结果。进一步，通过烟雾样本和无烟雾样本训练所述烟雾识别模型；通过扬尘样本和无扬尘样本训练所述扬尘识别模型；通过草地样本、林地样本、雪地样本及负样本训练所述自然场景识别模型；通过所述土路样本、草路样本、砂石路样本、水泥路样本、涉水路面样本、冰雪路面样本训练道路类型识别模型。进一步，所述根据所述道路类型识别结果对所述待检测图像进行道路语义分割，处理得到所述待检测图像的路面分割结果，包括：将所述待检测图像输入至路面分割模型，所述路面分割模型根据所述道路类型识别结果确定待分割路面的类型，基于所述待分割路面的类型处理所述待检测图像得到相应类型的路面初步分割结果；对所述路面初步分割结果进行包括膨胀、腐蚀在内的形态学处理，得到所述待检测图像的路面分割结果。进一步，所述滑动窗口的大小为128*128，步长为128。进一步，所述一定比例为5％。本专利技术还公开了一种基于深度学习的越野环境场景识别系统，所述系统包括：待检测图像获取模块，用于获取越野环境场景下拍摄得到的待检测图像；环境场景识别模块，用于对待检测图像进行场景识别，处理得到所述待检测图像的烟雾识别结果、扬尘识别结果、自然场景识别结果、道路类型识别结果；路面分割模块，用于根据所述道路类型识别结果对所述待处理图像进行道路语义分割，处理得到所述待检测图像的路面分割结果；环境场景显示模块，用于在所述待检测图像上统一显示所述烟雾识别结果、扬尘识别结果、自然场景识别结果、道路类型识别结果及路面分割结果。在上述方案的基础上，本专利技术还做了如下改进：进一步，所述环境场景识别模块为场景识别模型，通过以下方式训练所述场景识别模型：获取环境场景样本集及各环境场景样本的标签；将所述环境场景样本集分为训练集和测试集；利用训练集训练所述场景识别模型，利用测试集对训练后的场景识别模型进行评估，得到满足精度要求的场景识别模型；所述环境场景样本集至少包括：用于烟雾识别的烟雾样本；用于扬尘识别的扬尘样本；用于自然场景识别的草地样本、林地样本、雪本文档来自技高网...

【技术保护点】
1.一种基于深度学习的越野环境场景识别方法，其特征在于，包括如下步骤：/n获取越野环境场景下拍摄得到的待检测图像；/n对待检测图像进行场景识别，处理得到所述待检测图像的烟雾识别结果、扬尘识别结果、自然场景识别结果和道路类型识别结果；/n根据所述道路类型识别结果对所述待检测图像进行道路语义分割，处理得到所述待检测图像的路面分割结果；/n在所述待检测图像上统一显示所述烟雾识别结果、扬尘识别结果、自然场景识别结果、道路类型识别结果及路面分割结果。/n

【技术特征摘要】
1.一种基于深度学习的越野环境场景识别方法，其特征在于，包括如下步骤：
获取越野环境场景下拍摄得到的待检测图像；
对待检测图像进行场景识别，处理得到所述待检测图像的烟雾识别结果、扬尘识别结果、自然场景识别结果和道路类型识别结果；
根据所述道路类型识别结果对所述待检测图像进行道路语义分割，处理得到所述待检测图像的路面分割结果；
在所述待检测图像上统一显示所述烟雾识别结果、扬尘识别结果、自然场景识别结果、道路类型识别结果及路面分割结果。


2.根据权利要求1所述的基于深度学习的越野环境场景识别方法，其特征在于，所述对待检测图像进行场景识别，处理得到所述待检测图像的烟雾识别结果、扬尘识别结果、自然场景识别结果、道路类型识别结果，包括：
利用滑动窗口扫描所述待检测图像，得到若干个待检测子区域；
将所述若干个待检测子区域依次输入至训练好的场景识别模型，由所述场景识别模型处理得到每一所述待检测子区域的场景识别结果；
若超过一定比例的待检测子区域的烟雾识别结果均为有烟雾，则所述待检测图像的烟雾识别结果为有烟雾；
若超过一定比例的待检测子区域的扬尘识别结果均为有扬尘，则所述待检测图像的扬尘识别结果为有扬尘；
将所述待检测子区域自然场景识别结果中占比最大的自然场景类型，作为所述待检测图像的自然场景识别结果；
将所述待检测子区域道路类型识别结果中占比最大的道路类型，作为所述待检测图像的道路类型识别结果；
其中，所述待检测子区域的场景识别结果，对应于烟雾识别结果、扬尘识别结果、自然场景识别结果、道路类型识别结果、无识别结果中的一种。


3.根据权利要求2所述的基于深度学习的越野环境场景识别方法，其特征在于，通过以下方式训练所述场景识别模型：
获取环境场景样本集及各环境场景样本的标签；
将所述环境场景样本集分为训练集和测试集；利用训练集训练所述场景识别模型，利用测试集对训练后的场景识别模型进行评估，得到满足精度要求的场景识别模型；
所述环境场景样本集至少包括：用于烟雾识别的烟雾样本；用于扬尘识别的扬尘样本；用于自然场景识别的草地样本、林地样本、雪地样本；用于道路类型识别的土路样本、草路样本、砂石路样本、水泥路样本、涉水路面样本、冰雪路面样本；及负样本。


4.根据权利要求1所述的基于深度学习的越野环境场景识别方法，其特征在于，所述对待检测图像进行场景识别，处理得到所述待检测图像的烟雾识别结果、扬尘识别结果、自然场景识别结果、道路类型识别结果，还包括：
将所述待检测图像分别输入至烟雾识别模型、扬尘识别模型、自然场景识别模型、道路类型识别模型；
由所述烟雾识别模型、扬尘识别模型、自然场景识别模型、道路类型识别模型分别处理所述待检测图像，得到所述待检测图像的烟雾识别结果、扬尘识别结果、自然场景识别结果、道路类型识别结果。


5.根据权利要求4所述的基于深度学习的越野环境场景识别方法，其特征在于，
通过烟雾样本...

【专利技术属性】
技术研发人员：熊光明，陈晨，丁泽亮，胡宇辉，邸慧军，齐建永，龚建伟，
申请(专利权)人：北京理工大学，北理慧动北京科技有限公司，北理慧动常熟车辆科技有限公司，
类型：发明
国别省市：北京;11