一种安防机器人的多类型车道线检测方法、设备及介质技术

本说明书实施例公开了一种安防机器人的多类型车道线检测方法、设备及介质，涉及人工智能技术领域，方法包括：通过设置在安防机器人上的视频采集装置，获取初始车道图像；对初始车道图像进行处理，得到待检测车道图像；根据待检测车道图像和预设的区域提取算法，对待检测车道图像进行感兴趣区域提取，得到感兴趣车道图像，其中，感兴趣车道图像中包括至少一个车道线；通过预先设置的多车道线检测模型，对感兴趣车道图像进行特征提取，得到待检测车道图像中的至少一个车道线的车道线类型，其中，多车道线检测模型包括ResNet网络结构、双向FPN网络结构以及辅助分割模块，可以对车道线的类型进行判断和识别，满足室外安防机器人的后续决策需求。的后续决策需求。的后续决策需求。

【技术实现步骤摘要】
一种安防机器人的多类型车道线检测方法、设备及介质


[0001]本说明书涉及人工智能
，尤其涉及一种安防机器人的多类型车道线检测方法、设备及介质。

技术介绍

[0002]在目前多个智慧场景的建设中，智慧交通系统已经成为一个活跃的研究领域，因为它有潜力提高系统效率和决策。智能驾驶技术需要加入室外安防机器人的研究领域，增加机器人巡检等行为的安全性能。通过实现能够辅助驾驶的车道线检测可以辅助机器人在室外能够进行遵守正确交通规则的道路行驶，是机器人安全驾驶中最基础的环节。通过对车道线类型的识别，可以辅助安防机器人在符合交通规则的情况下，进行后续的路线规划。
[0003]现有技术中，通过目前的车道线检测技术只能检测行驶区域内是否存在车道线，无法对车道线的类型进行判断，无法满足室外安防机器人的决策需求。

技术实现思路

[0004]本说明书一个或多个实施例提供了一种安防机器人的多类型车道线检测方法、设备及介质，用于解决如下技术问题：通过目前的车道线检测技术只能检测行驶区域内是否存在车道线，无法对车道线的类型进行判断，无法满足室外安防机器人的决策需求。
[0005]本说明书一个或多个实施例采用下述技术方案：
[0006]本说明书一个或多个实施例提供一种安防机器人的多类型车道线检测方法，其特征在于，所述方法包括：通过设置在安防机器人上的视频采集装置，获取初始车道图像；对所述初始车道图像进行处理，得到待检测车道图像；根据所述待检测车道图像和预设的区域提取算法，对所述待检测车道图像进行感兴趣区域提取，得到感兴趣车道图像，其中，所述感兴趣车道图像中包括至少一个车道线；通过预先设置的多车道线检测模型，对所述感兴趣车道图像进行特征提取，得到所述待检测车道图像中的至少一个车道线的车道线类型，其中，所述多车道线检测模型包括ResNet网络结构、双向FPN网络结构以及辅助分割模块。
[0007]进一步地，根据所述待检测车道图像和预设的区域提取算法，对所述待检测车道图像进行感兴趣区域提取，得到感兴趣车道图像，具体包括：获取所述待检测车道图像的采集参数，其中，所述采集参数包括所述视频采集装置的当前采集高度和所述视频采集装置的当前分辨率；根据所述采集参数中的当前分辨率，确定在所述当前分辨率下对应的采集高度范围，其中，在所述采集高度范围中的任意一个采集高度均可以采集到包含车道线的待检测车道图像；根据所述当前采集高度和所述采集高度范围，判断所述待检测车道图像中是否存在感兴趣区域；若所述待检测车道图像中存在所述感兴趣区域，则根据预设的区域提取算法和所述采集参数，对所述待检测车道图像进行感兴趣区域提取，得到感兴趣车道图像。
[0008]进一步地，通过预先设置的多车道线检测模型，对所述感兴趣车道图像进行特征
提取，得到所述待检测车道图像中的至少一个车道线的车道线类型，具体包括：将所述感兴趣车道图像输入至所述预先设置的多车道检测模型中，通过所述多车道检测模型中的ResNet网络结构，输出多个车道线特征图；将所述多个车道线特征图输入至所述多车道检测模型中的所述双向FPN网络结构中，对所述多个车道线特征图进行双向加权延伸处理，以将处理后的多个车道线特征图输入至所述辅助分割模块中；通过所述辅助分割模块，对所述车道线特征图进行特征分割，得到所述待检测车道图像中的至少一个车道线的车道线类型。
[0009]进一步地，通过预先设置的多车道线检测模型，对所述感兴趣车道图像进行特征提取，得到所述待检测车道图像中的至少一个车道线的车道线类型之前，所述方法还包括：通过ResNet网络结构、双向FPN网络结构以及辅助分割模块，构建初始检测模型；使用预先构建的数据集和预设的损失函数，对所述初始检测模型进行模型训练，得到符合要求的多车道检测模型。
[0010]进一步地，使用预先构建的数据集和预设的损失函数，对所述初始检测模型进行模型训练，得到符合要求的多车道检测模型之前，所述方法还包括：通过多分类损失函数、分割损失函数与车道线的结构损失函数，生成所述多车道线检测模型的损失函数；其中，所述多分类损失函数采用分类中的交叉熵损失函数，所述分割损失函数采用Dice loss函数，所述结构损失函数为L
stru
＝
simp
+L
shap
，其中，L
simp
用于表示数据集标注标签与预测结果的相似度损失，L
shap
采用二阶差分损失以约束车道线形状。
[0011]进一步地，使用预先构建的数据集，对所述初始检测模型进行模型训练，得到符合要求的多车道检测模型之前，所述方法还包括：采集当前环境内的道路视频，采用每秒截取指定帧的方式，对所述道路视频进行处理，得到多个训练数据；对每个训练数据中的车道线进行补齐，并在每个训练数据中，对所述训练数据中的车道线进行类型标注和数量标注，得到标注训练数据；基于所述标注训练数据，生成所述数据集。
[0012]进一步地，对所述初始车道图像进行处理，得到待检测车道图像，具体包括：对所述初始车道图像进行旋转操作或平移操作，得到基础图像；对所述基础图像进行图像增强处理，得到待检测车道图像。
[0013]进一步地，通过设置在安防机器人上的视频采集装置，获取初始车道图像，具体包括：通过设置在安防机器人上的视频采集装置，采集道路视频；对所述道路视频进行去噪增强和光照均衡化处理，得到处理后的道路视频；在所述处理后的道路视频中随机选取静态图像，作为初始车道图像。
[0014]本说明书一个或多个实施例提供一种安防机器人的多类型车道线检测设备，包括：
[0015]至少一个处理器；以及，
[0016]与所述至少一个处理器通信连接的存储器；其中，
[0017]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
[0018]通过设置在安防机器人上的视频采集装置，获取初始车道图像；对所述初始车道图像进行处理，得到待检测车道图像；根据所述待检测车道图像和预设的区域提取算法，对所述待检测车道图像进行感兴趣区域提取，得到感兴趣车道图像，其中，所述感兴趣车道图
像中包括至少一个车道线；通过预先设置的多车道线检测模型，对所述感兴趣车道图像进行特征提取，得到所述待检测车道图像中的至少一个车道线的车道线类型，其中，所述多车道线检测模型包括ResNet网络结构、双向FPN网络结构以及辅助分割模块。
[0019]本说明书一个或多个实施例提供的一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：
[0020]通过设置在安防机器人上的视频采集装置，获取初始车道图像；对所述初始车道图像进行处理，得到待检测车道图像；根据所述待检测车道图像和预设的区域提取算法，对所述待检测车道图像进行感兴趣区域提取，得到感兴趣车道图像，其中，所述感兴趣车道图像中包括至少一个车道线；通过预先设置的多车道线检测模型，对所述感兴趣车道图像进行特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种安防机器人的多类型车道线检测方法，其特征在于，所述方法包括：通过设置在安防机器人上的视频采集装置，获取初始车道图像；对所述初始车道图像进行处理，得到待检测车道图像；根据所述待检测车道图像和预设的区域提取算法，对所述待检测车道图像进行感兴趣区域提取，得到感兴趣车道图像，其中，所述感兴趣车道图像中包括至少一个车道线；通过预先设置的多车道线检测模型，对所述感兴趣车道图像进行特征提取，得到所述待检测车道图像中的至少一个车道线的车道线类型，其中，所述多车道线检测模型包括ResNet网络结构、双向FPN网络结构以及辅助分割模块。2.根据权利要求1所述的一种安防机器人的多类型车道线检测方法，其特征在于，根据所述待检测车道图像和预设的区域提取算法，对所述待检测车道图像进行感兴趣区域提取，得到感兴趣车道图像，具体包括：获取所述待检测车道图像的采集参数，其中，所述采集参数包括所述视频采集装置的当前采集高度和所述视频采集装置的当前分辨率；根据所述采集参数中的当前分辨率，确定在所述当前分辨率下对应的采集高度范围，其中，在所述采集高度范围中的任意一个采集高度均可以采集到包含车道线的待检测车道图像；根据所述当前采集高度和所述采集高度范围，判断所述待检测车道图像中是否存在感兴趣区域；若所述待检测车道图像中存在所述感兴趣区域，则根据预设的区域提取算法和所述采集参数，对所述待检测车道图像进行感兴趣区域提取，得到感兴趣车道图像。3.根据权利要求1所述的一种安防机器人的多类型车道线检测方法，其特征在于，通过预先设置的多车道线检测模型，对所述感兴趣车道图像进行特征提取，得到所述待检测车道图像中的至少一个车道线的车道线类型，具体包括：将所述感兴趣车道图像输入至所述预先设置的多车道检测模型中，通过所述多车道检测模型中的ResNet网络结构，输出多个车道线特征图；将所述多个车道线特征图输入至所述多车道检测模型中的所述双向FPN网络结构中，对所述多个车道线特征图进行双向加权延伸处理，以将处理后的多个车道线特征图输入至所述辅助分割模块中；通过所述辅助分割模块，对所述车道线特征图进行特征分割，得到所述待检测车道图像中的至少一个车道线的车道线类型。4.根据权利要求1所述的一种安防机器人的多类型车道线检测方法，其特征在于，通过预先设置的多车道线检测模型，对所述感兴趣车道图像进行特征提取，得到所述待检测车道图像中的至少一个车道线的车道线类型之前，所述方法还包括：通过ResNet网络结构、双向FPN网络结构以及辅助分割模块，构建初始检测模型；使用预先构建的数据集和预设的损失函数，对所述初始检测模型进行模型训练，得到符合要求的多车道检测模型。5.根据权利要求4所述的一种安防机器人的多类型车道线检测方法，其特征在于，使用预先构建的数据集和预设的损失函数，对所述初始检测模型进行模型训练，得到符合要求的多车道检测模型之前，所述方法还包括：
通过多分类损失函数、分割损失函数与车道线的结构损失函数，生成所述多车道线检测模型的损失函数；其中，所述多分类损失函数采用分类中的交叉熵损失函数，所述分割损失函数采用D...

【专利技术属性】
技术研发人员：赵小楠，李世鹏，王健，王本强，
申请(专利权)人：山东新一代信息产业技术研究院有限公司，
类型：发明
国别省市：