一种基于云边端架构的复杂背景下锥桶识别方法技术

本发明专利技术的基于云边端架构的复杂背景下锥桶识别方法，包括：a).布置设备，在道路的两侧间隔布置边缘控制器；b).锥桶识别模型的训练，采用MobileNetV3网络模型与YoloV4网络模型相融合形成的深度学习网络模型MobileNetV3_YoloV4训练出锥桶识别模型；c).行驶车辆通信的建立；d).图像数据的采集和上传；e).锥桶识别；f).自动避障。本发明专利技术的复杂背景下锥桶识别方法，将原有Hard_swish激活函数替换为Swish激活函数后的检测精度提升最大，且响应速度没有明显变化，使得锥桶的检测速度有了明显的提升，可以满足高速公路行驶车辆系统对锥桶检测准确性、实时性的要求。实时性的要求。实时性的要求。

【技术实现步骤摘要】
一种基于云边端架构的复杂背景下锥桶识别方法


[0001]本专利技术涉及一种锥桶识别方法，更具体的说，尤其涉及一种基于云边端架构的复杂背景下锥桶识别方法。

技术介绍

[0002]无人驾驶已经成为机器视觉领域的研究热点。具有无人驾驶特征的服务型机器人、物流配送车辆、智能公共交通工具等相继出现。在高速公路养护作业中，在施工场地周围设置安全警示设备（通常为锥桶）是道路养护工作规范要求，交通锥桶是必备警示设备之一，它们主要用于分割或合并车道以及安全警示。为了人员和车辆的安全，在无人驾驶系统中，准确检测锥桶位置也逐渐被人们所重视。交通锥桶有圆锥和方锥两种形状，在道路养护作业时，它们布置在特定区域的周围，以便于重定向交通或封锁区域。此时，在复杂天气条件下准确检测出锥桶在无人驾驶系统中是非常必要的。

技术实现思路

[0003]本专利技术为了克服上述技术问题的缺点，提供了一种基于云边端架构的复杂背景下锥桶识别方法。
[0004]本专利技术的基于云边端架构的复杂背景下锥桶识别方法，云边端架构由云服务器、边缘控制器和终端组成，云服务器经无线网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于云边端架构的复杂背景下锥桶识别方法，云边端架构由云服务器（1）、边缘控制器（2）和终端（3）组成，云服务器经无线网络与边缘控制器相通信，边缘控制器的数量为多个，多个边缘控制器间隔设置于交通道路的一侧；终端为行驶在交通道路上的行驶车辆，行驶车辆经无线网络与边缘控制器相通信，行驶车辆上设置有用于对前方交通路况进行图像采集的摄像头；其特征在于，基于云边端架构的复杂背景下锥桶识别方法通过以下步骤来实现：a).布置设备，首先建立云服务器，然后在道路的两侧间隔布置边缘控制器，相邻两边缘控制器的间距以能实现与行驶车辆全路段通信为准；并建立与服务器与边缘控制器的通信；b).锥桶识别模型的训练，采集晴天、阴天、雨天和夜晚四种环境下包含圆锥桶和方锥桶的交通路面图像，采用MobileNetV3网络模型与YoloV4网络模型相融合形成的深度学习网络模型MobileNetV3_YoloV4训练出锥桶识别模型，并将得到的锥桶识别模型的权值文件分发给每个边缘控制器；c).行驶车辆通信的建立，行驶车辆在道路上行驶的过程中，与其两端的两个边缘控制器中负荷小的建立通信；d).图像数据的采集和上传，行驶车辆在行驶的过程中，将采集的前方路况的图像上传至与其建立通信的边缘控制器；e).锥桶识别，边缘控制器利用权值文件对接收的行驶车辆上传的图像进行识别处理，如果识别出图像中含有交通锥桶，则进一步识别出锥桶的位置信息并下发至行驶车辆；f).自动避障，当行驶车辆接收到边缘控制器下发的锥桶位置信息后，则采用自动避障策略避开锥桶所在位置。2.根据权利要求1所述的基于云边端架构的复杂背景下锥桶识别方法，其特征在于：所述云服务器（1）采用机架式服务器，边缘控制器（2）采用MIPS系统、ARM系统或X86系统；使用docker镜像的方法在一台边缘控制器上配置基本环境，并打包成docker镜像，其余的边缘控制器直接载入打包好的docker镜像。3.根据权利要求1或2所述的基于云边端架构的复杂背景下锥桶识别方法，其特征在于，步骤b)中所述的锥桶识别模型的训练包括：b
‑
1).统一图像大小和图像的初步处理；b
‑
2).采用MobileNetV3网络模型中的bneck结构作为主干特征网络对图像进行处理，得到通道数不同的特征层；b
‑
3).采用SPP
‑
Net网络对步骤b
‑
2)中最后获取的特征层进行处理，以实现对特征层信息的进一步提取；b
‑
4).采用PANet网络对步骤b
‑
2)中获取的两个通道数不同的特征层以及步骤b
‑
3)生成的特征层进行处理，以实现对特征层信息的进一步提取，最终形成三个有效特征层；b
‑
5).将步骤b
‑
4)最终形成的三个有效特征层作为权值文件分发给每个边缘控制器。4.根据权利要求3所述的基于云边端架构的复杂背景下锥桶识别方法，其特征在于：步骤b
‑
1)中所述的统一图像大小和图像的初步处理方法为：b
‑1‑
1).采集足够数量的晴天、阴天、雨天和夜晚四种环境下包含圆锥桶和方锥桶的交通路面图像，图像包含R、G、B三个通道；然后将所有的图像统一为（3,416,416）格式，即包含
R、G、B三个通道，宽度和高度均为416像素；b
‑1‑
2).对经步骤b
‑1‑
1)获取的图像依次进行卷积核为3
×
3的卷积、BatchNorm标准化和Hard_swish激活函数处理的操作，形成通道为16、大小为208
×
208的特征层输出；步骤b
‑
2)中所述的采用MobileNetV3网络模型中的bneck结构作为主干特征网络对图像进行处理方法为：b
‑2‑
1). 定义如下步骤的bneck结构处理流程：b
‑2‑1‑
1).首先原始输入的特征层依次进行卷积核为1
×
1的卷积、BatchNorm标准化和Hard_swish激活函数处理的操作；b
‑2‑1‑
2).然后将步骤b
‑2‑1‑
1)的输出依次进行深度可分离卷积、BatchNorm标准化的操作；b
‑2‑1‑
3).引入注意力机制，首先将步骤b
‑2‑1‑
2)的输出进行全局平均池化Global Average Pooling的操作，然后再进行两个全连接层Fully Connected Layer的操作，将得到的结果与b
‑2‑1‑
2)的输出相乘；b
‑2‑1‑
4).将步骤b
‑2‑1‑
3)的输出进行Hard_swish激活函数的操作；b
‑2‑1‑
5).将步骤b
‑2‑1‑
4)的输出依次进行卷积核为1
×
1的卷积、BatchNorm标准化操作；b
‑2‑1‑
6).将步骤b
‑2‑1‑
1)中的原始输入的特征层与步骤b
‑2‑1‑
5)输出的特征层相加，形成最后的输出结果；b
‑2‑
2).以步骤b
‑1‑
2)输出的特征层为原始输入，执行1次步骤b
‑2‑1‑
1)至步骤b
‑2‑1‑
6)的bneck结构处理流程，获得通道数C=1...

【专利技术属性】
技术研发人员：王书新，刘志远，潘为刚，胡浩，王目树，康超，高嵩，张允刚，秦石铭，高珅琦，董兴学，徐飞，李正磊，
申请(专利权)人：山东交通学院，
类型：发明
国别省市：