【技术实现步骤摘要】
本专利技术涉及计算机视觉和智能驾驶辅助领域，尤其涉及一种基于深度神经网络的智轨障碍物检测系统及方法。
技术介绍
1、现有技术中，有不少有关道路环境障碍物检测的技术方案是通过深度学习网络实现障碍物检测的，但这些技术方案采用的神经网络算法复杂，而且检测精度不尽如人意。
2、因此，亟需一种检测精度高、且检测速度快的基于深度神经网络的智轨障碍物检测系统及方法。
技术实现思路
1、为了进一步提高车辆障碍物检测精度以及检测速度，本专利技术提供了一种基于深度神经网络的智轨障碍物检测系统、方法及计算机可读存储介质。
2、在一个实施例中，所述基于深度神经网络的智轨障碍物检测系统包括图像采集模块、决策与控制模块以及显示预警模块。
3、图像采集模块包括多个摄像头以及智能处理计算单元，所述智能处理计算单元基于所述多个摄像头采集到的车身四周的图像进行障碍物检测。
4、决策与控制模块对所述智能处理计算单元传输来的图像进行解码和拼接并根据所述障碍物检测的结果将解码和拼接后的图像整合后传输给显示预警模块，同时控制车辆做出相应的动作。
5、显示预警模块包括显示屏和蜂鸣报警器，若所述智能处理计算单元检测到障碍物存在，则所述显示屏显示带框的检测目标且所述蜂鸣报警器根据所述决策与控制模块的控制信号进行报警。
6、在一个实施例中，所述智能处理计算单元采用深度神经网络对电车周身进行障碍物检测。
7、在一个实施例中，所述深度神经网络包括输入端、
8、所述输入端用于输入待检测的图像；
9、所述主干网络对待检测的图像进行特征提取，得到特征图；
10、所述复杂特征提取网络将所述主干网络上的多个层级的特征图进行融合加工以增强网络表达能力，同时，所述复杂特征提取网络还用于确定所述检测头的数量，以及确定不同尺度的样本如何分配到不同的检测头；
11、所述检测头根据所述复杂特征提取网络的输出预测出目标的位置和类别；
12、所述输出端用于输出预测目标的具体种类和三维位置信息。
13、在一个实施例中，所述深度神经网络结构还包括损失函数模块，所述损失函数模块实现以下三种损失函数：
14、分类损失函数lclass；
15、定位损失函数lciou；以及
16、置信度损失函数lfocal；
17、其中，所述分类损失函数、所述定位损失函数以及所述置信度损失函数之和为所述深度神经网络的总体损失l：
18、l＝λ1lclass+λ2lciou+λ3lfocal (1)
19、其中，λ1、λ2、λ3为平衡系数，通过改变λ1、λ2、λ3以调整对三者损失的比重。
20、在一个实施例中，所述分类损失函数通过公式(2)和(3)获得：
21、
22、
23、其中，n表示类别总个数，xi为当前类别预测值，yi为经过激活函数sigmoid()后得到的当前类别的概率，yi*则为当前类别的真实值。
24、在一个实施例中，所述定位损失函数通过公式(5)获得：
25、
26、其中：
27、iou为预测框和真实框的交并比；
28、distance_2为真实框和预测框中心点的欧氏距离；
29、distance_c为最小外接预测框对角线实际距离；
30、v为预测框和真实框长宽比例差值的归一化，定义为：
31、
32、其中，wgt和hgt为目标真实框的长和宽，w和h为目标预测框的长和宽。
33、在一个实施例中，所述置信度损失函数通过公式(6)获得：
34、lfocal(pt)＝-(1-pt)γlog(pt) (6)
35、其中，pt为预测真实类的概率，γ为可调参数。
36、在一个实施例中，所述多个摄像头包括两端车头摄像头、左前后视摄像头、右前后视摄像头。
37、在一个实施例中，所述显示屏均匀分屏为四块区域，分别实时显示所述两端车头摄像头中的一端车头摄像头和另一端车头摄像头、左后视镜摄像头以及右后视镜摄像头所采集的图像。
38、在一个实施例中，所述系统还包括电源模块，用于为所述图像采集模块、决策和控制模块以及显示预警模块提供电源。
39、本专利技术还提供了一种基于深度神经网络的车辆障碍物检测方法，所述方法包括以下步骤：
40、利用多个摄像头采集车身四周的图像；
41、基于所述采集到的图像进行障碍物检测；
42、对所述采集到的图像进行解码和拼接，并根据所述障碍物检测的结果将所述解码和拼接后的图像整合后进行显示和预警，同时控制车辆做出相应的动作；其中，若检测到障碍物存在，则显示带框的检测目标且并进行报警。
43、在一个实施例中，所述障碍物检测采用深度神经网络实现。
44、在一个实施例中，所述深度神经网络包括输入端、主干网络、复杂特征提取网络、检测头以及输出端，其中：
45、所述输入端用于输入待检测的图像；
46、所述主干网络对待检测的图像进行特征提取，得到特征图；
47、所述复杂特征提取网络将所述主干网络上的多个层级的特征图进行融合加工以增强网络表达能力，同时，所述复杂特征提取网络还用于确定所述检测头的数量，以及确定不同尺度的样本如何分配到不同的检测头；
48、所述检测头根据所述复杂特征提取网络的输出预测出目标的位置和类别；
49、所述输出端用于输出预测目标的具体种类和三维位置信息。
50、在一个实施例中，所述深度神经网络结构还包括损失函数模块，所述损失函数模块实现以下三种损失函数：
51、分类损失函数lclass；
52、定位损失函数lciou；以及
53、置信度损失函数lfocal；
54、其中，所述分类损失函数、所述定位损失函数以及所述置信度损失函数之和为所述深度神经网络的总体损失l：
55、l＝λ1lclass+λ2lciou+λ3lfocal (1)
56、其中，λ1、λ2、λ3为平衡系数，通过改变λ1、λ2、λ3以调整对三者损失的比重。
57、在一个实施例中，所述分类损失函数通过公式(2)和(3)获得：
58、
59、
60、其中，n表示类别总个数，xi为当前类别预测值，yi为经过激活函数sigmoid()后得到的当前类别的概率，yi*则为当前类别的真实值。
61、在一个实施例中，所述定位损失函数通过公式(5)获得：
62、
63、其中：
64、iou为预测框和真实框的交并比；
65、distance_2为真本文档来自技高网...
【技术保护点】
1.一种基于深度神经网络的智轨障碍物检测系统，其特征在于，所述系统包括：
2.如权利要求1所述的基于深度神经网络的智轨障碍物检测系统，其特征在于，所述智能处理计算单元采用深度神经网络对车辆周身进行障碍物检测。
3.如权利要求2所述的基于深度神经网络的智轨障碍物检测系统，其特征在于，所述深度神经网络包括输入端、主干网络、复杂特征提取网络、检测头以及输出端，其中：
4.如权利要求3所述的基于深度神经网络的智轨障碍物检测系统，其特征在于，所述深度神经网络结构还包括损失函数模块，所述损失函数模块实现以下三种损失函数：
5.如权利要求4所述的基于深度神经网络的智轨障碍物检测系统，其特征在于，所述分类损失函数Lclass通过公式(2)和(3)获得：
6.如权利要求4所述的基于深度神经网络的智轨障碍物检测系统，其特征在于，所述定位损失函数LCIou通过公式(5)获得：
7.如权利要求4所述的基于深度神经网络的智轨障碍物检测系统，其特征在于，所述置信度损失函数Lfocal通过公式(6)获得：
8.如权利要求1所述
9.如权利要求8所述的基于深度神经网络的智轨障碍物检测系统，其特征在于，所述显示屏均匀分屏为四块区域，分别实时显示所述两端车头摄像头中的一端车头摄像头和另一端车头摄像头、所述左前后视摄像头中的左后视镜摄像头以及所述右前后视摄像头中的右后视镜摄像头所采集的图像。
10.如权利要求1所述的基于深度神经网络的智轨障碍物检测系统，其特征在于，所述系统还包括电源模块，用于为所述图像采集模块、所述决策和控制模块以及所述显示预警模块提供电源。
11.一种基于深度神经网络的车辆障碍物检测方法，其特征在于，所述方法包括：
12.如权利要求11所述的基于深度神经网络的车辆障碍物检测方法，其特征在于，所述障碍物检测采用深度神经网络实现。
13.如权利要求12所述的基于深度神经网络的车辆障碍物检测方法，其特征在于，所述深度神经网络包括输入端、主干网络、复杂特征提取网络、检测头以及输出端，其中：
14.如权利要求13所述的基于深度神经网络的车辆障碍物检测方法，其特征在于，所述深度神经网络结构还包括损失函数模块，所述损失函数模块实现以下三种损失函数：
15.如权利要求14所述的基于深度神经网络的车辆障碍物检测方法，其特征在于，所述分类损失函数Lclass通过公式(2)和(3)获得：
16.如权利要求14所述的基于深度神经网络的车辆障碍物检测方法，其特征在于，所述定位损失函数LCIou通过公式(5)获得：
17.如权利要求14所述的基于深度神经网络的车辆障碍物检测方法，其特征在于，所述置信度损失函数Lfocal通过公式(6)获得：
18.如权利要求1所述的基于深度神经网络的车辆障碍物检测方法，其特征在于，所述多个摄像头包括两端车头摄像头、左前后视摄像头、右前后视摄像头。
19.如权利要求18所述的基于深度神经网络的车辆障碍物检测方法，其特征在于，还包括：
20.一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令运行时执行如权利要求1至19任一项所述的基于深度神经网络的车辆障碍物检测方法。
...【技术特征摘要】
1.一种基于深度神经网络的智轨障碍物检测系统，其特征在于，所述系统包括：
2.如权利要求1所述的基于深度神经网络的智轨障碍物检测系统，其特征在于，所述智能处理计算单元采用深度神经网络对车辆周身进行障碍物检测。
3.如权利要求2所述的基于深度神经网络的智轨障碍物检测系统，其特征在于，所述深度神经网络包括输入端、主干网络、复杂特征提取网络、检测头以及输出端，其中：
4.如权利要求3所述的基于深度神经网络的智轨障碍物检测系统，其特征在于，所述深度神经网络结构还包括损失函数模块，所述损失函数模块实现以下三种损失函数：
5.如权利要求4所述的基于深度神经网络的智轨障碍物检测系统，其特征在于，所述分类损失函数lclass通过公式(2)和(3)获得：
6.如权利要求4所述的基于深度神经网络的智轨障碍物检测系统，其特征在于，所述定位损失函数lciou通过公式(5)获得：
7.如权利要求4所述的基于深度神经网络的智轨障碍物检测系统，其特征在于，所述置信度损失函数lfocal通过公式(6)获得：
8.如权利要求1所述的基于深度神经网络的智轨障碍物检测系统，其特征在于，所述多个摄像头包括两端车头摄像头、左前后视摄像头、右前后视摄像头。
9.如权利要求8所述的基于深度神经网络的智轨障碍物检测系统，其特征在于，所述显示屏均匀分屏为四块区域，分别实时显示所述两端车头摄像头中的一端车头摄像头和另一端车头摄像头、所述左前后视摄像头中的左后视镜摄像头以及所述右前后视摄像头中的右后视镜摄像头所采集的图像。
10.如权利要求1所述的基于深度神经网络的智轨障碍物检测系统，其特征在于，所述...
【专利技术属性】
技术研发人员：刘海涛，胡云卿，熊群芳，林军，康高强，游俊，袁浩，岳伟，丁驰，徐阳翰，王泉东，仝皓，李晓光，
申请(专利权)人：中车株洲电力机车研究所有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。