基于深度学习的复杂路况感知系统及装置制造方法及图纸

基于深度学习的复杂路况感知系统及装置。一种基于深度学习的复杂路况感知系统，本系统包括五步：第一步采集图像传感器数据；第二步对图像数据进行预处理，包括白平衡、gamma矫正、去噪处理；第三步使用第一个深度神经网络进行特征提取；第四步使用第二个深度神经网络提取的特征进行目标定位；第五步使用使用第三个深度神经网络对定位区域进行目标识别，得到最终的检测结果。本发明专利技术用于基于深度学习的复杂路况感知系统。

Complex road condition sensing system and device based on depth learning

Complex road condition sensing system and device based on depth learning. A complex traffic awareness system based on deep learning, the system includes five steps: the first step of image sensor to collect data; the second step to preprocess the image data, including white balance, gamma correction, denoising; the third step uses the first depth neural network for feature extraction; target localization features fourth step second a neural network depth extraction; fifth step used for target recognition of regional positioning using third depth neural network, get the final detection results. The present invention is used for a complex road condition sensing system based on depth learning.

【技术实现步骤摘要】
基于深度学习的复杂路况感知系统及装置
：本专利技术涉及一种基于深度学习的复杂路况感知系统及装置。
技术介绍
：使用深度学习技术，将特征提取、目标定位、目标识别等技术整合为一个统一的深度神经网络，并形成一整套完整的端到端解决防范，并优化了车载设备上深度神经网络的模型复杂度基于性能，使其能够快速、准确的在车载系统中处理视觉任务。传统的方法只能进行单目标检测，如果需要多目标检测、需要使用不同的特征和不同的分类器，这样增加了整个系统的设计难度，并且不同的特征在不同的分类器中无法共享，导致了计算的重复性，无法提高检测的效率，并且传统的算法在复杂场景下的泛化能力较弱，无法达到实用的价值。
技术实现思路
：本专利技术的目的是提供一种使用特殊的网络结构提取多尺度特征，再使用额外一个子网络合并多尺度特征的基于深度学习的复杂路况感知系统及装置。上述的目的通过以下的技术方案实现：一种基于深度学习的复杂路况感知系统，本系统包括五步：第一步采集图像传感器数据；第二步对图像数据进行预处理，包括白平衡、gamma矫正、去噪处理；第三步使用第一个深度神经网络进行特征提取；第四步使用第二个深度神经网络提取的特征进行目标定位；第五步使用使用第三个深度神经网络对定位区域进行目标识别，得到最终的检测结果。所述的基于深度学习的复杂路况感知系统，所述的第三步是做特征复用；所述的第四步是将前景和背景分离；所述的第三步、所述的第四步、所述的第五步中使用的网络整合为一个更深层次的深度神经网络，其中每一步使用的网络作为整个网络的子网络进行处理。所述的基于深度学习的复杂路况感知系统，所述的子网络是一种多尺度神经网络，在不同的尺度上进行特征提取，最后通过一个特殊的子网络将不用尺度下的特征进行整合，得到最终的多尺度特征。所述的基于深度学习的复杂路况感知系统，在多尺度特征提取过后，下一步就是生成定位候选框；使用额外的子网络生成定位锚点，每一个锚点再结合5个尺度变化和5个角度变换，最终生成25个候选框。所述的基于深度学习的复杂路况感知系统，选取1000个定位锚点，最终生成1000x25=25000个候选框；最后使用一个子网络对这25000个候选框进行二分类，保留最终的目标候选框。一种基于深度学习的复杂路况感知装置，其组成包括:使用DMA芯片用于数据采集的相机，所述的相机插入底板的插槽内，所述的底板的一侧通过螺钉连接固定条的一端，所述的固定条的另一端连接挂环，所述的底板的另一侧开有螺纹孔，所述的螺纹孔连接螺杆，所述的螺杆连接挂钩，所述的挂钩挂接所述的挂环固定所述的相机；所述的底板的底部扣上弧形扣板，所述的弧形扣板的两端均连接固定板，所述的底板与所述的固定板之间通过螺钉固定，所述的弧形扣板固定支撑杆，所述的支撑杆的一侧端部连接左螺杆，所述的左螺杆顺次连接一号螺套和二号螺套，所述的一号螺套连接一号支撑腿，所述的二号螺套连接二号支撑腿，所述的支撑杆的另一侧端部连接右螺杆，所述的右螺杆顺次连接三号螺套和四号螺套，所述的三号螺套连接三号支撑腿，所述的四号螺套连接四号支撑腿，所述的一号支撑腿与所述的二号支撑腿分开支撑所述的底板，所述的三号支撑腿与所述的四号支撑腿分开支撑所述的底板。有益效果：1.本专利技术使用深度学习技术搭建环境感知技术，解决了复杂场景下的目标定位与识别问题；深度学习的多尺度特征提取；深度学习精确定位；效率以及功耗。传统理论认为，使用更深层的网络可以提升网络的泛化能力。但是提升网络深度的同时，其计算量也大大提升，同时其收敛时间更复杂，更不容易训练。本专利技术提出了一种多尺度网络，使用特殊的网络结构提取多尺度特征，再使用额外一个子网络合并多尺度特征；使用此网络结构能够降低网络每一层的参数格式，因此降低了网络整体的参数个数，降低了网络整体的计算时间。随着参数的减少，其收敛速度也大大提升。本专利技术为了解决小目标的检测问题，在形成最终特征的时候，使用升维方法，能够将特征图映变换为更高分辨率的特征图，这样在检测小目标的时候，能够提供更多信息，提升了检测的性能，同时，比使用更高分辨率的图片等方法，降低了时间的耗损。本专利技术能够更精确的定位目标，使用5个尺度变换和5个角度变换对锚点进行变换；5个尺度分别是3.0，6.0，9.0，16.0以及32.0，尺度最小到8个像素，最大到512个像素，大大满足了检测的需求。本专利技术的一号支撑腿、二号支撑腿、三号支撑腿、四号支撑腿既能够稳定的支撑底板，一号支撑腿与二号支撑腿、三号支撑腿与四号支撑腿分开能够稳定的支撑相机，一号支撑腿与二号支撑腿、三号支撑腿与四号支撑腿合并携带也非常的方便。本专利技术的固定条能够很好的固定相机，使相机固定在底板上使用非常的安全。附图说明：附图1是本产品的卷积核图。附图2是本产品的网络结构图。附图3是本产品的结构示意图。附图4是附图3的后视图。具体实施方式：下面将结合本专利技术的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。实施例1：一种基于深度学习的复杂路况感知系统，本系统包括五步：第一步采集图像传感器数据；第二步对图像数据进行预处理，包括白平衡、gamma矫正、去噪处理；第三步使用第一个深度神经网络进行特征提取；第四步使用第二个深度神经网络提取的特征进行目标定位；第五步使用使用第三个深度神经网络对定位区域进行目标识别，得到最终的检测结果。实施例2：实施例1所述的基于深度学习的复杂路况感知系统，所述的第三步是做特征复用；所述的第四步是将前景和背景分离；所述的第三步、所述的第四步、所述的第五步中使用的网络整合为一个更深层次的深度神经网络，其中每一步使用的网络作为整个网络的子网络进行处理。实施例3：实施例2所述的基于深度学习的复杂路况感知系统，所述的子网络是一种多尺度神经网络，在不同的尺度上进行特征提取，最后通过一个特殊的子网络将不用尺度下的特征进行整合，得到最终的多尺度特征。实施例4：实施例3所述的基于深度学习的复杂路况感知系统，在多尺度特征提取过后，下一步就是生成定位候选框；使用额外的子网络生成定位锚点，每一个锚点再结合5个尺度变化和5个角度变换，最终生成25个候选框。实施例5：实施例4所述的基于深度学习的复杂路况感知系统，选取1000个定位锚点，最终生成1000x25=25000个候选框；最后使用一个子网络对这25000个候选框进行二分类（二分类分为背景和目标），保留最终的目标候选框。实施例6：上述实施例所述的基于深度学习的复杂路况感知系统，首先是相机数据采集；在数据采集时，使用DMA芯片，直接将传感器采集的数据传输到内存中，这样可以大大减少数据传输的延时。在获取相机数据后，需要对采集的数据进行预处理，通常的处理有白平衡、gamma矫正、以及去噪处理。对于白平衡以及gamma矫正，可以使用ISP（ImageSignalProcessing）进行处理。而对于去噪处理，可以使用高速滤波核函数进行处理，卷积核如附图1。在对图像数据预处理之后，就是使用深度神经网络对图像进行特征提取，为了能提取多尺度的特征，需要设计特殊的网络结构，并且在最后融合这些多尺度特征，网络结构如附图2。在特征提取完之后，剩下的就如同经典的faster-RCNN一样，进行定位和识别处理。实施例7：一种基于深度学习的复杂路况感知装置，其组成包括:使用DMA本文档来自技高网...

【技术保护点】
一种基于深度学习的复杂路况感知系统，其特征是: 本系统包括五步：第一步采集图像传感器数据；第二步对图像数据进行预处理，包括白平衡、gamma矫正、去噪处理；第三步使用第一个深度神经网络进行特征提取；第四步使用第二个深度神经网络提取的特征进行目标定位；第五步使用使用第三个深度神经网络对定位区域进行目标识别，得到最终的检测结果。

【技术特征摘要】
1.一种基于深度学习的复杂路况感知系统，其特征是:本系统包括五步：第一步采集图像传感器数据；第二步对图像数据进行预处理，包括白平衡、gamma矫正、去噪处理；第三步使用第一个深度神经网络进行特征提取；第四步使用第二个深度神经网络提取的特征进行目标定位；第五步使用使用第三个深度神经网络对定位区域进行目标识别，得到最终的检测结果。2.根据权利要求1所述的基于深度学习的复杂路况感知系统，其特征是:所述的第三步是做特征复用；所述的第四步是将前景和背景分离；所述的第三步、所述的第四步、所述的第五步中使用的网络整合为一个更深层次的深度神经网络，其中每一步使用的网络作为整个网络的子网络进行处理。3.根据权利要求2所述的基于深度学习的复杂路况感知系统，其特征是:所述的子网络是一种多尺度神经网络，在不同的尺度上进行特征提取，最后通过一个特殊的子网络将不用尺度下的特征进行整合，得到最终的多尺度特征。4.根据权利要求3所述的基于深度学习的复杂路况感知系统，其特征是:在多尺度特征提取过后，下一步就是生成定位候选框；使用额外的子网络生成定位锚点，每一个锚点再结合5个尺度变化和5个角度变换，最终生成25个候选框。5.根据权利...

【专利技术属性】
技术研发人员：赵贵平，王曦，宝鹤鹏，温泉，李宗南，
申请(专利权)人：苏州天瞳威视电子科技有限公司，北京卡达克数据有限公司，
类型：发明
国别省市：江苏,32