基于深度学习的高清摄像头3D目标检测系统技术方案

本发明专利技术公开了基于深度学习的高清摄像头3D目标检测系统，包括车辆传感器装置、硬件模块以及处理单元，所述车辆传感器装置包括高清摄像头,所述硬件模块包括电源电路、通信电路、数据格式转换电路、中央处理器和存储电路，高清摄像头与中央处理器通过电性连接,所述处理单元包括图像采集单元、特征提取单元、数据处理单元和结果输出。该基于深度学习的高清摄像头3D目标检测系统，图像采集单元主要通过高清摄像头采集图像信息，模型训练单元通过引入自动驾驶数据集对图像识别模型进行评估和校正，图像处理单元根据高清摄像头三维目标识别算法进行目标识别，数据数据模块用于将最终的得到的信息传递给自动驾驶终端。

3D Target Detection System for HD Camera Based on Deep Learning

【技术实现步骤摘要】
基于深度学习的高清摄像头3D目标检测系统
本专利技术涉及智能汽车
，具体为基于深度学习的高清摄像头3D目标检测系统。
技术介绍
自动驾驶系统需要传感器对前方的前方环境进行三维重建，对被测物体进行识别判断，构建一个道路环境信息的三维立体位置关系图，它的成功与否取决于它在其周围环境中检测和定位对象的能力，其预测、规避和路径规划都依赖于对场景中其他实体的三维位置和尺寸的检测。这使得三维包围盒检测技术成为自动驾驶系统中计算机视觉识别的一个重要问题。主流的自动驾驶系统构架中多数采用了用激光雷达回波形成的激光雷达点云进行三维目标检测的方法，但是激光雷达云图没有目标位置的绝对深度信息，这种纯图像的方法性能上存在滞后性。目前的激光雷达成本很高，单个激光雷达点云密度稀疏其需要多传感器冗余，这进一步推动了自动驾驶方案成本增高，使其难以在市场上推广普及，因需要一种更精确性价比更高的的三维目标检测系统。因此本专利技术提出了一种通过低成本高清摄像头进行目标3D检测的装置。
技术实现思路
本专利技术的目的在于提供基于深度学习的高清摄像头3D目标检测系统，以解决传统自动驾驶系统因采用激光雷达导致的成本过高无法市场推广的问题。为实现上述目的，本专利技术提供如下技术方案：基于深度学习的高清摄像头3D目标检测系统，包括车辆传感器装置、硬件模块以及数据处理模块；所述车辆传感器装置包括高清摄像头；所述硬件模块包括电源电路、通信电路、数据格式转换电路、中央处理器和存储电路，高清摄像头与中央处理器通过电路连接；所述数据处理模块包括图像采集单元、模型训练单元、特征提取单元、图像处理单元和结果输出单元；所述图像采集单元通过高清摄像头采集原始输入图像，模型训练单元通过引入自动驾驶数据集对原始输入图像的识别模型进行评估和校正，特征提取单元从图像采集单元获取原始输入图像并生成多尺度二维特征映射，图像处理单元根据高清摄像头三维目标识别算法进行目标识别，结果输出单元用于将最终得到的信息传递给自动驾驶终端；所述特征提取单元从原始输入图像中生成多尺度二维特征映射，用平面f(u,v)∈Rn表示，Rn代表n维空间；其中(u,v)是这个二维特征映射的平面上的特征点，特征映射对图像中低层结构的信息进行编码，所述低层结构的信息构成训练网络用于构建场景隐式三维表示的基本组件；通过正投影鸟瞰转换将f(u,v)∈Rn转换为一个三维特征图，用s(x,y,z)∈Rn表示，其中(x,y,z)是三维空间中的点；所述三维特征图定义了在一个由均匀间隔组成的三维空间里，用矩形框表示任意一个大小为r的立方体，所述矩形框的对角坐标分别为(a1,b1)和(a2,b2)，所述矩形框表示的立方体的长为W、宽为D、高为H，并且有：其中f为高清摄像头的焦距，(ca,cb)为原点；将图像f(a,b)∈Rn投影的包围框进行平均化，将每一个特征分配到s(x,y,z)∈Rn中适当的位置：将生成的三维特征映射g(x，y，z)，将一组学习到的权值矩阵M(y)与s(x,y,z)相乘后沿垂直轴累加，得到正交特征图：式中：B(x，z)为三维映射在地平面的投影；采用积分图像的快速平均池化：F(u，v)＝f(a，b)F(a-1，b)+F(a，b-1)-F(a-1，b-1)图像置信度N(x,z)：式中：N(x,z)是一个光滑函数，它表示存在一个以(x,y0,z)为中心的边界盒的概率，其中y0是高清摄像头到地平面的距离，δ是比例因子；相对位置偏移量ΔposΔpos(x,z)表示边界盒中心坐标(x,y0,z)与目标真实位置的相对偏差,(xi,yi,zi)Δdim是物体i的中心坐标尺寸偏移量Δdim:Δdim表示物体真实大小与平均尺寸的对数关系，(wi,hi,li)为目标物体i的尺寸，是给定物体的平均尺寸；方向向量Δang(x，z)：Δang(x，z)＝[sinθi，cosθi]τΔang(x，z)表示物体相对于y轴的方向向量，是物体与y轴的量角；采用NMS对数据进行滤波，得到最终可信任数据，输出下一级处理单元。优选的，所述高清摄像头内设置有感应的传感器，布置成查看或捕捉以及查看或捕捉车辆环境的选定部分的图像。优选的，所述高清摄像头的传感器设置成车辆何时遇到路面特征并且向中央处理器发送对应的感应信号。优选的，所述通信电路与中央处理器通过电性连接，中央处理器包括CPU和GPU。优选的，所述数据格式转换电路与通信电路电性连接。优选的，所述存储电路为存储器，其与中央处理器进行电性连接。优选的，所述高清摄像头为多组，分别设置在车内后视镜的中轴位置、后备箱的尾部壳体上以及车身两侧。优选的，所述高清摄像头和中央处理器均分为能够执行一个或多个指令，并且启动至少一个高清摄像头以查看或捕捉以及查看或捕捉车辆环境选定的一个图像。优选的，基于深度学习的高清摄像头3D目标检测系统的使用方法，包括以下步骤：(1)图像采集：通过高清摄像头获得原始输入图像；(2)特征值提取：特征提取单元采用用残差网络特征提取方法从输入原始图像中提取多尺度特征映射；(3)正投影转换：采用正交特征变化将提取的所有多尺度特征映射的特征图转换为正投影鸟瞰图，形成残差网络单元；(4)构建多层网络：将这些处理后的残差网络单元组成一个由上之下的多层网络；(5)定位和边界估计：为多层网络的每一层网络的每一个对象在地平面的投影生成一个置信度分数，同时引入位置偏移量、维度偏移量和方向向量；(6)最终定位：采用非极大值抑制算法识别置信度图中的峰值并生成离散边界框，提高物体位置和边框数据的准确度；(7)输出数据到终端。与现有技术相比，本专利技术的有益效果是：该基于深度学习的高清摄像头3D目标检测系统，图像采集单元主要通过高清摄像头采集图像信息，模型训练单元通过引入自动驾驶数据集对图像识别模型进行评估和校正，图像处理单元根据高清摄像头三维目标识别算法进行目标识别，数据数据模块用于将最终的得到的信息传递给自动驾驶终端。附图说明图1为本专利技术的目标检测系统原理图；图2为本专利技术的算法流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术提供一种技术方案：基于深度学习的高清摄像头3D目标检测系统，包括车辆传感器装置、硬件模块以及数据处理模块；车辆传感器装置包括高清摄像头；硬件模块包括电源电路、通信电路、数据格式转换电路、中央处理器和存储电路，高清摄像头与中央处理器通过电路连接；在本专利技术的一个示例中，高清摄像头内设置有感应的传感器，布置成查看或捕捉以及查看或捕捉车辆环境的选定部分的图像；在本专利技术的一个示例中，高清摄像头的传感器设置成车辆何时遇到路面特征并且向中央处理器发送对应的感应信号；在本专利技术的一个示例中，通信电路与中央处理CPU/GPU通过电性连接，通信电路通过GPS定位车辆当前坐标位置，存储电路为存储器，其与中央处理器进行数据交换；在本专利技术的一个示例中，高清摄像头为多组，分别设置在车内后视镜的中轴位置、后备箱的尾部壳体上以及车身两侧，高清摄像头和中央处理器均分为能够执行一个或多个指令，并本文档来自技高网...

【技术保护点】
1.基于深度学习的高清摄像头3D目标检测系统，包括车辆传感器装置、硬件模块以及数据处理模块，其特征在于：所述车辆传感器装置包括高清摄像头；所述硬件模块包括电源电路、通信电路、数据格式转换电路、中央处理器和存储电路，高清摄像头与中央处理器通过电路连接；所述数据处理模块包括图像采集单元、模型训练单元、特征提取单元、图像处理单元和结果输出单元；所述图像采集单元通过高清摄像头采集原始输入图像，模型训练单元通过引入自动驾驶数据集对原始输入图像的识别模型进行评估和校正，特征提取单元从图像采集单元获取原始输入图像并生成多尺度二维特征映射，图像处理单元根据高清摄像头三维目标识别算法进行目标识别，结果输出单元用于将最终得到的信息传递给自动驾驶终端；所述特征提取单元从原始输入图像中生成多尺度二维特征映射，用平面f(u,v)∈R

【技术特征摘要】
1.基于深度学习的高清摄像头3D目标检测系统，包括车辆传感器装置、硬件模块以及数据处理模块，其特征在于：所述车辆传感器装置包括高清摄像头；所述硬件模块包括电源电路、通信电路、数据格式转换电路、中央处理器和存储电路，高清摄像头与中央处理器通过电路连接；所述数据处理模块包括图像采集单元、模型训练单元、特征提取单元、图像处理单元和结果输出单元；所述图像采集单元通过高清摄像头采集原始输入图像，模型训练单元通过引入自动驾驶数据集对原始输入图像的识别模型进行评估和校正，特征提取单元从图像采集单元获取原始输入图像并生成多尺度二维特征映射，图像处理单元根据高清摄像头三维目标识别算法进行目标识别，结果输出单元用于将最终得到的信息传递给自动驾驶终端；所述特征提取单元从原始输入图像中生成多尺度二维特征映射，用平面f(u,v)∈Rn表示，Rn代表n维空间；其中(u,v)是这个二维特征映射的平面上的特征点，特征映射对图像中低层结构的信息进行编码，所述低层结构的信息构成训练网络用于构建场景隐式三维表示的基本组件；通过正投影鸟瞰转换将f(u,v)∈Rn转换为一个三维特征图，用s(x,y,z)∈Rn表示，其中(x,y,z)是三维空间中的点；所述三维特征图定义了在一个由均匀间隔组成的三维空间里，用矩形框表示任意一个大小为r的立方体，所述矩形框的对角坐标分别为(a1,b1)和(a2,b2)，所述矩形框表示的立方体的长为W、宽为D、高为H，并且有：其中f为高清摄像头的焦距，(ca,cb)为原点；将图像f(a,b)∈Rn投影的包围框进行平均化，将每一个特征分配到s(x,y,z)∈Rn中适当的位置：将生成的三维特征映射g(x，y，z)，将一组学习到的权值矩阵M(y)与s(x,y,z)相乘后沿垂直轴累加，得到正交特征图：式中：B(x，z)为三维映射在地平面的投影；采用积分图像的快速平均池化：F(u，v)＝f(a，b)+F(a-1，b)+F(a，b-1)-F(a-1，b-1)图像置信度N(x,z)：式中：N(x,z)是一个光滑函数，它表示存在一个以(x,y0,z)为中心的边界盒的概率，其中y0是高清摄像头到地平面的距离，δ是比例因子；相对位置偏移量ΔposΔpos(x,z)表示边界盒中心坐标(x,y0,z)与目标真实位置的相对偏差,(xi,yi,zi)Δdim是物体i的中心坐标尺寸偏移量Δdim:Δdim表示物体真实大小与平均尺寸的对数关系，(wi,h...

【专利技术属性】
技术研发人员：母江东，张祥，徐江，张毅，李宝林，黄承雨，曾建军，
申请(专利权)人：重庆集诚汽车电子有限责任公司，中电科技集团重庆声光电有限公司，
类型：发明
国别省市：重庆,50