道路目标检测方法、装置及存储介质制造方法及图纸

本发明专利技术公开了一种道路目标检测方法、装置及存储介质，旨在解决现有技术中目标检测的效率较低的技术问题。其包括：通过锚点计算和高斯散射核编码确定道路图像的类别标签，获得道路图像的训练样本集合；利用训练样本集合对预先构建的CNN网络进行训练，获得可以得到目标中心点的训练好的CNN网络模型；通过CNN网络模型得到目标中心点和目标的宽高信息，进而实现目标检测功能。本发明专利技术能够在确保目标检测性能的同时减少检测耗时，提高检测效率。

【技术实现步骤摘要】
道路目标检测方法、装置及存储介质
本专利技术涉及一种道路目标检测方法、装置及存储介质，属于ADAS

技术介绍
随着国民的安全意识增强，客户对于驾乘体验舒适度要求的提高，以及欧洲新车安全评鉴协会(NCAP)安全要求的提高，高级驾驶辅助系统(ADAS)产业得以快速发展。ADAS系统并不直接控制车辆，而是向驾驶员提供车辆运行状态以及车辆周围环境等相关信息，提醒驾驶员注意潜在危险，从而提高行车的安全性。ADAS系统通过目标检测、识别与跟踪等处理技术来评估危险性，其中目标检测技术是其基础，也是最重要的一环，检测技术能够通过车载摄像头实时获取的道路信息，快速分析定位出道路上的各种障碍物的类别以及位置信息，以供后续的模块进行精准的危险分析，在危险来临时能够及时提醒驾驶员或者直接对车辆进行合理的干涉。近些年的目标(车辆、行人、两轮车，三角锥等)检测算法，主要利用深度神经网络技术在图像上滑动复杂排列的可能BBox(即锚点)，然后直接对框进行分类，获得潜在的目标框，由于同一个目标上会有很多个各种尺寸的目标框，所以需要额外的后处理(NMS)来对同一目标的多个目标框进行筛选，以便找到各个目标的准确类别和位置，这种处理方法需要浪费大量时间，目标检测效率较低。
技术实现思路
为了解决现有技术中目标检测的效率较低的问题，本专利技术提出了一种道路目标检测方法、装置及存储介质，利用目标中心点来代表目标物体，将目标检测转化成中心点估计，直接获得目标中心点的位置和目标宽高信息，从而省略掉NMS操作，提高目标检测效率。为解决上述技术问题，本专利技术采用了如下技术手段：第一方面，本专利技术提出了一种基于中心点的道路目标检测方法，包括如下步骤：获取历史道路图像数据，并进行图像预处理；基于预处理后的道路图像进行锚点计算和高斯散射核编码，获得道路图像的训练样本集合；利用训练样本集合对预先构建的CNN网络进行训练，获得训练好的CNN网络模型；利用训练好的CNN网络模型处理待检测道路图像，获得待检测道路图像的关键点热力图和目标大小回归值；根据关键点热力图和目标大小回归值获得道路目标检测结果。结合第一方面，进一步的，所述图像预处理的具体操作如下：获取历史道路图像数据，所述历史道路图像数据包括多幅历史道路图像和每幅历史道路图像对应的目标类别；对历史道路图像进行数据标注，确定每一幅历史道路图像的标注框，获得标注图像；对标注图像进行数据增广处理，获得预处理后的道路图像。结合第一方面，进一步的，针对任一幅预处理后的道路图像，锚点计算和高斯散射核编码的具体操作如下：以预处理后的道路图像的左下角为坐标原点，建立图像坐标系；根据预处理后的道路图像的标注框计算其真实关键点的坐标：其中，P表示真实关键点的坐标，Px为真实关键点的横坐标，Py为真实关键点的纵坐标，(x1,y1)为标注框左上角的像素点的坐标，(x2,y2)为标注框右下角的像素点的坐标；根据预处理后的道路图像的标注框获取目标感知中心区域；基于真实关键点的坐标，利用高斯散射核计算目标感知中心区域中的所有像素点的类别标签：其中，表示目标感知中心区域中第i个像素点的类别标签，(xi,yi)为目标感知中心区域中第i个像素点的坐标，δp为目标感知中心区域的尺寸标准差，i＝1,2,…,n，n为目标感知中心区域中的像素点个数。结合第一方面，进一步的，CNN网络训练的具体操作如下：(1)获取预先构建的CNN网络，并初始化网络参数；(2)利用CNN网络对训练样本集合中的每个图像训练样本进行下采样处理，获得对应的下采样图像；(3)针对每一个下采样图像，根据CNN网络的下采样因子计算下采样图像的关键点坐标和下采样图像的像素点类别标签，其中，下采样图像的关键点坐标的计算公式如下：其中，表示下采样图像的关键点的坐标，P表示图像训练样本中真实关键点的坐标，R为下采样因子；(4)基于历史道路图像数据中的目标类别、下采样图像的关键点坐标、像素点类别标签，利用CNN网络的损失函数计算网络损失，并通过损失反向传递更新CNN网络的网络参数；(5)重复步骤(2)～(4)，直到网络损失收敛，获得训练好的CNN网络模型。结合第一方面，进一步的，所述关键点热力图和目标大小回归值的获取过程如下：根据待检测道路视频获得待检测道路图像；利用训练好的CNN网络模型处理待检测道路图像，获得待检测道路图像中每个目标的道路目标特征图，并通过前向传递获得每个目标类别对应的关键点热力图，关键点热力图中包括该目标类别下的所有目标；根据道路目标特征图的峰值点获得目标大小回归值，即目标的宽度和高度。结合第一方面，进一步的，所述道路目标检测结果的获取过程如下：通过最大池化从关键点热力图中解码提取出每个目标的目标中心点坐标，并获得目标类别；根据目标中心点坐标和对应的目标大小回归值在待检测道路图像上生成目标框；关联每个目标的目标类别和目标框，输出含有目标类别和目标框的待检测道路图像，作为道路目标检测结果。第二方面，本专利技术提出了一种基于中心点的道路目标检测装置，包括：图像处理模块，一方面用于获取历史道路图像数据，并进行图像预处理，另一方面用于根据待检测道路视频获得待检测道路图像；图像编码模块，用于对预处理后的道路图像进行锚点计算和高斯散射核编码，获得道路图像的训练样本集合；模型训练模块，用于根据图像编码模块的训练样本集合对预先构建的CNN网络进行训练，获得训练好的CNN网络模型；目标检测模块，用于利用训练好的CNN网络模型处理待检测道路图像，获得待检测道路图像的目标关键点的热力图和目标大小回归值，并在待检测道路图像上生成目标框和目标类别，获得道路目标检测结果。第三方面，本专利技术提出了一种基于中心点的道路目标检测装置，包括处理器及存储介质；所述存储介质用于存储指令；所述处理器用于根据所述指令进行操作以执行本专利技术第一方面所述方法的步骤。第四方面，本专利技术提出了计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本专利技术第一方面所述方法的步骤。采用以上技术手段后可以获得以下优势：本专利技术提出了一种道路目标检测方法、装置及存储介质，借鉴语义分割的思想，利用目标中心点来代表目标物体，使用高斯散射核对目标区域进行类别编码，将目标物体的检测问题转化成图像中某个关键点的估计问题。本专利技术构建并训练可以直接获得目标中心点的CNN网络，在目标检测过程中，通过前向传播获得每个目标类别对应的关键点热力图，再使用最大池化从关键点热力图中直接解码提取出同一个类别的多个目标的目标中心点，结合特征图峰值点位置预测目标的宽高信息，进而直接得到道路图像或视频中的目标类别和目标框。本专利技术省略了NMS操作，简化了目标检测操作，大大减少了检测后处理模块的耗时，在确保目标检测性能的同本文档来自技高网...

【技术保护点】
1.一种基于中心点的道路目标检测方法，其特征在于，包括如下步骤：/n获取历史道路图像数据，并进行图像预处理；/n基于预处理后的道路图像进行锚点计算和高斯散射核编码，获得道路图像的训练样本集合；/n利用训练样本集合对预先构建的CNN网络进行训练，获得训练好的CNN网络模型；/n利用训练好的CNN网络模型处理待检测道路图像，获得待检测道路图像的关键点热力图和目标大小回归值；/n根据关键点热力图和目标大小回归值获得道路目标检测结果。/n

【技术特征摘要】
1.一种基于中心点的道路目标检测方法，其特征在于，包括如下步骤：
获取历史道路图像数据，并进行图像预处理；
基于预处理后的道路图像进行锚点计算和高斯散射核编码，获得道路图像的训练样本集合；
利用训练样本集合对预先构建的CNN网络进行训练，获得训练好的CNN网络模型；
利用训练好的CNN网络模型处理待检测道路图像，获得待检测道路图像的关键点热力图和目标大小回归值；
根据关键点热力图和目标大小回归值获得道路目标检测结果。


2.根据权利要求1所述的一种基于中心点的道路目标检测方法，其特征在于，所述图像预处理的具体操作如下：
获取历史道路图像数据，所述历史道路图像数据包括多幅历史道路图像和每幅历史道路图像对应的目标类别；
对历史道路图像进行数据标注，确定每一幅历史道路图像的标注框，获得标注图像；
对标注图像进行数据增广处理，获得预处理后的道路图像。


3.根据权利要求2所述的一种基于中心点的道路目标检测方法，其特征在于，针对任一幅预处理后的道路图像，锚点计算和高斯散射核编码的具体操作如下：
以预处理后的道路图像的左下角为坐标原点，建立图像坐标系；
根据预处理后的道路图像的标注框计算其真实关键点的坐标：



其中，P表示真实关键点的坐标，Px为真实关键点的横坐标，Py为真实关键点的纵坐标，(x1,y1)为标注框左上角的像素点的坐标，(x2,y2)为标注框右下角的像素点的坐标；
根据预处理后的道路图像的标注框获取目标感知中心区域；
基于真实关键点的坐标，利用高斯散射核计算目标感知中心区域中的所有像素点的类别标签：



其中，表示目标感知中心区域中第i个像素点的类别标签，(xi,yi)为目标感知中心区域中第i个像素点的坐标，δp为目标感知中心区域的尺寸标准差，i＝1,2,…,n，n为目标感知中心区域中的像素点个数。


4.根据权利要求1所述的一种基于中心点的道路目标检测方法，其特征在于，CNN网络训练的具体操作如下：
(1)获取预先构建的CNN网络，并初始化网络参数；
(2)利用CNN网络对训练样本集合中的每个图像训练样本进行下采样处理，获得对应的下采样图像；
(3)针对每一个下采样图像，根据CNN网络的下采样因子计算下采样图像的关键点坐标和下采样图像的像素点类别标签，其中，下采样图像的关键点坐标的计算公式如下：



其...

【专利技术属性】
技术研发人员：朱晓东，刘国清，季思文，
申请(专利权)人：南京佑驾科技有限公司，
类型：发明
国别省市：江苏;32