一种全天候多光谱行人检测方法技术

本发明专利技术提供了一种全天候多光谱行人检测方法，分别采用可见光和红外相机采集全天候行人图像数据，将获得的红外和可见光图像数据集训练出两个RetinaNet网络模型，该网络模型内的特征采集网络为VGG16，训练后得到的两个网络模型分别记为RetinaNet‑C和RetinaNet‑T，截取这两个网络模型的特征采集网络的参数作为本次特征采集网络的初始化权重；将RetinaNet网络模型划分为双分支特征提取网络VGG16、特征金字塔FPN和双分支的分类回归网络的主体框架，最后进行网络测试，将测试集作为与预训练模型的输入，输出即为检测结果。本方法采用无锚框生成策略，参数较少，并且网络去掉了全连接层，采用全卷积网络，因此检测速度会非常快。

An all-weather multi spectrum pedestrian detection method

【技术实现步骤摘要】
一种全天候多光谱行人检测方法
本专利技术涉及智能网联汽车应用平台的行人的自动检测技术。属于车辆智能检测

技术介绍
近年来多光谱行人检测是计算机视觉领域比较火热的研究课题，精度与速度一直以来是评判行人检测算法的两个重要标准。但由于目前的行人检测算法在精度和速度上都有所欠缺，很难移植到移动端，所以此类算法还只是停留在实验室阶段。传统的行人检测方法只适用于检测高亮度条件下的行人，而对低光照夜间或者恶劣天气场景下的行人检测效果很差。
技术实现思路
针对现有技术的不足，本专利技术提供一种全天候多光谱行人检测算法的优化方法，旨在提升算法的精度和速度。该算法利用可见光和红外图像，基于全卷积网络的多通道特征融合技术，提出一种新的锚框生成机制和低质量锚框抑制算法，使本专利技术算法能够高效的检测到白天和夜间的行人。本专利技术采用的技术方案如下：一种全天候多光谱行人检测方法，包括以下步骤：步骤1：分别采用可见光和红外相机采集全天候行人图像数据，将获得的红外和可见光图像数据集训练出两个RetinaNet网络模型，该网络模型内的特征采集网络为VGG16，训练后得到的两个网络模型分别记为RetinaNet-C和RetinaNet-T，截取这两个网络模型的特征采集网络的参数作为本次特征采集网络的初始化权重；步骤2：将步骤1的RetinaNet网络模型划分为双分支特征提取网络VGG16、特征金字塔FPN和双分支的分类回归网络的主体框架，采用双分支特征提取网络VGG16来提取红外和可见光的特征，为了加强网络对于小目标的识别精度，将特征金字塔FPN融入到网络模型中，接下来对特征金字塔每一层进行卷积，并在双分支的分类回归网络做对此进行分类和回归；步骤3：网络测试，将测试集作为与预训练模型的输入，输出即为检测结果。进一步，所述双分支特征提取网络VGG16的具体搭建步骤为：特征采集网络采用双分支特征提取网络VGG16的网络框架，分别提取红外和可见光的特征，将第二层的可见光和红外光卷积层的特征图先进行基于通道上的叠加，再通过1×1卷积进行降维处理，同样步骤在第三层卷积层、第四层卷积层、第五层卷积层上执行，其初始化的权重为步骤1得到的模型权重，且训练时双分支特征提取网络VGG16的权重不共享。进一步，将特征金字塔FPN融入到网络模型中的具体搭建步骤为：为了检测图像中小尺寸的行人，使得网络对尺度不敏感，提出了一种金字塔多特征融合方法，先对第三层卷积层，即可见光和红外融合的特征图进行上采样，再与第二层卷积层的可见光和红外融合的特征图相叠加，得到金字塔的第一层，按此步骤继续对第四层卷积层、第五层卷积层执行，每相邻两层特征图进行通道上的叠加，便可得到金字塔的其中一层，最终一共得到三层特征金字塔，并且这三层特征图都包含红外和可见光的融合特征。进一步，所述双分支的分类回归网络的具体搭建步骤为：已知得到的三层特征金字塔，之后把每一层特征图送入后续网络中进行分类回归处理：金字塔每一层特征图后面加入两分支网络，一分支用来分类，一分支用来回归；且每一分支先对特征图进行4次卷积，主要是消除上采样出现的混叠效应，且卷积核大小为3×3，个数为256。进一步，整个RetinaNet网络模型的损失函数公式如下：其中px,y为(x,y)像素点的预测框内有目标的概率，为该预测目标真实类别；tx,y为点(x,y)处经过网络得出的要回归的四维变量，t*x,y为点(x,y)处对应原图的真实标注框，Npos为正样本的个数，表示只有正样本才计算损失，否则为0，λ为一个超参数，实验中取1。Lcls为分类损失函数，Lreg为回归损失函数。进一步，步骤2还包括提出一种新的无锚框方法，回归的是目标的左上和中心点的坐标；本网络回归过程是对特征图进行逐像素扫描，每个像素都会回归出4维向量，对应原图生成一个矩形的检测框；因此真实目标框周围会产生大量低质量预测框，为了抑制这些低质量预测框的出现，提出了一种全新的约束损失函数，公式如下：假设真实标注框的中心点坐标：实际预测框的左上点坐标：(x1,y1),中心点坐标:(x2,y2)，其中Cscore为一个中心损失函数；预测框中心点与真实标注框中心点距离越小，Cscore越大，反之Cscore越小；假设输入到检测网络的图片尺寸为H*W，将坐标做归一化处理，统一除以输入尺寸，使得在0到1之间，则的取值范围：最终Cscore取值范围：这个分支被设在并行于分类分支的下面，该分支输出结果乘上分类得分即为分类总得分，得分太小的会被非极大值抑制算法处理掉。本专利技术的技术效果为：由于本算法采用无锚框生成策略，参数较少，并且网络去掉了全连接层，采用全卷积网络，因此检测速度会非常快。再加上特征金字塔的方法和中心损失函数，使得本算法检测精度大幅度提升。具体网络的检测性能可见图3，图4和表1。本专利技术算法相比JinjinLiu提出的双通道fasterrcnn算法的优点为：(1)首先本专利技术算法采用无锚框机制，真正意义上的端到端训练，并且是全卷积网络，参数较少，网络结构简洁。而fasterrcnn采用滑动窗口生成锚框,其锚框大小是由超参数来设定的，并且它的分类回归网络为全连接层，很大程度上消耗了计算资源，所以本算法在速度上领先于JinjinLiu的算法。(2)其次本专利技术算法的特征金子塔网络和一个中心损失函数，在检测小目标上有了很大的提升，而fasterrcnn算法对于小目标的检测效果很差，最终在精度上也超越了fasterrcnn。本算法运行速度为16FPS，而fasterrcnn为11FPS。附图说明图1为网络的检测示意图；图2为网络的整体框架；图3为实际检测结果；图4为本专利技术算法的FPPI曲线；具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本专利技术，并不用于限定本专利技术。本专利技术提出一种全天候多光谱行人检测的优化方法，算法框架如图2所示，采用以下技术方案：步骤1，本专利技术提出了一种新的网络预训练方法，分别用红外和可见光数据集训练两个RetinaNet(特征采集网络为VGG16)网络,用这两个模型的特征采集网络的权重作为本次专利技术的双通道RetinaNet中VGG16的初始化权重，这样做法有两个优点：一是让模型收敛的更快，二是有助于提高模型的整体性能,并且在训练时双分支特征采集网络(即VGG16)的权重不共享。步骤2：本专利技术改进了算法框架，提出一种新的锚框生成机制、低质量边界框抑制算法、模型预训练方法以及多特征融合方法，最终本算法能够在精度和速度上都得到提升，结果如表1。表1为本算法与JinjinLiu的双通道fasterrcnn性能的比较步骤2.1：主体框架。本专利技术算法采用RetinaNet作为网络的主体框架，这个框架主要由三部分组成，双分支特征提取网络本文档来自技高网...

【技术保护点】
1.一种全天候多光谱行人检测方法，其特征在于，包括以下步骤：/n步骤1：分别采用可见光和红外相机采集全天候行人图像数据，将获得的红外和可见光图像数据集训练出两个RetinaNet网络模型，该网络模型内的特征采集网络为VGG16，训练后得到的两个网络模型分别记为RetinaNet-C和RetinaNet-T，截取这两个网络模型的特征采集网络的参数作为本次特征采集网络的初始化权重；/n步骤2：将步骤1的RetinaNet网络模型划分为双分支特征提取网络VGG16、特征金字塔FPN和双分支的分类回归网络的主体框架，采用双分支特征提取网络VGG16来提取红外和可见光的特征，为了加强网络对于小目标的识别精度，将特征金字塔FPN融入到网络模型中，接下来对特征金字塔每一层进行卷积，并在双分支的分类回归网络做对此进行分类和回归；/n步骤3：网络测试，将测试集作为与预训练模型的输入，输出即为检测结果。/n

【技术特征摘要】
1.一种全天候多光谱行人检测方法，其特征在于，包括以下步骤：
步骤1：分别采用可见光和红外相机采集全天候行人图像数据，将获得的红外和可见光图像数据集训练出两个RetinaNet网络模型，该网络模型内的特征采集网络为VGG16，训练后得到的两个网络模型分别记为RetinaNet-C和RetinaNet-T，截取这两个网络模型的特征采集网络的参数作为本次特征采集网络的初始化权重；
步骤2：将步骤1的RetinaNet网络模型划分为双分支特征提取网络VGG16、特征金字塔FPN和双分支的分类回归网络的主体框架，采用双分支特征提取网络VGG16来提取红外和可见光的特征，为了加强网络对于小目标的识别精度，将特征金字塔FPN融入到网络模型中，接下来对特征金字塔每一层进行卷积，并在双分支的分类回归网络做对此进行分类和回归；
步骤3：网络测试，将测试集作为与预训练模型的输入，输出即为检测结果。


2.根据权利要求1所述的一种全天候多光谱行人检测方法，其特征在于，所述双分支特征提取网络VGG16的具体搭建步骤为：
特征采集网络采用双分支特征提取网络VGG16的网络框架，分别提取红外和可见光的特征，将第二层的可见光和红外光卷积层的特征图先进行基于通道上的叠加，再通过1×1卷积进行降维处理，同样步骤在第三层卷积层、第四层卷积层、第五层卷积层上执行，其初始化的权重为步骤1得到的模型权重，且训练时双分支特征提取网络VGG16的权重不共享。


3.根据权利要求1所述的一种全天候多光谱行人检测方法，其特征在于，将特征金字塔FPN融入到网络模型中的具体搭建步骤为：为了检测图像中小尺寸的行人，使得网络对尺度不敏感，提出了一种金字塔多特征融合方法，先对第三层卷积层，即可见光和红外融合的特征图进行上采样，再与第二层卷积层的可见光和红外融合的特征图相叠加，得到金字塔的第一层，按此步骤继续对第四层卷积层、第五层卷积层执行，每相邻两层特征图进行通道上的叠加，便可得到金字塔的其中一层，最终一共得到三层特征金字塔，并且这三层特征...

【专利技术属性】
技术研发人员：沈继锋，韦浩，左欣，孙俊，
申请(专利权)人：江苏大学，
类型：发明
国别省市：江苏;32