一种雷达与摄像机融合的行人检测方法和系统技术方案

本发明专利技术公开了一种雷达与摄像机融合的行人检测方法和系统，方法包括：构建用于行人检测的Mask RCNN网络结构，并对Mask RCNN网络结构进行预训练；接收雷达获取的待检测区域的雷达数据，对雷达数据进行聚类处理得到多种聚类点簇，并根据行人的物理属性对聚类点簇进行过滤，得到针对行人的聚类点簇；接收摄像机获取的待检测区域的图像数据，根据摄像机内外参将针对行人的聚类点簇转换为图像中的像素坐标，并通过卷积变换规则提取图像的感兴趣区域；将提取的感兴趣区域输入至预训练好的Mask RCNN网络结构中进行行人识别，输出行人检测结果。本发明专利技术将雷达和摄像机数据融合行人检测，利用硬件优势代替软件计算，降低了软件计算的复杂度，兼顾了准确性和时效性。

A pedestrian detection method and system based on the fusion of radar and camera

【技术实现步骤摘要】
一种雷达与摄像机融合的行人检测方法和系统
本申请属于智能交通管理领域，具体涉及一种雷达与摄像机融合的行人检测方法和系统。
技术介绍
行人检测作为汽车辅助驾驶的重要环节，近年来得到了广泛的关注和研究。行人检测是计算机领域的热门研究课题之一。单传感器行人检测方法基于雷达、红外、激光、摄像机等。其特点是设备简单，经济性好。然而采用单一传感器检测行人容易造成信息盲区，且信息表达具有局限性，利用多种传感器的信息融合已成为行人检测的发展趋势。行人检测的难点主要在两个方面：一是由于不同的行人之间的体型、姿态和着装等具有很大的差异，导致从可见光图像提取行人的特征具有一定的难度；二是可见光图像容易受到不同光照条件和阴影的影响，导致行人目标之间在图像上具有显著的差异。另外，现有方法仍然存在计算复杂、实时性不强等问题。利用卷积神经网络学习目标特征最具代表性的是单阶段网络YOLO系列算法和两阶段网络RCNN系列算法。YOLO系列算法的第一个版本YOLOv1是Redmon等人2016年提出的，它是在保证检测准确率可观的基础上大幅度增加了检测网络的速度，而后相继提出的YOLO9000和YOLOv3更加有效地解决了YOLOv1网络的局限性，提高了网络检测对成群小目标检测准确率，并优化了目标难以精确定位的问题。尽管单阶段网络的时效性已可以满足工业需求，但其准确率的提升仍然是一个瓶颈。两阶段网络RCNN系列算法被广泛应用在大多数行人检测器中。通过构建区域建议网络(RPN)提取可能含有行人的区域，利用检测网络对目标区域进行判别和分类。两阶段网络的检测精度较单阶段网络有明显提升，但其时效性差。简言之，单纯的基于卷积神经网络算法，在准确性和时效性方面存在鱼与熊掌不可兼得的问题，且单纯的图像也缺乏深度信息，难以进行三维重构。基于激光雷达进行行人检测的难点在于设计一种有效描述行人的激光雷达点云特征。Premebida等提出了一种基于激光雷达的15维特征，用于在城市环境下进行行人检测。这些特征中的一部分特征，例如最小反射距离，聚类后的类内点个数等，Haselich等进一步用于行人检测的相关工作中。Serment等则根据雷达点云集合的3个特征向量构成2个新的平面，把所有的点云投影到这2个平面上。随后，在这2个新的平面上提取特征。然而所有算法对多个重叠目标，例如多个行人构成的人群，分类正确率还不是很高，无法将人群中的每一个独立个体分割开来。简言之，单纯的基于激光雷达的算法，虽然时效性高，但其准确性仍有待提高。现有技术中也公开了一些行人检测的方法。例如专利申请号为CN201610494537.7、专利名称为基于显著性检测和卷积神经网络的行人检测方法及装置的专利文献，选取标签行人和非行人的样本图像，利用卷积神经网络对样本图像进行训练，获取训练好的行人分类模型。然而，卷积神经网络时间复杂度高，检测的时效性难以保证。另外，单纯的二维图像缺乏深度信息，难以得到行人的三维位置信息。又如专利申请号为CN201810481254.8、专利名称为一种激光雷达动态行人检测方法的专利文献，对激光检测的障碍物进行聚类算法分析，并组成特征集，针对类簇中的每个特征训练分类器，以此进行行人检测。然而算法对多个重叠目标，例如多个行人构成的人群，分类正确率还不是很高，检测的准确度难以保证。
技术实现思路
本申请的目的在于提供一种雷达与摄像机融合的行人检测方法和系统，将雷达和摄像机数据融合行人检测，利用硬件优势代替软件计算，降低了软件计算的复杂度，兼顾了准确性和时效性。为实现上述目的，本申请所采取的技术方案为：一种雷达与摄像机融合的行人检测方法，用于对待检测区域内的行人进行识别检测，所述雷达与摄像机融合的行人检测方法，包括：构建用于行人检测的MaskRCNN网络结构，并对MaskRCNN网络结构进行预训练；所述MaskRCNN网络结构包括两部分：第一部分是共享的卷积层，第二部分是对感兴趣区域进行分类的神经网络classifier；接收雷达获取的待检测区域的雷达数据，对雷达数据进行聚类处理得到多种聚类点簇，并根据行人的物理属性对聚类点簇进行过滤，得到针对行人的聚类点簇；接收摄像机获取的待检测区域的图像数据，根据摄像机内外参将针对行人的聚类点簇转换为图像中的像素坐标，并通过卷积变换规则提取图像的感兴趣区域；将提取的感兴趣区域输入至预训练好的MaskRCNN网络结构中进行行人识别，输出行人检测结果。作为优选，所述对MaskRCNN网络结构进行预训练，包括：通过摄像机获取指定区域的若干样本图像，对样本图像进行标注，并且对标注后的样本图像进行平移变换和旋转变换得到新的样本图像，将所有标注后的样本图像以及从公开数据集COCO获取的样本图像按预设比例拆分为训练集和测试集；利用所述训练集迭代优化MaskRCNN网络结构，直至利用所述测试集验证MaskRCNN网络结构满足要求。作为优选，所述利用训练集迭代优化MaskRCNN网络结构，直至利用测试集验证MaskRCNN网络结构满足要求，包括：定义混淆矩阵；根据所述混淆矩阵，以及MaskRCNN网络结构输出的行人检测结果和测试集中样本图像，计算准确率和召回率；若准确率>0.9且召回率>0.9，则结束训练并输出当前的MaskRCNN网络结构；否则重新利用训练集优化MaskRCNN网络结构。作为优选，所述神经网络classifier包括全连接层FClayers，所述全连接层FClayers的输出尺寸为2。本申请还提供一种雷达与摄像机融合的行人检测系统，用于对待检测区域内的行人进行识别检测，所述雷达与摄像机融合的行人检测系统，包括：网络构建模块，用于构建用于行人检测的MaskRCNN网络结构，并对MaskRCNN网络结构进行预训练；所述MaskRCNN网络结构包括两部分：第一部分是共享的卷积层，第二部分是对感兴趣区域进行分类的神经网络classifier；雷达数据处理模块，用于接收雷达获取的待检测区域的雷达数据，对雷达数据进行聚类处理得到多种聚类点簇，并根据行人的物理属性对聚类点簇进行过滤，得到针对行人的聚类点簇；摄像机数据处理模块，用于接收摄像机获取的待检测区域的图像数据，根据摄像机内外参将针对行人的聚类点簇转换为图像中的像素坐标，并通过卷积变换规则提取图像的感兴趣区域；检测模块，用于将提取的感兴趣区域输入至预训练好的MaskRCNN网络结构中进行行人识别，输出行人检测结果。作为优选，所述对MaskRCNN网络结构进行预训练，执行如下操作：通过摄像机获取指定区域的若干样本图像，对样本图像进行标注，并且对标注后的样本图像进行平移变换和旋转变换得到新的样本图像，将所有标注后的样本图像以及从公开数据集COCO获取的样本图像按预设比例拆分为训练集和测试集；利用训练集迭代优化MaskRCNN网络结构，直至利用测试集验证MaskRCNN网络结构满足要求。...

【技术保护点】
1.一种雷达与摄像机融合的行人检测方法，用于对待检测区域内的行人进行识别检测，其特征在于，所述雷达与摄像机融合的行人检测方法，包括：/n构建用于行人检测的Mask RCNN网络结构，并对Mask RCNN网络结构进行预训练；所述Mask RCNN网络结构包括两部分：第一部分是共享的卷积层，第二部分是对感兴趣区域进行分类的神经网络classifier；/n接收雷达获取的待检测区域的雷达数据，对雷达数据进行聚类处理得到多种聚类点簇，并根据行人的物理属性对聚类点簇进行过滤，得到针对行人的聚类点簇；/n接收摄像机获取的待检测区域的图像数据，根据摄像机内外参将针对行人的聚类点簇转换为图像中的像素坐标，并通过卷积变换规则提取图像的感兴趣区域；/n将提取的感兴趣区域输入至预训练好的Mask RCNN网络结构中进行行人识别，输出行人检测结果。/n

【技术特征摘要】
1.一种雷达与摄像机融合的行人检测方法，用于对待检测区域内的行人进行识别检测，其特征在于，所述雷达与摄像机融合的行人检测方法，包括：
构建用于行人检测的MaskRCNN网络结构，并对MaskRCNN网络结构进行预训练；所述MaskRCNN网络结构包括两部分：第一部分是共享的卷积层，第二部分是对感兴趣区域进行分类的神经网络classifier；
接收雷达获取的待检测区域的雷达数据，对雷达数据进行聚类处理得到多种聚类点簇，并根据行人的物理属性对聚类点簇进行过滤，得到针对行人的聚类点簇；
接收摄像机获取的待检测区域的图像数据，根据摄像机内外参将针对行人的聚类点簇转换为图像中的像素坐标，并通过卷积变换规则提取图像的感兴趣区域；
将提取的感兴趣区域输入至预训练好的MaskRCNN网络结构中进行行人识别，输出行人检测结果。


2.如权利要求1所述的雷达与摄像机融合的行人检测方法，其特征在于，所述对MaskRCNN网络结构进行预训练，包括：
通过摄像机获取指定区域的若干样本图像，对样本图像进行标注，并且对标注后的样本图像进行平移变换和旋转变换得到新的样本图像，将所有标注后的样本图像以及从公开数据集COCO获取的样本图像按预设比例拆分为训练集和测试集；
利用所述训练集迭代优化MaskRCNN网络结构，直至利用所述测试集验证MaskRCNN网络结构满足要求。


3.如权利要求2所述的雷达与摄像机融合的行人检测方法，其特征在于，所述利用训练集迭代优化MaskRCNN网络结构，直至利用测试集验证MaskRCNN网络结构满足要求，包括：
定义混淆矩阵；
根据所述混淆矩阵，以及MaskRCNN网络结构输出的行人检测结果和测试集中样本图像，计算准确率和召回率；
若准确率>0.9且召回率>0.9，则结束训练并输出当前的MaskRCNN网络结构；否则重新利用训练集优化MaskRCNN网络结构。


4.如权利要求2所述的雷达与摄像机融合的行人检测方法，其特征在于，所述神经网络classifier包括全连接层FClayers，所述全连接层FClayers的输出尺寸为2。


5.一种雷达与摄像机融合的行人检测...

【专利技术属性】
技术研发人员：刘云鹏，智伟，王谦，朱芸，
申请(专利权)人：中电海康集团有限公司，
类型：发明
国别省市：浙江;33