面向车载热成像行人检测的分类器训练方法和装置制造方法及图纸

本发明专利技术公开面向车载热成像行人检测的分类器训练方法和装置。分类器训练方法指生成强化分类器训练样本的方法：结合正样本标注信息和均衡化技术生成增强正样本，使用聚类方法分析非行人背景图像块的信息分布，辅助筛选不同类别的增强负样本；通过调整亮度和边界信息对增强正负样本进行预处理；通过聚类正样本获得远、中、近三个距离的样本尺度划分标准，将预处理后的增强正负样本分为三个训练集，分别训练适于分类远、中、近距离行人目标的三个分类器。本方法能够在兼顾行人检测准确率的前提下，降低行人检测的计算开销和增强分类器的场景适应性。分类器训练装置包括增强正负样本生成模块、增强正负样本预处理模块、训练集划分与分类器训练模块。

Classifier training method and device for vehicle borne thermal imaging pedestrian detection

The invention discloses a classifier training method and device for vehicle borne thermal imaging pedestrian detection. Classifier training method refers to the method of generating enhanced classifier training samples: combining positive sample annotation information and equalization technology to generate enhanced positive samples, using clustering method to analyze the information distribution of non-pedestrian background image blocks, assisting in screening different categories of enhanced negative samples; by adjusting brightness and boundary information to enhance positive and negative samples. Samples are pre-processed, and the standard of sample size division of three distances is obtained by clustering positive samples. The pre-processed positive and negative samples are divided into three training sets, which train three classifiers suitable for classifying distant, middle and close pedestrian targets. This method can reduce the computational cost of pedestrian detection and enhance the scene adaptability of the classifier while taking into account the accuracy of pedestrian detection. The classifier training device includes an enhanced positive and negative sample generation module, an enhanced positive and negative sample pretreatment module, a training set partition module and a classifier training module.

【技术实现步骤摘要】
面向车载热成像行人检测的分类器训练方法和装置
本专利技术涉及行人检测，更具体地，涉及面向车载热成像行人检测的分类器训练方法和装置。
技术介绍
车载热成像行人检测技术指通过红外热像仪作为视觉传感器，捕获车载交通场景的图像/视频，在计算机或嵌入式平台使用机器学习等方法，识别图像/视频中存在的所有行人目标，并以最小外接矩形框的坐标信息标识每个行人在图像上的位置。此过程包含两个关键阶段：RoIs(RegionsofInterest)提取和RoIs分类检测，其中影响计算开销和准确率的重要因素是提取的RoIs数量和所使用分类器的性能。在RoIs分类检测环节，一般使用机器学习方法或近年来热门的深度学习方法，构造分类器检测提取的RoIs为行人目标或背景。为了提升准确率，通常分类器模型较为复杂，如模型融合方法或深度学习模型，相应地增加计算开销。能否在提升分类器性能时尽可能减少计算开销，是一个值得关注的研究点。相对计算机而言，车载嵌入式平台具有明显的计算性能瓶颈，很多已发表的行人检测方法，特别是运用深度学习算法的技术，无法应用到此类平台，对实际应用的检测率和实时性造成影响。例如德州仪器公司生产的DM6437车载平台，该平台具有较强的稳定性，但是其处理器为单核、主频最高处理速度每秒仅有600Mhz，基于“HOG特征+线性SVM”分类器对单个RoIs的处理时间约为3毫秒，在计算性能方面远远无法和普通计算机相比。在行人检测推广到实际应用的过程中，需要找到权衡计算开销和检测性能的解决方案。在RoIs提取阶段，目前发表的一部分方法是根据图像中目标的特性规律筛选行人可能存在的前景区域。例如：现有技术1：GeJ,LuoY,TeiG.Real-TimePedestrianDetectionandTrackingatNighttimeforDriver-AssistanceSystems.[J].IntelligentTransportationSystemsIEEETransactionson,2009,10(2):283-298。根据同一水平线上行人目标像素相较于周围背景亮度更高的经验，通过计算每个像素局部邻域内的分割阈值上限和下限，对近红外图像提取RoIs。在RoIs分类检测阶段，数量、质量合格的正负样本是提升分类器性能的一种有效途径。目前公开可用的热成像行人检测基准数据集非常稀缺，本专利技术使用实验室发布的数据集SCUTDataset(http://www2.scut.edu.cn/cv/scut_fir_pedestrian_dataset/)。该数据集面向广州市的交通道路场景，包含100个红外热成像视频，总帧数大约为20万，标注的行人Ground-Truth信息数量有40万左右，具有不同行人目标类型，如“单一走路行人、单一骑车行人”等。与其他公开的热成像行人检测数据集如KAISTDataset相比，具有图像帧数、Ground-Truth信息类型和数量、道路场景类型等方面的优势。目前发表的行人检测论文大多在特征选择和分类器设计方面提出改进，如具有代表性的方向梯度直方图(HistogramsofOrientedGradients,HOG)特征；将集成通道特征(AggregatedChannelFeature,ACF)和热成像信息进行融合，提出的增强型ACF特征；支持向量机(SupportVectorMachine,SVM)、自适应增强(AdaptiveBoosting,Adaboost)等机器学习方法训练的分类器；以及近年发布的一些文献将深度学习算法应用到行人检测中，例如：现有技术2：ZhangL,LinL,LiangX,etal.IsFasterR-CNNDoingWellforPedestrianDetection？[J].2016:443-457。提出“RPN+BoostedForests”的检测方法，对可见光图像的MR降低到9.6％，效果十分显著，但是无法满足实时性。现有技术3：Girshick,Ross.“Fastr-cnn.”ProceedingsoftheIEEEInternationalConferenceonComputerVision.2015。从样本增强的角度考虑，在训练Fastr-cnn分类器时，将完整图像以50％概率水平翻转，并得出“倍增训练数据，能够有2％-3％的准确度提升”的结论。现有技术4：ZhangS,BenensonR,OmranM,etal.TowardsReachingHumanPerformanceinPedestrianDetection.[J].IEEETransactionsonPatternAnalysis&MachineIntelligence,2017,PP(99):1-1。提出对样本训练集的标注信息进行人工对齐校正的策略，并表明使用高质量样本进行训练可提高整体检测质量。可以看出，现有技术3和4是从样本增强的角度考虑，并且取得较好的性能。因此以目前可获得的训练样本数据为基础，聚焦于样本在数量、分布和质量方面的增强，用以提升分类器性能且不增加计算开销，是值得关注的研究点。综上所述，虽然车载热成像行人检测方法取得了一定成果，但是由于计算瓶颈和分类器性能之间的实时性和准确率权衡问题，许多方法不能发挥正常性能甚至无法使用。为了满足实际应用的要求，迫切需要在检测时间、检测精度方面做出进一步改进。
技术实现思路
本专利技术的目的在于提供面向车载热成像行人检测的分类器训练方法和装置，旨在促进解决受计算性能瓶颈和样本质量缺陷导致的准确率下降和无法满足实时性等问题。本专利技术通过如下技术方案实现。为了达到上述专利技术目的，根据本专利技术提供面向车载热成像行人检测的分类器训练方法，所述方法包括：结合正样本标注信息和均衡化技术生成增强正样本，使用聚类方法分析非行人背景图像块的信息分布，辅助筛选不同类别的增强负样本；通过调整亮度和边界信息对增强正负样本进行预处理；以及通过聚类预处理的增强正样本获得远、中、近三个距离的样本尺度划分标准，将预处理后的增强正负样本分为三个训练集，分别训练适于分类远、中、近距离行人目标的三个分类器。根据本专利技术的一方面，生成增强正样本包括：基于热成像行人检测数据集，根据标注的行人Ground-Truth边界框和预设指标提取对应图像块信息，获得原始正样本，使用平台直方图均衡化方法对原始正样本的亮度信息逐一进行处理，得到扩展正样本，增强正样本包括原始正样本和扩展正样本。根据本专利技术的另一方面，生成增强负样本包括：在热成像行人检测数据集的完整图像中提取图像块信息，去除其中与行人Ground-Truth边界框的重合度(IntersectionoverUnion,IOU)高于30％且尺寸异常的RoIs，保留的图像块记为源负样本，使用K-mean方法对源负样本进行聚类，根据计算得到的比例在聚类结果中均匀随机选取图像块，构成增强负样本。根据本专利技术的另一方面，对增强正负样本进行预处理包括：使用像素Y通道提取方法将增强正负样本转换为低计算开销的单通道图像格式；采用边界缩放策略调整增强正负样本的边界坐标数据，减小训练样本和实际提取RoIs的信息差异程度；进一步地，使用伽马校正方法处理增强正负样本，提高样本本文档来自技高网...

【技术保护点】
1.一种面向车载热成像行人检测的分类器训练方法，其特征在于，所述方法包括：结合正样本标注信息和均衡化技术生成增强正样本，使用聚类方法分析非行人背景图像块的信息分布，辅助筛选不同类别的增强负样本；通过调整亮度和边界信息对增强正负样本进行预处理；以及通过聚类预处理的增强正样本获得远、中、近三个距离的样本尺度划分标准，将预处理后的增强正负样本分为三个训练集，分别训练适于分类远、中、近距离行人目标的三个分类器。

【技术特征摘要】
1.一种面向车载热成像行人检测的分类器训练方法，其特征在于，所述方法包括：结合正样本标注信息和均衡化技术生成增强正样本，使用聚类方法分析非行人背景图像块的信息分布，辅助筛选不同类别的增强负样本；通过调整亮度和边界信息对增强正负样本进行预处理；以及通过聚类预处理的增强正样本获得远、中、近三个距离的样本尺度划分标准，将预处理后的增强正负样本分为三个训练集，分别训练适于分类远、中、近距离行人目标的三个分类器。2.根据权利要求1所述的分类器训练方法，其特征在于，生成增强正样本包括：基于热成像行人检测数据集，根据标注的行人Ground-Truth边界框和预设指标提取对应图像块信息，获得原始正样本，使用平台直方图均衡化方法对原始正样本的亮度信息逐一进行处理，得到扩展正样本，增强正样本包括原始正样本和扩展正样本。3.根据权利要求1所述的分类器训练方法，其特征在于，生成增强负样本包括：在热成像行人检测数据集的完整图像中提取图像块信息，去除其中与行人Ground-Truth边界框的重合度(IntersectionoverUnion,IOU)高于30％且尺寸异常的RoIs，保留的图像块记为源负样本，使用K-mean方法对源负样本进行聚类，根据计算得到的比例在聚类结果中均匀随机选取图像块，构成增强负样本。4.根据权利要求1所述的分类器训练方法，其特征在于，对增强正负样本进行预处理包括：使用像素Y通道提取方法将增强正负样本转换为低计算开销的单通道图像格式；采用边界缩放策略调整增强正负样本的边界坐标数据，减小训练样本和实际提取RoIs的信息差异程度；进一步地，使用伽马校正方法处理增强正负样本，提高样本Y通道信息的动态范围和拉伸对比度。5.根据权利要求1所述的分类器训练方法，其特征在于，使用K-mean方法对预处理的增强正样本进行聚类分析，设定种类数量k＝3，获得基于像素高度的远、中、近三个距离的样本尺度划分标准；将增强正负样本细分为三个独立的训练集...

【专利技术属性】
技术研发人员：彭绍武，许瑞霖，刘琼，吴继平，
申请(专利权)人：广州飒特红外股份有限公司，
类型：发明
国别省市：广东,44