车载热成像行人检测RoIs提取方法和装置制造方法及图纸

技术编号:21185202 阅读:102 留言:0更新日期:2019-05-22 15:49
本发明专利技术公开车载热成像行人检测RoIs提取方法与装置。所述方法包括通过十字扫描算法求取图像像素的低、高阈值,利用自适应双阈值分割算法实现RoIs生成;离线统计数据集中行人目标的空间灰度分布获得RoIs对称性判别指标和在线度量RoIs空间灰度分布,滤除不具备对称性的RoIs;离线统计数据集中行人目标的动态特性获得RoIs动态性判别指标和在线度量RoIs动态特性,滤除不具备动态性的RoIs。所述装置包括:RoIs生成模块和RoIs过滤模块;所述过滤模块包括第一级过滤器和第二级过滤器。本方法能够在兼顾行人检测召回率的前提下,提高行人检测精度并降低系统计算开销。

RoIs Extraction Method and Device for Vehicle-borne Thermal Imaging Pedestrian Detection

The invention discloses a method and device for extracting RoIs from vehicle thermal imaging pedestrian detection. The method includes obtaining low and high thresholds of image pixels by cross-scan algorithm, using adaptive double thresholding segmentation algorithm to generate RoIs, obtaining RoIs symmetry discriminant index and measuring RoIs spatial gray distribution online from the spatial gray distribution of pedestrian targets in off-line statistical data set, filtering out non-symmetry RoIs, and dynamic characteristics of pedestrian targets in off-line statistical data set. The dynamic discriminant index of RoIs and the online measurement of RoIs dynamic characteristics are obtained to filter out the non-dynamic RoIs. The device comprises a RoIs generating module and a RoIs filtering module, and the filtering module comprises a first stage filter and a second stage filter. This method can improve the accuracy of pedestrian detection and reduce the computational cost of the system on the premise of taking into account the recall rate of pedestrian detection.

【技术实现步骤摘要】
车载热成像行人检测RoIs提取方法和装置
本专利技术涉及行人检测,更具体地,涉及车载热成像行人检测RoIs提取方法和装置。
技术介绍
车载热成像行人检测技术指使用红外热像仪作为视觉传感器,捕获车载交通场景的图像/视频,在计算机或嵌入式平台使用机器学习等方法,识别图像/视频中存在的所有行人目标,并以最小外接矩形框的坐标信息标识每个行人在图像上的位置。此过程包含两个关键阶段:RoIs提取和RoIs分类检测,其中影响检测精度和计算开销的重要因素是RoIs提取的质量和数量。在RoIs提取环节,生成RoIs的质量对后续分类检测环节影响较大,为了获得质量更高的RoIs,需要研究效果较好的RoIs生成算法。此外,为了满足高召回率要求,通常的RoIs提取算法获得较多数量的RoIs,但是图像中的行人目标属于稀有事物,即大部分RoIs仅包含背景信息,且其中一些背景区域的信息和行人的特征差异很大,如果对所有RoIs都使用分类器识别,则计算开销不容乐观,因此需要提出既能减少待检测RoIs数量又能兼顾召回率的方法。相对计算机而言,车载嵌入式平台具有明显的计算性能瓶颈,很多已发表的行人检测方法,特别是运用深度学习算法的技术,无法应用到此类平台,对实际应用的检测率和实时性造成影响。例如德州仪器公司生产的DM6437车载平台,该平台具有较强的稳定性,但是其处理器为单核、主频最高处理速度每秒仅有600Mhz,基于“HOG特征+线性SVM”分类器对单个RoIs的处理时间约为3毫秒,在计算性能方面远远无法和普通计算机相比。在行人检测推广到实际应用的过程中,需要找到权衡计算开销和检测性能的解决方案。在RoIs提取阶段,目前发表的一部分方法是根据图像中目标的特性规律筛选行人可能存在的前景区域。例如:现有技术1:GeJ,LuoY,TeiG.Real-TimePe`estrianDetectionandTrackingatNighttimeforDriver-AssistanceSystems.[J].IntelligentTransportationSystemsIEEETransactionson,2009,10(2):283-298。根据同一水平线上行人目标像素相较于周围背景亮度更高的经验,通过计算每个像素局部邻域内的分割阈值上限和下限,对近红外图像提取RoIs。现有技术2:UijlingsJRR,SandeKEAVD,GeversT,etal.SelectiveSearchforObjectRecognition[J].InternationalJournalofComputerVision,2013,104(2):154-171。提出选择性搜索方法,主要思想是根据可见光图像不同的颜色空间先对图像进行小的相似区域分割,再根据区域合并算法从颜色、纹理、大小等方面将相似度高的小区域合并为大区域。现有技术3:ChengMM,LinWY.BING:BinarizedNormedGradientsforObjectnessEstimationat300fps[J]//IEEEConferenceonComputerVisionandPatternRecognition,2014,414:3286-3293。提出BING方法,根据局部区域内闭合轮廓,快速寻找包含完整物体的RoIs。现有技术1生成的RoIs存在行人目标与干扰物体黏连的问题,并且现有技术2-3方法平均在单幅图像中得到约2000个RoIs,对后续分类器性能要求很高;现有技术3方法在计算机中的单幅图像处理时间约为0.003s,但是要实现96%以上的召回率要求1000个以上的RoIs,仍然对实时性造成威胁。但是现有技术1-3提供了一种值得参考的思路,即通过计算开销相对小的方法获取RoIs,然后提前滤除一些非行人RoIs,达到减少待检测RoIs数量的目的。目前公开可用的热成像行人检测基准数据集非常稀缺,本专利技术使用实验室发布的数据集SCUTDataset(http://www2.scut.edu.cn/cv/scut_fir_pedestrian_dataset/)。该数据集面向广州市的交通道路场景,包含100个红外热成像视频,总帧数大约为20万,标注的行人Ground-Truth信息数量有40万左右,具有不同行人目标类型,如“单一走路行人、单一骑车行人”等。与其他公开的热成像行人检测数据集如KAISTDataset相比,具有图像帧数、Ground-Truth信息类型和数量、道路场景类型等方面的优势。综上所述,虽然车载热成像行人检测方法取得了一定成果,但是由于计算瓶颈和分类器性能之间的实时性和准确率权衡问题,许多方法不能发挥正常性能甚至无法使用。为了满足实际应用的要求,迫切需要在检测精度、检测时间方面做出进一步改进。
技术实现思路
本专利技术提供车载热成像行人检测RoIs提取方法和装置,旨在促进解决受计算性能瓶颈和样本质量缺陷导致的检测精度下降和无法满足实时性等问题。本专利技术通过如下技术方案实现。为了达到上述专利技术目的,根据本专利技术提供的感兴趣区域(RegionsofInterest,RoIs)提取方法,包括:通过十字扫描算法求取图像像素的低、高阈值,利用自适应双阈值分割算法实现RoIs生成,所述自适应双阈值分割算法属业界公认的专用算法;离线统计数据集中行人目标的空间灰度分布获得RoIs对称性判别指标,在线度量RoIs空间灰度分布,滤除图像中不具备对称性的RoIs;离线统计数据集中行人目标的动态特性获得RoIs动态性判别指标,在线度量RoIs动态特性,滤除图像中不具备动态性的RoIs;将保留的RoIs送入分类器进行精细检测。10、根据本专利技术的另一方面,十字扫描算法包括:从图像左上角起逐像素扫描输入的热成像图像,计算当前像素(表示为(x,y),其中坐标以图像左上角为基准,x表示横坐标取值,y表示纵坐标取值的线性邻域均值(表示为S(x,y));进一步地,计算当前(x,y)的Haar-like算子(表示为H(x,y));进一步地,求取当前像素的低阈值和高阈值。使用自适应双阈值分割算法生成RoIs,并记录RoIs的横坐标x、纵坐标y、宽w和高h。根据本专利技术的另一方面,计算当前(x,y)的线性邻域均值S(x,y)包括:以当前(x,y)为起点,水平方向向左、向右截取w个像素,计算所界定范围内的(2w+1)个像素的灰度值的均值;如果当前(x,y)处于图像边缘,计算S(x,y)时用以(x,y)为中心的对称位置的像素灰度值填补向左或向右缺失的邻域像素的灰度值。根据本专利技术的另一方面,计算当前(x,y)的Haar-like算子H(x,y)包括:分别以(x-1,y)、(x+1,y)为起点,竖直方向向上、向下各截取h个像素,在所界定范围内计算向下h个像素的灰度值之和与向上h个像素的灰度值之和的差,并计算这个差值的均值;如果当前(x,y)处于图像边缘,计算H(x,y)时以(x,y)右侧或左侧邻域的像素灰度值填补向上或向下缺失的邻域像素的灰度值。根据本专利技术的另一方面,计算当前(x,y)的低阈值和高阈值,低阈值指当前(x,y)的S(x,y)、H(x,y)与偏移量(表示为α)之和,高阈值指低阈值与偏移量(表示为β)之和;进一步地,偏移本文档来自技高网
...

【技术保护点】
1.车载热成像行人检测RoIs提取方法,其特征在于,通过十字扫描算法求取图像像素的低、高阈值,利用自适应双阈值分割算法实现RoIs的生成;离线统计数据集中行人目标的空间灰度分布获得RoIs对称性判别指标,在线度量RoIs空间灰度分布,滤除图像中不具备对称性的RoIs;离线统计数据集中行人目标的动态特性获得RoIs动态性判别指标,在线度量RoIs动态特性,滤除图像中不具备动态性的RoIs。

【技术特征摘要】
1.车载热成像行人检测RoIs提取方法,其特征在于,通过十字扫描算法求取图像像素的低、高阈值,利用自适应双阈值分割算法实现RoIs的生成;离线统计数据集中行人目标的空间灰度分布获得RoIs对称性判别指标,在线度量RoIs空间灰度分布,滤除图像中不具备对称性的RoIs;离线统计数据集中行人目标的动态特性获得RoIs动态性判别指标,在线度量RoIs动态特性,滤除图像中不具备动态性的RoIs。2.根据权利要求1所述的RoIs提取方法,其特征在于,所述十字扫描算法包括:从图像左上角起逐像素扫描输入的热成像图像,计算当前像素(x,y)坐标取值的线性邻域均值S(x,y),其中坐标以图像左上角为基准,x表示横坐标,y表示纵坐标;计算当前(x,y)的Haar-like算子H(x,y);求取当前像素的低阈值和高阈值;使用自适应双阈值分割算法生成RoIs,并记录RoIs的横坐标x、纵坐标y、宽w和高h。3.根据权利要求2所述的RoIs提取方法,其特征在于,所述线性邻域均值S(x,y)以当前(x,y)为起点,水平方向向左、向右截取w个像素,计算所界定范围内的(2w+1)个像素的灰度值的均值;如果当前(x,y)处于图像边缘,计算S(x,y)时用以(x,y)为中心的对称位置的像素灰度值填补向左或向右缺失的邻域像素的灰度值,所述计算当前(x,y)的Haar-like算子H(x,y)分别以(x-1,y)、(x+1,y)为起点,竖直方向向上、向下分别截取h个像素,在所界定范围内计算向下h个像素的灰度值之和与向上h个像素的灰度值之和的差,并计算这个差值的均值;如果当前(x,y)处于图像边缘,计算H(x,y)时以(x,y)右侧或左侧邻域的像素灰度值填补向上或向下缺失的邻域像素的灰度值。4.根据权利要求2所述的RoIs提取方法,其特征在于,所述低阈值指当前(x,y)的S(x,y)、H(x,y)与偏移量a之和;所述高阈值指低阈值与偏移量b之和;所述偏移量a、b为整数。5.根据权利要求1所述的RoIs提取方法,其特征在于,所述对称性判别指标是以SCUTDataset的训练集S0-S5作为基准数据集,离线统计数据集中行人的目标最大池化特征,并截取最大池化特征的95%置信度区间的上界截点;所述在线度量RoIs空间灰度分布包括纵向五等分RoIs或已标注行人目标的外接矩形,从上至下1/5、2/5和2/5占比区域分别定义为头部、上躯干和腿部;对头部、上躯干和腿部分别求取部位池化特征,从三个部位池化特征中选取最大值作为RoIs最大池化特征;所述滤除图像中不具备对称性的RoIs的过程是逐个RoIs求最大池化特征与对称性判别指标的差值,差值>0则滤除图像中不具备对称性的RoIs。6.根据权利要求5所述的RoIs提取方法,其特征在于,所述求取RoIs的部位池化特征是基于RoIs水平对称轴划分各部位为大小相等...

【专利技术属性】
技术研发人员:刘琼罗晴徐哲炜
申请(专利权)人:华南理工大学
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1