行人检测方法和装置制造方法及图纸

本发明专利技术实施例提供一种行人检测方法和装置。其中，方法包括：将待检测图片输入至行人检测模型中的区域提取层，输出若干个候选框；将若干个候选框输入至行人检测模型中的特征提取层，输出每一候选框的特征；将各候选框的特征输入至行人检测模型中的判别预测层，输出行人检测结果；其中，行人检测模型是根据样本图片进行训练后获得的；若干个候选框是根据待检测图片多层次的增强特征图获得的；多层次的增强特征图是对待检测图片多层次的原始特征图进行特征增强后获得的；多层次的原始特征图是根据层次化特征提取方法对待检测图片进行预处理后获得的。本发明专利技术实施例提供的行人检测方法和装置，能在保证高检测速度的前提下，提高检测准确性。

Pedestrian detection methods and devices

The embodiment of the present invention provides a pedestrian detection method and device. Among them, the method includes: input the image to be detected into the region extraction layer of the pedestrian detection model, output several candidate boxes; input several candidate boxes into the feature extraction layer of the pedestrian detection model, output the characteristics of each candidate box; input the characteristics of each candidate box into the discriminant prediction layer of the pedestrian detection model, output pedestrian detection results; The model is obtained by training the sample image; several candidate frames are obtained by multi-level enhancement feature map of the image to be detected; multi-level enhancement feature map is obtained by feature enhancement of multi-level original feature map of the detected image; multi-level original feature map is obtained by pre-processing the detected image according to the hierarchical feature extraction method. . The pedestrian detection method and device provided by the embodiment of the present invention can improve the detection accuracy on the premise of ensuring high detection speed.

【技术实现步骤摘要】
行人检测方法和装置
本专利技术实施例涉及计算机视觉
，尤其涉及一种行人检测方法和装置。
技术介绍
行人检测是计算机视觉中的一项重要组成部分，也是许多人工智能应用的基础，例如机动车自动驾驶和辅助驾驶、机器人自主导航和人机交互、无人机追踪、智能监控、视频结构化分析等。在实际应用中，不同运动状态的行人目标需要给予不同的关注程度和后续处理方法。行人检测和一般物体检测有相似之处，其检测步骤均由区域建议、特征提取、模式分类组成；但是行人检测面临着尺度变化范围大、外观和姿态复杂、光照遮挡等外部因素影响等困难。在许多实际应用场景中，对行人检测的速度、精度和模型大小还有较高要求，而在自动驾驶和辅助驾驶任务中，往往还需要对行人的运动趋势进行判断。现有的基于深度学习的一般物体检测方法存在以下问题：单一的区域提取单元难以应对行人大范围的尺度变化；由于深度学习的卷积和池化层步长限制，无法对小尺度行人提取足够的特征；深度学习常用的多层感知器(MLP)参数过多，可能弱化分类结果，也限制了检测速度；不能在行人检测的同时给出行人运动趋势。因而现有行人检测技术难以兼顾检测准确率和检测速度。
技术实现思路
针对现有技术存在的问题，本专利技术实施例提供一种克服上述问题或者至少部分地解决上述问题的行人检测方法和装置。第一方面，本专利技术实施例提供一种行人检测方法，包括：将待检测图片输入至行人检测模型中的区域提取层，输出若干个候选框；将所述若干个候选框输入至所述行人检测模型中的特征提取层，输出每一所述候选框的特征；将各所述候选框的特征输入至所述行人检测模型中的判别预测层，输出行人检测结果；其中，所述行人检测模型是根据样本图片进行训练后获得的；所述若干个候选框是根据所述待检测图片多层次的增强特征图获得的；所述多层次的增强特征图是对所述待检测图片多层次的原始特征图进行特征增强后获得的；所述多层次的原始特征图是根据层次化特征提取方法对所述待检测图片进行预处理后获得的。第二方面，本专利技术实施例提供一种行人检测装置，包括：区域提取模块，用于将待检测图片输入至行人检测模型中的区域提取层，输出若干个候选框；特征提取模块，用于将所述若干个候选框输入至所述行人检测模型中的特征提取层，输出每一所述候选框的特征；判别预测模块，用于将各所述候选框的特征输入至所述行人检测模型中的判别预测层，输出行人检测结果；其中，所述行人检测模型是根据样本图片进行训练后获得的；所述若干个候选框是根据所述待检测图片多层次的增强特征图获得的；所述多层次的增强特征图是对所述待检测图片多层次的原始特征图进行特征增强后获得的；所述多层次的原始特征图是根据层次化特征提取方法对所述待检测图片进行预处理后获得的。第三方面，本专利技术实施例提供一种电子设备，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的行人检测方法。第四方面，本专利技术实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的行人检测方法。本专利技术实施例提供的行人检测方法和装置，通过特征增强获得各层次的增强特征图，根据各层次的增强特征图获得候选框和候选框的特征，根据候选框的特征获取行人检测结果，能使用较小的行人检测模型，在保证高检测速度的前提下，提高检测准确性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为根据本专利技术实施例提供的行人检测方法的流程示意图；图2为根据本专利技术实施例提供的行人检测装置的功能框图；图3为根据本专利技术实施例提供的电子设备的结构框图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。为了克服现有技术的上述问题，本专利技术实施例提供一种行人检测方法和装置，其专利技术构思是，利用一个较小的模型，以较快的速度在输入图像中对行人目标进行检测，提高检测准确率。图1为根据本专利技术实施例提供的行人检测方法的流程示意图。如图1所示，一种行人检测方法包括：步骤S101、将待检测图片输入至行人检测模型中的区域提取层，输出若干个候选框；其中，行人检测模型是根据样本图片进行训练后获得的；若干个候选框是根据待检测图片多层次的增强特征图获得的；多层次的增强特征图是对待检测图片多层次的原始特征图进行特征增强后获得的；多层次的原始特征图是根据层次化特征提取方法对待检测图片进行预处理后获得的。可以理解的是，通过样本图片对模型进行训练，可以获得行人检测模型。需要说明的是，针对行人尺度变化幅度大的困难，可以通过层次化特征提取方法对待检测图片进行预处理，获得层次深浅不同的多个层次的特征图，作为多层次的原始特征图。对于每个层次，均可以包括多幅特征图。层次化特征提取方法，可以采用卷积神经网络，或者先提取浅层特征、再根据浅层特征提取中间层特征(中间层特征可以为至少一层)、最后根据中间层特征提取深层特征。若采用卷积神经网络进行层次化特征提取，该卷积神经网络包括多组卷积层，每组至少包括一个卷积层，相邻两组卷积层之间还可以包括池化层、归一化层和残差连接等辅助结构，将最后一组卷积层的输出作为最深层次的特征，可以将最后一组卷积层之前的若干组卷积层的输出分别作为其他层次的特征，也可以分别将至少两组卷积层的输出进行组合获得其他层次的特征。任意两组卷积层所包括的卷积层的数量可以相同或不同。例如，卷积神经网络包括5组卷积层；需要输出2层级的原始特征图时，可以由第5组卷积层(从输入至输出方向)输出深层次的原始特征图，由第4组卷积层输出浅层次的原始特征图；需要输出5层次的原始特征图时，可以由第1至5组卷积层分别输出层级由浅至深的5层次的原始特征图；需要输出3层级的原始特征图时，可以由第5组卷积层输出最深层次的原始特征图，将第1组卷积层的输出和第2组卷积层的输出组合为最浅层级的原始特征图，将第3组卷积层的输出和第4组卷积层的输出组合为中间层级的原始特征图。需要说明的是，现有技术为了提高检测准确率，对于卷积神经网络，通常采用加深、加宽卷积层实现，常见深度可以达到52、101、152层，但这样会牺牲检测速度，导致获得检测结果的耗时非常长。而本专利技术实施例不加深、加宽卷积层，总卷积层可以低于30个(如16～28个)，不会导致检测速度的明显下降，采用对原始特征图进行特征增强的方法，使得增强特征图能更好地反映待检测图片的全局特征和/或局部特征，从而提高检测准确率。进行特征增强，可以采用任一种特征增强方法。例如，结合上下文模型、特征包(Bag-of-feature，简称Bo本文档来自技高网...

【技术保护点】
1.一种行人检测方法，其特征在于，包括：将待检测图片输入至行人检测模型中的区域提取层，输出若干个候选框；将所述若干个候选框输入至所述行人检测模型中的特征提取层，输出每一所述候选框的特征；将各所述候选框的特征输入至所述行人检测模型中的判别预测层，输出行人检测结果；其中，所述行人检测模型是根据样本图片进行训练后获得的；所述若干个候选框是根据所述待检测图片多层次的增强特征图获得的；所述多层次的增强特征图是对所述待检测图片多层次的原始特征图进行特征增强后获得的；所述多层次的原始特征图是根据层次化特征提取方法对所述待检测图片进行预处理后获得的。

【技术特征摘要】
1.一种行人检测方法，其特征在于，包括：将待检测图片输入至行人检测模型中的区域提取层，输出若干个候选框；将所述若干个候选框输入至所述行人检测模型中的特征提取层，输出每一所述候选框的特征；将各所述候选框的特征输入至所述行人检测模型中的判别预测层，输出行人检测结果；其中，所述行人检测模型是根据样本图片进行训练后获得的；所述若干个候选框是根据所述待检测图片多层次的增强特征图获得的；所述多层次的增强特征图是对所述待检测图片多层次的原始特征图进行特征增强后获得的；所述多层次的原始特征图是根据层次化特征提取方法对所述待检测图片进行预处理后获得的。2.根据权利要求1所述的行人检测方法，其特征在于，获取所述多层次的增强特征图的具体步骤包括：对所述多层次的原始特征图进行特征降维，获取多层次的降维特征图；对于所述多层次的降维特征图中的每一非最深层次降维特征图，根据层次深于所述非最深层次降维特征图的降维特征图生成掩膜；根据掩膜和所述非最深层次降维特征图，生成所述非最深层次降维特征图对应的增强特征图。3.根据权利要求2所述的行人检测方法，其特征在于，所述输出若干个候选框的具体步骤包括：对于每一所述增强特征图，根据区域提取网络获取候选框。4.根据权利要求3所述的行人检测方法，其特征在于，将所述若干个候选框输入至所述行人检测模型中的特征提取层，输出每一所述候选框的特征的具体步骤包括：对于每一所述候选框，根据所述候选框的坐标，裁剪相应的原始特征图、降维特征图或增强特征图，获取所述候选框的特征。5.根据权利要求1至4任一所述的行人检测方法，其特征在于，将各所述候选框的特征输入至所述行人检测模型中的判别预测层，输出行人检测结果的具体步骤包括：对于每一所述候选框，将所述候选框的特征输入至所述判别预测层中的级联分类器；对于本级分类器，根据所述候选框的特征输出所述候选框包含行人的评分；若判断获知已评分的各级分类器的评分之和大于预设的判别阈值，则将所述候选框的特征输入至下一级分类器；若判断获知已评分的各级...

【专利技术属性】
技术研发人员：王生进，王晗，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11