一种基于身体关键点检测的真实场景遮挡行人检测网络及其检测方法技术

本发明专利技术提出了一种基于身体关键点检测的真实场景遮挡行人检测网络及其检测方法，属于计算机视觉的行人检测技术领域。所述检测网络包括关键点检测网络、身体区域分割和图像合成模块以及行人分类网络。所述检测方法为：利用行人检测数据库训练生成基准行人检测器，通过基准行人检测器获取候选区域图像。通过关键点检测网络检测候选区域图像中人体身体的关键点信息，将关键点信息作为身体关键点真值，进而训练关键点检测网络。利用身体区域分割和图像合成模块获得合成图像；将合成图像输入至行人分类网络中指导训练行人分类网络。行人分类网络根据输入的合成图像判别输入图像是行人图像还是背景图像，完成真实场景中遮挡行人的检测。

【技术实现步骤摘要】
一种基于身体关键点检测的真实场景遮挡行人检测网络及其检测方法
本专利技术涉及一种基于身体关键点检测的真实场景遮挡行人检测网络及其检测方法，属于计算机视觉的行人检测

技术介绍
随着我国经济的发展，城镇化的推进，导致城市人口数量激增，在车站、地铁、商场等许多公共场所聚集的人口数量巨大，很容易发生安全事故。因此，及时地检测客流情况，对行人进行检测分析显得十分重要。近年来，基于深度学习的行人检测技术，特别是真实场景下存在遮挡的行人检测技术正是在这种背景下出现并迅速发展的针对行人识别和定位的一种解决方案。行人检测技术作为图像处理和模式识别领域的一个分支，一直是计算机视觉领域中一个非常重要的研究课题。同时，它在一些实际应用中扮演着关键技术的角色，例如，行人检索、人口计数、自动驾驶，以及智能搜寻系统等，对其展开深入的研究不仅具有广泛的应用需求和前景，对于解决计算机视觉领域中的其它问题也有重大的借鉴意义。近些年，特别是深度学习(DeepLearning)兴起之后，国内外的一些科研机构、高校、企业投入了巨大的人力、物力，对行人检测开展了相关的研究工作，其中在理论研究和实际应用中都取得了一定的成果，并提出了一些行人检测的智能监控系统。尽管行人检测关键技术得到了迅猛发展，国内外学者在许多相关领域也都取得了丰硕的研究成果，但是现阶段的研究大多是在实验室的摆拍图像上或者在较为理想的图片上进行的，这样的图像具有如下特点：第一，行人目标较大，且位于图像正中央；第二，图像背景较为干净，且不存在遮挡问题。然而在真实场景中的行人图像，行人通常极其微小而且背景较为复杂，同时会出被其他物体遮挡或者出现行人间相互遮挡的现象。此外，还会受到尺度、姿态、光照等诸多因素的影响。如何在这种真实场景中以及被这些影响因素的影响下实现遮挡行人的精准检测，成为急需解决的一个热点问题。目前为止，行人检测技术在其发展的过程中主要经历了两个阶段：传统的行人检测方法和基于深度学习的行人检测方法。由于基于深度学习的行人检测方法不管在检测准确率还是检测效率上都远远高于传统的行人检测方法，所以本专利技术不再赘述传统的行人检测方法。针对基于深度学习的行人检测方法，主要分为两类：两阶行人检测框架和一阶行人检测框架。在两阶行人检测框架中，对于一张被测图像，第一阶段主要生成行人候选区域，一般情况下会生成大约几千个最可能包含行人的候选区域，常用方法有SelectiveSearch,EdgeBoxes,RPN等；第二阶段对这些生成的候选区域进行进一步的分类(Classification)和位置回归(Regression)。这一类方法主要是从一般物体检测方法Fast-RCNN和Faster-RCNN改进而来。在一阶行人检测框架中，是直接对锚点(Anchor)进行分类和位置回归预测，代表性的方法主要有基于YOLO/SSD的行人检测方法。现阶段的这些行人检测方法虽然取得了一定的进展，但是在真实场景中的遮挡行人的检测效果远远不能令人满意。导致现阶段的基于深度学习的行人检测方法不适用于真实场景中遮挡行人检测的主要原因为：现实中的场景千变万化，再加上行人的非刚性特点而使得的行人的姿势变化多端，同时真实场景中的绝大多数行人都会被其他物体所遮挡或者出现行人间相互遮挡的现象，如图1所示。上述诸多因素导致目前还没有一种有效的方法可以解决真实场景中行人严重遮挡的问题。对于行人检测中的遮挡问题，目前常用的一个解决方法是分别训练一系列的检测器，每一个检测器只用来检测身体的某个特定部位。例如，有的工作分别训练45个检测器，并将行人的身体划分为45部分，每个检测器只负责检测行人身体的某一个特定部位，如果检测到的部位的数量大于一定的阈值，则认为成功检测到一个遮挡的行人；还有的工作利用LSTM(LongShortTermMemory)机制来获取行人身体各部分区域之间的关系来解决行人检测中的遮挡问题。但是，现存的解决遮挡行人检测的方法中，这些行人身体各部分的划分都是事先人为定义的，这在一定程度上影响到了遮挡行人检测的识别率。同时，这些工作中的针对行人身体各部位区域检测的检测器都是单独训练的，这大大降低了行人检测的效率。针对上述真实场景下遮挡行人检测存在的问题，本专利技术提出了一种基于身体关键点检测的真实场景遮挡行人检测方法，首先检测行人的一些身体关键点，然后通过检测到的行人身体关键点将行人身体自动的划分为不同的语义部分，将截取出来的行人身体语义部分图像与被遮挡的行人候选区域图像在图像级别上拼成一张大的图像来训练一个针对遮挡行人的行人检测器，从而解决真实场景下行人检测中的遮挡问题，其核心出发点是，第一通过行人身体关键点的检测来自动划分生成行人身体各个语义区域图像，第二利用对行人身体部分区域的检测来实现真实场景中遮挡行人的检测。本专利技术突破了现有深度学习方法不适用于真实场景中的遮挡行人检测的问题，克服了现阶段的行人检测方法在识别真实场景中被遮挡行人时正确率低的困难，促进了基于深度学习的行人检测技术在真实场景行人检测中的应用。
技术实现思路
本专利技术主要针对现有的基于深度学习的行人检测方法的不足，克服了现有的这些行人检测方法不适用于真实场景中的遮挡当行人检测的困难，解决了现阶段的行人检测方法在真实场景中遮挡行人识别时正确率低的问题，提供了一种基于身体关键点检测的真实场景遮挡行人检测网络和检测方法。使用基于身体关键点检测的真实场景遮挡行人检测方法可以实现真实场景中被遮挡的行人检测，检测对象不止局限于背景较为简单且不存在遮挡的行人，更不局限于实验室理想情况下的摆拍图片，尤其是使得真实场景中行人被其他物体遮挡或者存在行人间相互遮挡间的行人的检测成为可能。所采取的技术方案如下：一种基于身体关键点检测的真实场景遮挡行人检测网络，所述检测网络包括关键点检测网络、身体区域分割和图像合成模块以及行人分类网络；关键点检测网络，用于检测行人身体的关键点信息，并将所述关键点信息输入至身体区域分割和图像合成模块；身体区域分割和图像合成模块，用于通过检测到的行人身体的关键点信息将行人身体自动划分成不同的语义区域，并利用语义区域生成合成图像输入至行人分类网络中完成行人分类网络的训练；行人分类网络，用于判断所述合成图像是行人图像还是背景图像。进一步地，所述行人分类网络包括Resnet50主网络结构和两个平行的全连接层。一种基于身体关键点检测的真实场景遮挡行人检测方法，所述检测方法包括：步骤一、利用行人检测数据库中的训练样本训练生成一个基准行人检测器；然后，通过所述基准行人检测器对所述行人检测数据库中的样本图像进行截取获得候选区域图像；步骤二、通过关键点检测网络检测所述候选区域图像中人体身体的关键点信息，将所述关键点信息作为身体关键点真值，进而训练关键点检测网络；步骤三、所述身体区域分割和图像合成模块通过关键点信息将行人身体自动划分成不同的语义区域并获取精确的各语义区域的边界框；然后，根据边界框将身体各部分区域从输入的候选区域图像中截取出来，并通过缩放形式进行图像尺寸统一，获得与所述语义区域对应的身体区域图像；最后，将所述身体区域图像与所述候选区域图像在图像级别上合成一张图像，进而获得合成图像；将所述合成图像输入至行人分类网络中指导训练行人分类网络；步本文档来自技高网...

【技术保护点】
1.一种基于身体关键点检测的真实场景遮挡行人检测网络，其特征在于，所述检测网络包括关键点检测网络、身体区域分割和图像合成模块以及行人分类网络；关键点检测网络，用于检测行人身体的关键点信息，并将所述关键点信息输入至身体区域分割和图像合成模块；身体区域分割和图像合成模块，用于通过检测到的行人身体的关键点信息将行人身体自动划分成不同的语义区域，并利用语义区域生成合成图像输入至行人分类网络中完成行人分类网络的训练；行人分类网络，用于判断所述合成图像是行人图像还是背景图像。

【技术特征摘要】
1.一种基于身体关键点检测的真实场景遮挡行人检测网络，其特征在于，所述检测网络包括关键点检测网络、身体区域分割和图像合成模块以及行人分类网络；关键点检测网络，用于检测行人身体的关键点信息，并将所述关键点信息输入至身体区域分割和图像合成模块；身体区域分割和图像合成模块，用于通过检测到的行人身体的关键点信息将行人身体自动划分成不同的语义区域，并利用语义区域生成合成图像输入至行人分类网络中完成行人分类网络的训练；行人分类网络，用于判断所述合成图像是行人图像还是背景图像。2.根据权利要求1所述真实场景遮挡行人检测网络，其特征在于，所述行人分类网络包括Resnet50主网络结构和两个平行的全连接层。3.一种基于权利要求1所述检测网络的真实场景遮挡行人检测方法，其特征在于，所述检测方法包括：步骤一、利用行人检测数据库中的训练样本训练生成一个基准行人检测器；然后，通过所述基准行人检测器对所述行人检测数据库中的样本图像进行截取获得候选区域图像；步骤二、通过关键点检测网络检测所述候选区域图像中人体身体的关键点信息，将所述关键点信息作为身体关键点真值，进而训练关键点检测网络；步骤三、所述身体区域分割和图像合成模块通过关键点信息将行人身体自动划分成不同的语义区域并获取精确的各语义区域的边界框；然后，根据边界框将身体各部分区域从输入的候选区域图像中截取出来，并通过缩放形式进行图像尺寸统一，获得与所述语义区域对应的身体区域图像；最后，将所述身体区域图像与所述候选区域图像在图像级别上合成一张图像，进而获得合成图像；将所述合成图像输入至行人分类网络中指导训练行人分类网络；步骤四、所述行人分类网络根据输入的合成图像，合成图像中包含了行人身体各个部分语义区域图像，通过这些部分语义区域图像判别输入图像是行人图像还是背景图像，进而完成真实场景中遮挡行人的检测。4.根据权利要求3所述真实场景遮挡行人检测方法，其特征在于，步骤一所述获得候选区域图像的具体过程包括：第一步：利用行人检测数据库中的训练样本训练生成一个基准行人检测器；其中，所述行人检测数据库包括训练样本图像和测试样本图像；第二步：对于训练样本图像中的每一张图像，利用基准行人检测器其进行行...

【专利技术属性】
技术研发人员：张永强，丁明理，李贤，杨光磊，董娜，朱月熠，王莉娜，白延成，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙江,23