基于分块遮挡感知的行人检测方法及系统技术方案

本发明专利技术属于模式识别技术领域，具体涉及一种基于分块遮挡感知的行人检测方法及系统，旨在解决行人被遮挡而造成的行人检测准确率较低的技术问题。为此目的，本发明专利技术中的行人检测方法包括：基于预先构建的行人检测模型，并根据待测行人图像，获取每个预设的人体检测区域对应的图像特征；对所获取的图像特征进行特征融合，得到对应行人的整体特征；根据整体特征，获取待测行人图像的多个检测结果框；选取所获取的多个所述检测结果框中满足预设的筛选条件的检测结果框。基于上述步骤，能够有效检测出待测图像中被遮挡的行人。同时，本发明专利技术中的行人检测系统能够执行并实现上述方法。

【技术实现步骤摘要】
基于分块遮挡感知的行人检测方法及系统
本专利技术属于模式识别
，具体涉及一种基于分块遮挡感知的行人检测方法及系统。
技术介绍
行人检测技术是一种在任意输入图像中自动搜索行人的位置和大小的技术，其广泛应用于的计算机视觉和模式识别等领域，例如自动驾驶、视频监控和生物特征识别等。在现实生活中的复杂环境下，行人的遮挡问题是目前行人检测面临的最大挑战之一，尤其是在拥挤场景下，如何进行高效且精准的行人检测更是研究的热点与难点。针对该问题，目前大多数行人检测方法都使用基于分块的模型，通过学习一系列分块检测器，并综合每个检测器的结果用于对行人进行最终定位。但这些方法只是要求每个预测的检测窗口尽可能接近于行人标注框，而没有考虑到它们之间的内在联系。因此，这些行人检测器的性能对于非极大值抑制法(NonMaximumSuppression)阈值的设置非常敏感，尤其是对于存在大规模拥挤的场景，非极大值抑制法阈值对检测器性能的影响更大。
技术实现思路
为了解决现有技术中的上述问题，即为了解决行人被遮挡而造成的行人检测准确率较低的技术问题，本专利技术的一方面，提供了一种基于分块遮挡感知的行人检测方法，包括：基于预先构建的行人检测模型，并根据待测行人图像，获取每个预设的人体检测区域对应的图像特征；对所获取的图像特征进行特征融合，得到对应行人的整体特征；根据所述整体特征，获取所述待测行人图像的多个检测结果框；选取所获取的多个所述检测结果框中满足预设的筛选条件的检测结果框；其中，所述行人检测模型是基于FasterR-CNN神经网络构建的模型，并且所述FasterR-CNN神经网络的高卷积层中关联有锚点框。进一步地，在“基于预先构建的行人检测模型，并根据待测行人图像，获取每个预设的人体检测区域对应的图像特征”之前，所述方法还包括：对所述预设的训练图像进行数据增广处理，得到训练样本；对锚点框与所述训练样本中的行人标注框进行匹配，并根据匹配结果将锚点框划分为正样本和负样本；所述正样本为与行人标注框匹配的锚点框，所述负样本为与行人标注框未匹配的锚点框；采用困难负样本挖掘方法选取预设的第一数量的负样本；根据所述正样本与所选取的负样本计算损失函数值，并根据损失函数值更新所述FasterR-CNN神经网络；对更新后的FasterR-CNN神经网络重新进行网络训练，直至其满足预设的收敛条件。进一步地，所述FasterR-CNN神经网络包括RPN模块；在“基于预先构建的行人检测模型，并根据待测行人图像，获取每个预设的人体检测区域对应的图像特征”之前，所述方法还包括：基于预设的训练图像，并按照下式所示的损失函数，对所述RPN模块进行网络训练：其中，为行人分类损失函数，为聚合损失函数，i表示锚点框的标号，pi和ti分别表示第i个锚点框为行人的预测概率和该行人对应的预测坐标；和分别表示与第i个锚点框相关联的物体类别标号和对应的标定坐标，α1为第一超参数；所述行人分类损失函数为：其中，Ncls为RPN模块分类过程中的锚点框总数；所述聚合损失函数：其中，为回归损失函数，为紧凑性损失函数，β是第二超参数；所述回归损失函数为：其中，Nreg为回归阶段锚点框的总数，是关于预测的检测窗口ti的L1损失函数的损失值；所述紧凑性损失函数为：其中，Ncom为与锚点框存在相交的行人总数，|Φi|为与第i个标定行人相关联的锚点框总数，j为锚点框标号，tj为预测的第j个锚点框行人对应的坐标，p为与标定的行人窗口相关联的锚点框标记序列号，Φp为与标定的行人窗口相关联的锚点框标记。进一步地，所述FasterR-CNN神经网络还包括FastR-CNN模块；在“基于预先构建的行人检测模型，并根据待测行人图像，获取每个预设的人体检测区域对应的图像特征”之前，所述方法还包括：基于预设的训练图像，按照下式所示的损失函数，对所述FastR-CNN模块进行网络训练：其中，为行人分类损失函数，为聚合损失函数，为遮挡处理损失函数，i表示锚点框的标号，pi和ti分别表示第i个锚点框为行人的预测概率和该行人对应的预测坐标；和分别表示与第i个锚点框相关联的物体类别标号和对应的标定坐标，α3为第三超参数，λ为第四超参数；所述行人分类损失函数为：其中，Ncls为RPN模块分类过程中的锚点框总数；所述聚合损失函数：其中，为回归损失函数，为紧凑性损失函数，β是第二超参数；所述回归损失函数为：其中，Nreg为回归阶段锚点框的总数，是关于预测的检测窗口ti的L1损失函数的损失值；所述紧凑性损失函数为：其中，Ncom为与锚点框存在相交的行人总数，|Φi|为与第i个标定行人相关联的锚点框总数，j为锚点框标号，tj为预测的第j个锚点框行人对应的坐标，p为与标定的行人窗口相关联的锚点框标记序列号，Φp为与标定的行人窗口相关联的锚点框标记。进一步地，“对锚点框与所述训练样本中的行人标注框进行匹配”的步骤具体包括：计算各锚点框与每个行人标注框的交除并重叠比；选取与每个行人标注框的交除并重叠比最大的锚点框，并将所选取的各锚点框与各对应的人脸标注框进行匹配；判断去除所选取的锚点框之后，剩余的各锚点框与每个行人标注框的交除并重叠比是否大于预设的第一阈值：若大于则进行匹配；获取锚点框匹配数量小于预设的第二数量的人脸标注框，并选取与所述每个行人标注框的交除并重叠比大于预设的第二阈值的所有锚点框；所述预设的第一阈值大于预设的第二阈值；按照所选取的所有锚点框的交除并重叠比由大到小的顺序，选取预设的第三数量的锚点框与对应的行人标注框进行匹配；所述预设的第三数量的取值为锚点框匹配数量大于或等于预设的第二数量的行人标注框的锚点框平均匹配数量。本专利技术的另一方面，还提供了一种基于分块遮挡感知的行人检测系统，包括：图像特征获取模块，其配置为基于预先构建的行人检测模型，并根据待测行人图像，获取每个预设的人体检测区域对应的图像特征；图像特征融合模块，其配置为对所述图像特征获取模块所获取的图像特征进行特征融合，得到对应行人的整体特征；检测结果框获取模块，其配置为根据所述图像特征融合模块得到的整体特征，获取所述待测行人图像的多个检测结果框；检测结果框筛选模块，其配置为选取所获取的多个所述检测结果框中满足预设的筛选条件的检测结果框；其中，所述行人检测模型是基于FasterR-CNN神经网络构建的模型，并且所述FasterR-CNN神经网络的高卷积层中关联有锚点框。进一步地，所述行人检测系统还包括模型训练模块，该模型训练模块包括：训练图像处理单元，其配置为对所述预设的训练图像进行数据增广处理，得到训练样本；正负样本划分单元，其配置为对锚点框与所述训练样本中的行人标注框进行匹配，并根据匹配结果将锚点框划分为正样本和负样本；所述正样本为与行人标注框匹配的锚点框，所述负样本为与行人标注框未匹配的锚点框；负样本筛选单元，其配置为采用困难负样本挖掘方法选取预设的第一数量的负样本；网络更新单元，其配置为根据所述正样本与所选取的负样本计算损失函数值，并根据损失函数值更新所述FasterR-CNN神经网络；对更新后的FasterR-CNN神经网络重新进行网络训练，直至其满足预设的收敛条件。进一步地，所述FasterR-CNN神经网络包括RPN模块；在此情况下，所述模型训练模块进本文档来自技高网...

【技术保护点】
1.一种基于分块遮挡感知的行人检测方法，其特征在于包括：基于预先构建的行人检测模型，并根据待测行人图像，获取每个预设的人体检测区域对应的图像特征；对所获取的图像特征进行特征融合，得到对应行人的整体特征；根据所述整体特征，获取所述待测行人图像的多个检测结果框；选取所获取的多个所述检测结果框中满足预设的筛选条件的检测结果框；其中，所述行人检测模型是基于Faster R‑CNN神经网络构建的模型，并且所述Faster R‑CNN神经网络的高卷积层中关联有锚点框。

【技术特征摘要】
1.一种基于分块遮挡感知的行人检测方法，其特征在于包括：基于预先构建的行人检测模型，并根据待测行人图像，获取每个预设的人体检测区域对应的图像特征；对所获取的图像特征进行特征融合，得到对应行人的整体特征；根据所述整体特征，获取所述待测行人图像的多个检测结果框；选取所获取的多个所述检测结果框中满足预设的筛选条件的检测结果框；其中，所述行人检测模型是基于FasterR-CNN神经网络构建的模型，并且所述FasterR-CNN神经网络的高卷积层中关联有锚点框。2.根据权利要求1所述的基于分块遮挡感知的行人检测方法，其特征在于，在“基于预先构建的行人检测模型，并根据待测行人图像，获取每个预设的人体检测区域对应的图像特征”之前，所述方法还包括：对所述预设的训练图像进行数据增广处理，得到训练样本；对锚点框与所述训练样本中的行人标注框进行匹配，并根据匹配结果将锚点框划分为正样本和负样本；所述正样本为与行人标注框匹配的锚点框，所述负样本为与行人标注框未匹配的锚点框；采用困难负样本挖掘方法选取预设的第一数量的负样本；根据所述正样本与所选取的负样本计算损失函数值，并根据损失函数值更新所述FasterR-CNN神经网络；对更新后的FasterR-CNN神经网络重新进行网络训练，直至其满足预设的收敛条件。3.根据权利要求2所述的基于分块遮挡感知的行人检测方法，其特征在于，所述FasterR-CNN神经网络包括RPN模块；在“基于预先构建的行人检测模型，并根据待测行人图像，获取每个预设的人体检测区域对应的图像特征”之前，所述方法还包括：基于预设的训练图像，并按照下式所示的损失函数，对所述RPN模块进行网络训练：其中，为行人分类损失函数，为聚合损失函数，i表示锚点框的标号，pi和ti分别表示第i个锚点框为行人的预测概率和该行人对应的预测坐标；和分别表示与第i个锚点框相关联的物体类别标号和对应的标定坐标，α1为第一超参数；所述行人分类损失函数为：其中，Ncls为RPN模块分类过程中的锚点框总数；所述聚合损失函数：其中，为回归损失函数，为紧凑性损失函数，β是第二超参数；所述回归损失函数为：其中，Nreg为回归阶段锚点框的总数，是关于预测的检测窗口ti的L1损失函数的损失值；所述紧凑性损失函数为：其中，Ncom为与锚点框存在相交的行人总数，|Φi|为与第i个标定行人相关联的锚点框总数，j为锚点框标号，tj为预测的第j个锚点框行人对应的坐标，p为与标定的行人窗口相关联的锚点框标记序列号，Φp为与标定的行人窗口相关联的锚点框标记。4.根据权利要求2所述的基于分块遮挡感知的行人检测方法，其特征在于，所述FasterR-CNN神经网络还包括FastR-CNN模块；在“基于预先构建的行人检测模型，并根据待测行人图像，获取每个预设的人体检测区域对应的图像特征”之前，所述方法还包括：基于预设的训练图像，按照下式所示的损失函数，对所述FastR-CNN模块进行网络训练：其中，为行人分类损失函数，为聚合损失函数，为遮挡处理损失函数，i表示锚点框的标号，pi和ti分别表示第i个锚点框为行人的预测概率和该行人对应的预测坐标；和分别表示与第i个锚点框相关联的物体类别标号和对应的标定坐标，α3为第三超参数，λ为第四超参数；所述行人分类损失函数为：其中，Ncls为RPN模块分类过程中的锚点框总数；所述聚合损失函数：其中，为回归损失函数，为紧凑性损失函数，β是第二超参数；所述回归损失函数为：其中，Nreg为回归阶段锚点框的总数，是关于预测的检测窗口ti的L1损失函数的损失值；所述紧凑性损失函数为：其中，Ncom为与锚点框存在相交的行人总数，|Φi|为与第i个标定行人相关联的锚点框总数，j为锚点框标号，tj为预测的第j个锚点框行人对应的坐标，p为与标定的行人窗口相关联的锚点框标记序列号，Φp为与标定的行人窗口相关联的锚点框标记。5.根据权利要求2-4中任一项所述的分块遮挡感知的行人检测方法，其特征在于，“对锚点框与所述训练样本中的行人标注框进行匹配”的步骤具体包括：计算各锚点框与每个行人标注框的交除并重叠比；选取与每个行人标注框的交除并重叠比最大的锚点框，并将所选取的各锚点框与各对应的人脸标注框进行匹配；判断去除所选取的锚点框之后，剩余的各锚点框与每个行人标注框的交除并重叠比是否大于预设的第一阈值：若大于则进行匹配；获取锚点框匹配数量小于预设的第二数量的人脸标注框，并选取与所述每个行人标注框的交除并重叠比大于预设的第二阈值的所有锚点框；所述预设的第一阈值大于预设的第二阈值；按照所选取的所有锚点框的交除并重叠比由大到小的顺序，选取预设的第三数量的锚点框与对应的行人标注框进行匹配；所述预设的第三数量的取值为锚点框匹配数量大于或等于预设的第二数量的行人标注框的锚点框平均匹配数量。6.一种基于分块遮挡感知的行人检测系统，其特征在于包括：图像特征获取模块，其配置...

【专利技术属性】
技术研发人员：雷震，张士峰，庄楚斌，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京,11