本发明专利技术公开了一种联合多目标的密集行人检测方法，其特征在于，包括以下步骤：步骤（A）：构建一种密集人头中心点检测网络，从而检测人头关键点；步骤（B）：通过目标检测算法，进行人头检测和行人检测，采用所述密集人头中心点检测网络进行模型训练，使用训练好的密集人头中心点检测模型进行人头中心点检测；步骤（C）：进行行人与人头框关联、行人补漏、NMS后处理；步骤（D）：输出检测结果，生成行人检测框。
1、在行人密集场景下，行人检测的难度加大，如，机场、海关、车站、场馆等交通枢纽和公共场所，密集场景下的行人检测具有如下技术难题：1）大量遮挡：行人密集场景中存在大量遮挡细节，使得部分人的特征无法被完整地提取和匹配，影响行人检测算法的准确度；2）光照不均匀：密集场景的光照条件差异化，部分人群可能处于过度曝光或者阴影中，使得图像中的人物的区分度较低；3）姿态和行为多样性：行人密集场景中存在着行为多样性和姿态多样性，如跑步、站立、弯腰、插兜等，这些姿态和行为的多样性使得人物特征更加复杂多变，加深了后期的识别检测难度。
2、现有技术包括以下两种方式：改进候选框质量和改进候选框的后处理。第一种改进候选框质量，对密集场景下尺寸较小或者被遮挡行人的检测有明显改善，但应用场景的多样性和复杂性，无法依靠单目标的检测根本上解决遮挡、光照、行为姿态多样性导致的漏检、误检问题，且即使目标检测正确，也没有有效的后处理方法过滤重叠的框，行人重叠度过大，还可能会出现保留了本应该过滤的重叠框，而过滤掉本该保留的目标框的问题。第二种改进候选框的后处理，通过自适应nms方法，对每个包围框预测一个密度变量，根据密度自适应决定当前包围框非极大抑制使用的阈值，缺陷在于没有明确指定高阈值抑制检测框的位置，仍然会导致冗余的预测。此外，还有通过人头目标协同行人检测的方式，但采用iou确定人和头的匹配关系的正确率较低，主要原因是在密集场景下一个人框内可能存在多个头框。
>技术实现思路1、本专利技术的一个目的在于提供一种联合多目标的密集行人检测方法，直接以人头中心点作为训练，并直接预测人头中心点坐标，能够更加准确的定位人头，避免了人头框回归不准确导致的模型优化错误和预测后处理失效，通过人头、行人、人头中心点三者的特性与关系创建了互补、筛查的后处理方法，可以有效的解决当前密集行人检测中存在的大部分漏检、误检的问题，同时也为nms后处理提供先验信息，避免将正确的行人目标误删，进一步地，能够提高密集行人检测准确率。
2、本专利技术的其它优势和特点通过下述的详细说明得以充分体现并可通过所附权利要求中特地指出的手段和装置的组合得以实现。
3、依本专利技术的一个方面，能够实现前述目的和其他目的和优势的本专利技术的一种联合多目标的密集行人检测方法，包括以下步骤：
4、步骤a：构建一种密集人头中心点检测网络，从而检测人头关键点；
5、步骤b：通过目标检测算法，进行人头检测和行人检测，采用所述密集人头中心点检测网络进行模型训练，使用训练好的密集人头中心点检测模型进行人头中心点检测；
6、步骤c：进行行人与人头框关联、行人补漏、nms后处理；
7、步骤d：输出最终检测结果，生成行人检测框。
8、根据本专利技术的一个实施例，所述步骤a包括子步骤a1：所述密集人头中心点检测网络以人头中心点作为训练样本，被训练生成后，直接输出人头中心点。
9、根据本专利技术的一个实施例，所述步骤a包括子步骤a2：所述密集人头中心点检测网络主干采用目标检测算法，通过两个分支：人头中心点回归分支和人头候选点分类分支，预测一系列人头候选点集。
10、根据本专利技术的一个实施例，所述步骤a包括子步骤a3：通过一对一匹配算法确定所述人头候选点各自的回归和分类标签，所述一对一匹配算法采用匈牙利匹配算法。
11、根据本专利技术的一个实施例，所述步骤a包括子步骤a4：通过代价矩阵和损失函数，联合监督所述人头中心点的分类和预测，进行所述密集人头中心点检测网络的优化和学习。
12、根据本专利技术的一个实施例，所述步骤b包括子步骤b1：采用所述密集人头中心点检测网络进行模型训练，对采集的行人数据进行所述人头中心点标注，处理为训练数据格式，并输入所述密集人头中心点检测网络进行迭代训练至模型收敛，使用训练好的密集人头中心点检测模型进行所述人头中心点检测，所述人头候选点通过置信度筛选输出最终预测中心点，即保留置信度大于阈值的预测结果。
13、根据本专利技术的一个实施例，所述步骤c包括子步骤c1：对于第i个行人的检测框，求所述第i个行人的检测框与所有人头框的iou值，找出最大的iou对应的人头框，如果存在人头中心点落在所述人头框中，则第i个行人与所述人头框完成关联，更改置信度分数令，并标记所述人头框为匹配，如果不存在人头中心点落入所述人头框，则不更改置信度分数，依照上述方法遍历所有的行人，完成所有行人与人头的关联，此过程完成后可以得到一个已关联的人头框集合，其中，iou值计算公式如下：，其中，、分别是行人的检测框和人头框的面积，是行人的检测框和人头框的重叠部分的面积。
14、根据本专利技术的一个实施例，所述步骤c包括子步骤c2：从所有人头框集合中去除上一步已关联的人头框集合，对剩余的人头框进行筛查：如果存在所述人头中心点落入所述人头框则判定所述人头框有效，按照直立行人人头与人身常规比例，进行所述人头框扩展，从而生成一个扩展行人集合。
15、根据本专利技术的一个实施例，所述步骤c包括子步骤c3：对所有行人进行nms后处理，所有行人包括已关联行人、无关联行人、扩展行人，其中，所述已关联行人是依据所述人头检测和所述人头中心点检测的先验信息筛选出的行人，所述扩展行人是通过所述人头框拓展得到的行人，无关联行人是未经过上述关联过程的行人，通过nms处理得到的行人检测框即为最终输出检测结果。
16、根据本专利技术的一个实施例，所述步骤c包括子步骤c4：先验信息筛选出的行人给出高置信度得分，避免在nms中错误过滤。
17、本专利技术的有益效果是：能够实现准确匹配人头和行人，且利用先验信息减少行人漏检，且能够给nms提供先验信息，减少正确样本的误删。
本文档来自技高网...
【技术保护点】
1.一种联合多目标的密集行人检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的密集行人检测方法，其特征在于，所述步骤A包括子步骤A1：所述密集人头中心点检测网络以人头中心点作为训练样本，被训练生成后，直接输出人头中心点。
3.根据权利要求2所述的密集行人检测方法，其特征在于，所述步骤A包括子步骤A2：所述密集人头中心点检测网络主干采用目标检测算法，通过两个分支：人头中心点回归分支和人头候选点分类分支，预测一系列人头候选点集。
4.根据权利要求3所述的密集行人检测方法，其特征在于，所述步骤A包括子步骤A3：通过一对一匹配算法确定所述人头候选点各自的回归和分类标签，所述一对一匹配算法采用匈牙利匹配算法。
5.根据权利要求4所述的密集行人检测方法，其特征在于，所述步骤A包括子步骤A4：通过代价矩阵和损失函数，联合监督所述人头中心点的分类和预测，进行所述密集人头中心点检测网络的优化和学习。
6.根据权利要求5所述的密集行人检测方法，其特征在于，所述步骤B包括子步骤B1：采用所述密集人头中心点检测网络进行模型训练，对采集的行人数据进行所述人头中心点标注，处理为训练数据格式，并输入所述密集人头中心点检测网络进行迭代训练至模型收敛，使用训练好的密集人头中心点检测模型进行所述人头中心点检测，所述人头候选点通过置信度筛选输出最终预测中心点，即保留置信度大于阈值的预测结果。
7.根据权利要求6所述的密集行人检测方法，其特征在于，所述步骤C包括子步骤C1：对于第i个行人的检测框，求所述第i个行人的检测框与所有人头框的IOU值，找出最大的IOU对应的人头框，如果存在人头中心点落在所述人头框中，则第i个行人与所述人头框完成关联，更改置信度分数令，并标记所述人头框为匹配，如果不存在人头中心点落入所述人头框，则不更改置信度分数，依照上述方法遍历所有的行人，完成所有行人与人头的关联，此过程完成后可以得到一个已关联的人头框集合，其中，IOU值计算公式如下：，其中，、分别是行人的检测框和人头框的面积，是行人的检测框和人头框的重叠部分的面积。
8.根据权利要求7所述的密集行人检测方法，其特征在于，所述步骤C包括子步骤C2：从所有人头框集合中去除上一步已关联的人头框集合，对剩余的人头框进行筛查：如果存在所述人头中心点落入所述人头框则判定所述人头框有效，按照直立行人人头与人身常规比例，进行所述人头框扩展，从而生成一个扩展行人集合。
9.根据权利要求8所述的密集行人检测方法，其特征在于，所述步骤C包括子步骤C3：对所有行人进行NMS后处理，所有行人包括已关联行人、无关联行人、扩展行人，其中，所述已关联行人是依据所述人头检测和所述人头中心点检测的先验信息筛选出的行人，所述扩展行人是通过所述人头框拓展得到的行人，无关联行人是未经过上述关联过程的行人，通过NMS处理得到的行人检测框即为最终输出检测结果。
10.根据权利要求9所述的密集行人检测方法，其特征在于，所述步骤C包括子步骤C4：先验信息筛选出的行人给出高置信度得分，避免在NMS中错误过滤。
...
【技术特征摘要】
1.一种联合多目标的密集行人检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的密集行人检测方法，其特征在于，所述步骤a包括子步骤a1：所述密集人头中心点检测网络以人头中心点作为训练样本，被训练生成后，直接输出人头中心点。
3.根据权利要求2所述的密集行人检测方法，其特征在于，所述步骤a包括子步骤a2：所述密集人头中心点检测网络主干采用目标检测算法，通过两个分支：人头中心点回归分支和人头候选点分类分支，预测一系列人头候选点集。
4.根据权利要求3所述的密集行人检测方法，其特征在于，所述步骤a包括子步骤a3：通过一对一匹配算法确定所述人头候选点各自的回归和分类标签，所述一对一匹配算法采用匈牙利匹配算法。
5.根据权利要求4所述的密集行人检测方法，其特征在于，所述步骤a包括子步骤a4：通过代价矩阵和损失函数，联合监督所述人头中心点的分类和预测，进行所述密集人头中心点检测网络的优化和学习。
6.根据权利要求5所述的密集行人检测方法，其特征在于，所述步骤b包括子步骤b1：采用所述密集人头中心点检测网络进行模型训练，对采集的行人数据进行所述人头中心点标注，处理为训练数据格式，并输入所述密集人头中心点检测网络进行迭代训练至模型收敛，使用训练好的密集人头中心点检测模型进行所述人头中心点检测，所述人头候选点通过置信度筛选输出最终预测中心点，即保留置信度大于阈值的预测结果。
7.根据权利要求6所述的密集行人检测方法，其特征在于，所述步骤c包括子步骤...
【专利技术属性】
技术研发人员：赖时伍，聂芸芸，夏炉系，张浒，罗富章，苗应亮，
申请(专利权)人：盛视科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。