【技术实现步骤摘要】
本专利技术涉及图像处理，具体涉及一种基于姿态伪图的行人再检测方法、设备及存储介质。
技术介绍
1、目前，常见的深度学习行人检测算法(如faster r-cnn、yolo、ssd等)通过提取图像中行人整体特征来定位行人的矩形包围框。这些算法通常在图像中的行人目标周围获得稠密的候选框，然后采用非极大值抑制方法或类似手段消除冗余候选框来确定行人目标图像区域。然而，在拥挤行人场景中，行人间距离小，相互遮挡严重，这些算法对非极大值抑制方法中的行人候选框交并比阈值设置非常敏感。过低的交并比阈值设置会带来行人漏检，而过高的交并比阈值设置则易造成行人误报。
2、近年来，基于自底向上的行人关键点检测日趋成熟，可以通过先检测图像中行人身体的若干个局部关键点，将这些关键点的包围框作为行人检测结果。这类基于局部关键点的行人检测方法不采用非极大值抑制，尤其适合拥挤场景下的行人检测。尽管如此，当行人被物体或其他行人部分遮挡时，会导致行人关键点缺失或错误关联不同行人的关键点。行人关键点的缺失或虚假关键点的引入都会导致此类方法的行人检测精度差或不稳定，将会进一步影响后续的行人目标跟踪、行人重识别等计算机视觉应用。
技术实现思路
1、为了解决相关技术中的技术问题，本申请提供了一种基于姿态伪图的行人再检测方法、设备及存储介质，本申请的方法充分利用行人关键点检测算法得到的行人关键点坐标和关键点置信度信息，结合人体生理拓扑结构与先验知识构建行人姿态伪图，并基于真实行人图像获得的行人关键点数据，制作姿态伪图数据
2、为了达到上述目的，本申请采用的技术方案为：
3、根据本申请的第一方面，提供一种基于姿态伪图的行人再检测方法，包括以下步骤：
4、步骤s1：采用行人关键点检测器检测图像中的行人关键点集，去除关键点集总置信度低于给定阈值的关键点集，再根据关键点集的最小包围框之间的交叠程度、关键点集之间的距离和关键点置信度信息进行分析和筛选，消除冗余关键点集合；
5、使用行人关键点检测器检测行人关键点集是一种现有的计算机视觉方法。它利用深度学习网络模型对图像进行处理，以检测图像中的行人关键点集。具体实现方式可以使用卷积神经网络或其他深度学习模型来训练一个关键点检测模型，该模型可以对输入的图像进行处理，输出包含行人关键点的集合以及其置信度等结果。
6、步骤s2：针对每个行人关键点集制作行人姿态伪图，先在伪图上绘制与行人大小相匹配的以关键点坐标为中心的关键点图形，再根据人体生理拓扑结构和关键点间的位置关系，绘制关键点间的连接图形，调整所得图形的大小后对图形内部区域进行颜色编码和填充，以得到每个行人关键点集对应的行人姿态伪图。
7、步骤s3：采用步骤s1与步骤s2方法制作基于真实场景图像的行人姿态伪图数据子集，并根据真实行人关键点数据，制作缺少部分关键点和包含部分错误关键点虚拟行人姿态伪图数据子集，以共同构成行人姿态伪图数据集；
8、步骤s4：使用行人姿态伪图数据集训练虚拟行人目标检测模型，检测行人姿态伪图上的虚拟行人，再根据步骤s2中虚拟行人在伪图上的绘制位置和缩放系数，将虚拟行人检测结果映射到原始图像的坐标系上，以得到行人在原始图像上的检测结果。
9、在本申请的一种优选的技术方案中，步骤s1具体包括：
10、步骤s1-1：针对每个行人关键点集对所有关键点置信度分数进行加权求和，以得到关键点集的总置信度，去除总置信度低于给定阈值的关键点集；
11、步骤s1-2：根据关键点集最小包围框之间的交叠程度、关键点集之间的距离和置信度进行分析和筛选，消除冗余关键点集。
12、在本申请的一种优选的技术方案中，所述步骤s1-2具体包括：
13、计算所有关键点集的最小包围框两两之间的交叠程度，当交叠程度大于给定阈值时，计算这两个关键点集之间的距离；当关键点集距离小于给定阈值时，去除总置信度小的关键点集；当关键点集距离大于给定阈值但小于给定阈值时，如果这两个关键点集的最小包围框之间的交叠程度大于给定阈值则去除总置信度小的关键点集；
14、其中，在计算两个关键点集之间距离时，为避免错误关键点的影响，忽略置信分数低于给定阈值的关键点，按照下式进行计算：
15、
16、
17、式中，di,j表示第i和第j个关键点集间的距离；和分别表示第i和第j个关键点集中第n个同一人体部位关键点(或称同一类型关键点)的置信分数；tconf表示关键点置信度分数阈值；表示当和小于给定阈值tconf时忽略第n个关键点；n表示纳入距离计算的关键点总数，由计算得到；和分别表示第i和第j个关键点集中第n个关键点的由位置坐标和相关参数构成的向量；为第i和第j个关键点的距离计算函数；σ为一规范化函数，将关键集间的距离映射到统一的距离范围内；λ为一个调节因子，与第i和第j个关键点集所对应行人图像的大小相关，以减少行人图像大小对关键点集距离计算的影响。
18、在本申请的一种优选的技术方案中，步骤s2具体包括：
19、步骤s2-1：针对每个行人关键点集制作单独的行人姿态伪图，在伪图上绘制与行人大小相匹配的以关键点坐标为中心的关键点图形；需确保不同行人的相同人体部位的关键点图形类型一致,以使不同行人姿态伪图具有一致的行人特征；不同人体部位关键点图形可以采用不同的形状，如圆形或正方形等，以及通过设置不同的形状和大小参数，以使得行人姿态伪图中行人细节特征更加丰富；
20、其中，
21、当绘制第n个关键点图形为圆形时，该圆形的半径rn根据行人的宽度w和高度h按照下式进行设置：
22、rn＝αnfcir(h,w)
23、式中，fcir为与行人的宽度和高度相关的函数，αn为与关键点类型相关的调节因子，可以为不同部位类型的关键点设置不同的αn参数。其中,将影响行人主要活动的部位如头部、四肢等设为首要类型,其他设为次要类型。通过为首要类型关键点设置大于次要类型的参数值,可以使首要类型关键点在姿态伪图中的图形表示尺寸大于次要类型,从而突出首要类型关键点特征；
24、当绘制第n个关键点图形为正方形时，该正方形的边长ln根据行人的宽度w和高度h按照下式进行设置：
25、ln＝αnfrect(h,w)
26、式中，frect为与行人的宽度和高度相关的函数；
27、步骤s2-2：根据人体生理拓扑结构和关键点间的位置关系，绘制关键点间的连接图形；需确保不同行人的相同人体部位间的关键点连接图形类型一致,以使不同行人姿态伪图具有一致的行人骨骼特征；
28、步骤s2-3：对通过步骤s2-1和步骤s2-2得到的行人姿态伪图图形进行缩小或本文档来自技高网...
【技术保护点】
1.一种基于姿态伪图的行人再检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于姿态伪图的行人再检测方法，其特征在于，步骤S1具体包括：
3.根据权利要求2所述的一种基于姿态伪图的行人再检测方法，其特征在于，所述步骤S1-2具体包括：
4.根据权利要求1所述的一种基于姿态伪图的行人再检测方法，其特征在于，步骤S2具体包括：
5.根据权利要求1所述的一种基于姿态伪图的行人再检测方法，其特征在于，步骤S3具体包括：
6.一种基于姿态伪图的行人再检测设备，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1至5任一项所述的方法。
7.一种基于姿态伪图的行人再检测存储介质，其上存储有计算机程序，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1至6任一项所述的方
...【技术特征摘要】
1.一种基于姿态伪图的行人再检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于姿态伪图的行人再检测方法，其特征在于，步骤s1具体包括：
3.根据权利要求2所述的一种基于姿态伪图的行人再检测方法，其特征在于，所述步骤s1-2具体包括：
4.根据权利要求1所述的一种基于姿态伪图的行人再检测方法，其特征在于，步骤s2具体包括：
5.根据权利要求1所述的一种基于姿态伪图的行人再检测方法，其特征在于，步骤s3具体包括：
6.一...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。