一种基于人体骨架点距离的行人定位跟踪方法技术

本发明专利技术涉及一种基于人体骨架点距离的行人定位跟踪方法，步骤包括：构建/初始化第一数据集、第二数据集和历史骨架序列集，获取当前帧的待识别图像信息；利用人体关键点方法提取所述图像信息的行人关键点，得到行人骨架数据集，通过计算每个行人关键点与历史骨架序列集中对应的历史行人轨迹关键点的距离，获得基于人体骨架点的距离矩阵集；对获得的距离矩阵集进行去噪操作，剔除距离相似度越小的行人骨架信息，并将所述剔除的行人骨架信息对应加入第一数据集和第二数据集；将去噪操作后的距离矩阵进行匈牙利匹配，根据匈牙利匹配结果，判定剔除或继续跟踪对应的行人轨迹；其优化方法步骤，大大降低计算量的同时，也提高跟踪的准确度。

【技术实现步骤摘要】
一种基于人体骨架点距离的行人定位跟踪方法
本专利技术涉及到计算机视觉和视频图像处理领域，特别涉及一种基于人体骨架点距离的行人定位跟踪方法。
技术介绍
随着计算机视觉技术的发展和计算力的提高，智能监控在各领域逐渐被使用。如在楼层等关键出入口处监控人流量，自动驾驶中对行人或车辆进行检测、在工地或者工业生产时进行安全防控。因此，对监控视频进行实时有效的处理从而实现行人定位跟踪的方法对保障安全和高效监测有重大意义，有重要的研究和商业价值。在智能监控视频分析中，对行人的分析尤其重要，行人的动作可以通过多种模式识别出来，如行人表情、深度信息、光流信息以及人体骨架等等，对行人的统计以及对行人行为的分析，都依赖于实时精准的跟踪方法。现有的图像物体跟踪大都基于原始图像信息进行分析，如meanshift方法，或者深度学习方法，如siamesenetwork方法。前者利用的信息依赖于原始图像的像素，往往跟踪不够鲁棒，容易丢失目标，精准度不高，而后者需要把图像输入到神经网络中，计算量往往不能达到实时的效果，实时效果较差。综合以上论述，专利技术一种兼顾实时性和准确度的行人定位跟踪方法具有较高的科学研究和实际应用价值。
技术实现思路
为解决上述问题，本专利技术提供一种基于人体骨架点距离的行人定位跟踪方法，其利用人体关键点信息和基于行人骨架点进行跟踪分析，优化方法步骤，大大降低计算量的同时，也提高跟踪的准确度。为解决上述目的，本专利技术采用的如下技术方案。一种基于人体骨架点距离的行人定位跟踪方法，步骤包括：构建/初始化第一数据集、第二数据集和历史骨架序列集，获取当前帧的待识别图像信息；利用人体关键点方法提取所述图像信息的行人关键点，得到行人骨架数据集，通过计算每个行人关键点与历史骨架序列集中对应的历史行人轨迹关键点的距离，获得基于人体骨架点的距离矩阵集；对获得的距离矩阵集进行去噪操作，根据预设阈值，剔除距离相似度越小的行人骨架信息，并将所述剔除的行人骨架信息对应加入第一数据集和第二数据集；将去噪操作后的距离矩阵进行匈牙利匹配，根据匈牙利匹配结果，判定剔除或继续跟踪对应的行人轨迹；获取下一帧的待识别图像信息，以持续进行行人轨迹定位跟踪。进一步地，根据匈牙利匹配结果，判定剔除或继续跟踪对应的行人轨迹的步骤包括：对于匹配成功的行人骨架信息，获取去噪操作之前的距离矩阵集对应的行人骨架信息，根据该行人骨架信息对应更新历史骨架序列集中历史行人轨迹关键点信息，以持续对该行人轨迹进行定位跟踪；对于未匹配成功的行人骨架信息，获取去噪操作之前的距离矩阵集对应的行人骨架信息，并对应加入第一数据集和第二数据集，判定该行人人体为离开监控图像范围或新进入监控图像范围内。进一步地，对于未匹配成功的行人关键点信息具体步骤包括：获取未匹配成功的行人骨架信息的列号信息，得到距离矩阵集中与该列号信息对应的列号数据集，并将该列号数据集加入第一数据集内，以及降低对应历史行人轨迹关键点的置信度，从而当某个历史行人轨迹关键点置信度小于0，判定该行人人体为离开监控图像范围，剔除对应的历史行人轨迹关键点；获取未匹配成功的行人骨架信息的行号信息，得到距离矩阵集中与该行号信息对应的行号数据集，并将该行号数据集加入第二数据集内，判定该行人人体为新进入监控图像范围内，以持续对该行人轨迹定位跟踪；第一数据集包含离开监控范围的行人骨架元素，第二数据集包含新进入监控范围内的行人骨架元素。进一步地，对于匹配成功的行人关键点信息具体步骤包括：获取匹配成功的行人骨架信息的行号及列号信息，得到去噪操作之前的距离矩阵集对应的行号及列号信息集，并将该行号及列号信息集对应更新到历史骨架序列集，以及增加对应历史行人轨迹关键点的置信度。进一步地，所述置信度的定义如下：其中confidencet表示第t时刻的置信度计算方法，当行人轨迹中某个行人骨架信息匹配成功的时候，该对应行人轨迹关键点的置信度增加，当连续匹配成功的时候，该行人轨迹关键点的置信度增加的趋势为log对数级别；当匹配失败的时候，置信度会减少，当某轨迹中某行人轨迹关键点连续匹配失败的时候，说明该行人人体很有可能已经走出了监控范围，将该行人轨迹关键点的置信度减少的趋势为指数级别，以确保匹配失败的行人骨架的置信度能够迅速减少到0；置信度减少至小于0的行人轨迹关键点，将其从历史行人轨迹关键点序列中剔除。进一步地，利用人体关键点方法提取所述图像信息的行人关键点，得到行人骨架数据集，该行人骨架数据集定义如下：其中t表示第t时刻；xk,yk,sk分别代表第k个关键点在图像中的横坐标，纵坐标，以及置信度；Mt表示t时刻检测出来Mt个骨架，k表示每个骨架有k个人体关键点。进一步地，所述基于人体骨架点的距离矩阵集的行、列分别代表当前帧的行人关键点和行人轨迹关键点，该行人轨迹关键点定义如下：其中t表示第t时刻，Nt表示t时刻检测出来Nt个骨架，k表示每个骨架有k个行人关键点。进一步地，对获得的距离矩阵集进行去噪操作之后，还包括对距离矩阵集进行截断操作，依据预设阈值范围，限制行人关键点与历史骨架序列集中对应的历史行人轨迹关键点的距离在该预设阈值范围内。进一步地，获取下一帧的待识别图像信息之前，还包括将第二数据集添加到历史骨架序列集中，以作为新进入监控图像范围内的行人人体进行定位跟踪。进一步地，获取下一帧的待识别图像信息之前，还包括清空第一数据集和第二数据集。本专利技术的有益效果如下：与现有的基于原始图像信息如meanshift方法或者基于深度神经网络如siamesenetwork方法技术相比，本专利技术利用人体关键点和基于行人骨架点对行人的动作识别以及定位跟踪分析，优化方法步骤，大大减少计算量的同时，也提高了跟踪的准确度，解决了采用meanshift方法跟踪依赖于原始图像的像素，往往跟踪不够鲁棒，容易丢失目标的问题；同时也能能够由于采用siamesenetwork方法需要把图像输入到神经网络中，计算量往往不能达到实时效果的问题。附图说明图1为本专利技术的行人定位跟踪方法的流程示意图；图2为本专利技术的行人定位跟踪方法的优选实施例的步骤流程示意图；图3为本专利技术的行人定位跟踪方法的匈牙利匹配步骤示意图。具体实施方式下面将结合附图对本专利技术作进一步的说明。参考图1至图3，为本实施例所提供的一种基于人体骨架点距离的行人定位跟踪方法。如图1所示，一种基于人体骨架点距离的行人定位跟踪方法，步骤包括：构建/初始化第一数据集、第二数据集和历史骨架序列集，获取当前帧的待识别图像信息；利用人体关键点方法提取所述图像信息的行人关键点，得到行人骨架数据集，通过计算每个行人关键点与历史骨架序列集中对应的历史行人轨迹关键点的距离，获得基于人体骨架点的距离矩阵集；对获得的距离矩阵集进行去噪操作，本文档来自技高网...

【技术保护点】
1.一种基于人体骨架点距离的行人定位跟踪方法，其特征在于，步骤包括：/n构建/初始化第一数据集、第二数据集和历史骨架序列集，获取当前帧的待识别图像信息；/n利用人体关键点方法提取所述图像信息的行人关键点，得到行人骨架数据集，通过计算每个行人关键点与历史骨架序列集中对应的历史行人轨迹关键点的距离，获得基于人体骨架点的距离矩阵集；/n对获得的距离矩阵集进行去噪操作，根据预设阈值，剔除距离相似度越小的行人骨架信息，并将所述剔除的行人骨架信息对应加入第一数据集和第二数据集；/n将去噪操作后的距离矩阵进行匈牙利匹配，根据匈牙利匹配结果，判定剔除或继续跟踪对应的行人轨迹；/n获取下一帧的待识别图像信息，以持续进行行人轨迹定位跟踪。/n

【技术特征摘要】
1.一种基于人体骨架点距离的行人定位跟踪方法，其特征在于，步骤包括：
构建/初始化第一数据集、第二数据集和历史骨架序列集，获取当前帧的待识别图像信息；
利用人体关键点方法提取所述图像信息的行人关键点，得到行人骨架数据集，通过计算每个行人关键点与历史骨架序列集中对应的历史行人轨迹关键点的距离，获得基于人体骨架点的距离矩阵集；
对获得的距离矩阵集进行去噪操作，根据预设阈值，剔除距离相似度越小的行人骨架信息，并将所述剔除的行人骨架信息对应加入第一数据集和第二数据集；
将去噪操作后的距离矩阵进行匈牙利匹配，根据匈牙利匹配结果，判定剔除或继续跟踪对应的行人轨迹；
获取下一帧的待识别图像信息，以持续进行行人轨迹定位跟踪。


2.根据权利要求1所述的一种基于人体骨架点距离的行人定位跟踪方法，其特征在于，根据匈牙利匹配结果，判定剔除或继续跟踪对应的行人轨迹的步骤包括：
对于匹配成功的行人骨架信息，获取去噪操作之前的距离矩阵集对应的行人骨架信息，根据该行人骨架信息对应更新历史骨架序列集中历史行人轨迹关键点信息，以持续对该行人轨迹进行定位跟踪；
对于未匹配成功的行人骨架信息，获取去噪操作之前的距离矩阵集对应的行人骨架信息，并对应加入第一数据集和第二数据集，判定该行人人体为离开监控图像范围或新进入监控图像范围内。


3.根据权利要求2所述的一种基于人体骨架点距离的行人定位跟踪方法，其特征在于，对于未匹配成功的行人关键点信息具体步骤包括：
获取未匹配成功的行人骨架信息的列号信息，得到距离矩阵集中与该列号信息对应的列号数据集，并将该列号数据集加入第一数据集内，以及降低对应历史行人轨迹关键点的置信度，从而当某个历史行人轨迹关键点置信度小于0，判定该行人人体为离开监控图像范围，剔除对应的历史行人轨迹关键点；
获取未匹配成功的行人骨架信息的行号信息，得到距离矩阵集中与该行号信息对应的行号数据集，并将该行号数据集加入第二数据集内，判定该行人人体为新进入监控图像范围内，以持续对该行人轨迹定位跟踪；
第一数据集包含离开监控范围的行人骨架元素，第二数据集包含新进入监控范围内的行人骨架元素。


4.根据权利要求2所述的一种基于人体骨架点距离的行人定位跟踪方法，其特征在于，对于匹配成功的行人关键点信息具体步骤包括：获取匹配成功的行人骨架信息的行号及列号信息，得到去噪操作之前的距离矩阵集对应的行号及列号信息集，并将该行号及列号信息集对应更...

【专利技术属性】
技术研发人员：张志，李建军，黄涛，詹皇源，杜启亮，黄理广，
申请(专利权)人：国信智能系统广东有限公司，
类型：发明
国别省市：广东;44