【技术实现步骤摘要】
本专利技术涉及监控，尤其公开了一种基于姿态关键点的目标追踪方法及系统。
技术介绍
1、目前，实时监控技术被广泛用于工业园区、车站、学校等场所，管理者通过摄像头可以对相关区域的行人轨迹进行实时监控，极大地提升了管理性能，在教育、交通、国家安全等领域有着广泛的应用前景。监控区域通常需要部署多个的摄像头，通过拍摄的视频数据传输到视频监控中心，实现对整个区域的实时监控。通过多个摄像头拍摄的视频数据对行人的活动轨迹进行获取与分析，需要耗费大量的人力和物力成本。同时，由于监控区域行人数量过多、监控距离过远、观看监控视频的人员自身疲劳等因素，会增加对行人轨迹监控分析的难度，影响监控的效果。
2、跨镜头行人轨迹重识别的难点在于行人图像的重识别，即如何判断不同镜头下的两个轨迹是否为同一行人。目前的深度神经网络模型（如osnet、resnet50等）可以将行人图像编码为特征序列（也被称为行人reid特征），通过计算两张行人图片被编码后的特征序列（即行人reid特征）之间的余弦相似度来判断这两张行人图片是否属于同一人。中国专利技术专利申请cn202210012672.9对每条轨迹建立特征库。在特征库中储存该行人过去n帧图像所编码成的reid特征。当出现新的轨迹时，会计算新轨迹特征库中所有特征序列与旧轨迹特征库中所有的reid特征两两之间的余弦相似度，若最大值（即两个轨迹之间最相似的两张行人图像）超过阈值则判断为该两条轨迹属于同一个人，并为该条新轨迹赋予匹配上的行人id。否则为该轨迹赋予一个新的行人id。中国专利技术专利申请cn202011
3、1、抗遮挡性差。目前所有跨镜头多行人轨迹追踪技术都是通过计算特征序列之间的相似度来判断是否是同一个行人。当某个行人在活动过程中被遮挡时，此时提取的特征序列只包含未被遮挡部分的特征信息，当其他行人也出现类似遮挡现象时，即使这两个轨迹序列不是来自于同一个人，两个特征序列包含的特征信息也会很相似，两者之间的相似度会很高，从而产生错误的轨迹匹配。遮挡问题一直是跨镜头行人轨迹追踪过程中的一个难题，消除跨镜头行人追踪过程中遮挡现象所带来的错误轨迹很有实际意义。
4、2、计算效率不足。现有跨镜头行人轨迹追踪技术通过计算两个轨迹特征库中所有特征序列之间的两两相似度，来判别轨迹片段是否来自同一个行人。例如若轨迹a与轨迹b分别包含n与m个特征序列，则需要计算n乘以m次相似度。该方法计算量大，降低了监控分析的实时性。
5、3、可拓展性差。跨镜头行人轨迹追踪技术在使用过程中，通常需要加入人脸识别模块进行身份认定（如中国专利技术专利申请cn202210657258.3，中国专利技术专利申请cn202011055504.5）或者需要加入行人动作识别模块进行摔倒、推搡、抽烟等危险动作的检测。现有的方法是将跨镜头行人轨迹追踪过程中获取的行人检测框裁剪出来，放入人脸检测模型（如facenet等）与行人姿态关键点检测模型（如alphapose等）中重新进行检测。该方法耗费巨大的计算资源，难以拓展至不同场景。
6、因此，现有现有跨镜头行人轨迹重识别方法中存在的以上缺陷，是目前亟待解决的技术问题。
技术实现思路
1、本专利技术提供了一种基于姿态关键点的目标追踪方法及系统，旨在解决现有现有跨镜头行人轨迹重识别方法中存在的以上缺陷。
2、本专利技术的一方面涉及一种基于姿态关键点的目标追踪方法，包括以下步骤：
3、采用多路摄像头获取行人活动轨迹的视频图像；
4、采用yolopose模型对视频图像中区域内的行人及行人姿态关键点进行检测，获取行人框信息和17个关键点，每个关键点由x、y和c三个参数组成；若识别到某个关键点的置信度低于预设的置信度阈值时，则认为该关键点被遮挡；其中，（x，y）为该关键点的像素坐标，c为该关键点的置信度，17个关键点包括鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左胳膊肘、右胳膊肘、左手腕、右手腕、左臀、右臀、左膝、右膝、左脚踝和右脚踝；
5、将行人检测框的坐标、17个关键点的坐标、以及关键点被遮挡情况储存在该轨迹的数据库中；
6、若识别到存在其他轨迹时，则将本轨迹与其他轨迹进行匹配，若本轨迹与其他轨迹匹配成功时，则将本轨迹与其他轨迹两个轨迹合并；若轨迹与其他轨迹匹配失败时，则将本轨迹保存在历史轨迹中；
7、按实际需求，将本轨迹保存的被检测行人的17个关键点以及对应的置信度输出至动作识别模块中，实现关键动作识别。
8、进一步地，采用yolopose模型对视频图像中区域内的行人及行人姿态关键点进行检测，获取行人框信息和17个关键点，每个关键点由x、y和c三个参数组成；若识别到某个关键点的置信度低于预设的置信度阈值时，则认为该关键点被遮挡的步骤之后还包括：
9、选取鼻子关键点、左眼关键点、右眼关键点，通过线性变换与裁剪的方式获取该行人的面部图像；
10、采用人脸识别对该行人进行身份认证，并将认证结果储存在该轨迹的数据库中。
11、进一步地，采用yolopose模型对视频图像中区域内的行人及行人姿态关键点进行检测，获取行人框信息和17个关键点，每个关键点由x、y和c三个参数组成；若识别到某个关键点的置信度低于预设的置信度阈值时，则认为该关键点被遮挡的步骤之后还包括：
12、选取左肩关键点、右肩关键点，判断行人画面是否属于正面类图像、背面类图像或者其他类图像图像；
13、使用osnet模型将该行人转码为512维特征向量，并储存在该轨迹相应的正面图像库、背面图像库或其他图像库中。
14、进一步地，选取左肩关键点、右肩关键点，判断行人画面是否属于正面类图像、背面类图像或者其他类图像图像的步骤中，依据被检测行人左肩关键点与右肩关键点的相对位置，判断被检测行人图像的类别：若左肩关键点在右肩关键点的右侧，且水平距离大于行人检测框宽度的三分之一时，则判断为正面图像；若左肩关键点在右肩关键点的左侧，且水平距离大于行人检测框宽度的三分之一时，则判断为背面图像；若以上两个条件均不满足，或行人肩部关键点被遮挡时，则判断为其他类图像。
15、进一步地，采用yolopose模型对视频图像中区域内的行人及行人姿态关键点进行检测，获取行人框信息和17个关键点，每个关键点由x、y和c三个参数组成；若识别到某个关键点的置信度低于预设的置信度阈值时，则认本文档来自技高网...
【技术保护点】
1.一种基于姿态关键点的目标追踪方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于姿态关键点的目标追踪方法，其特征在于，所述采用YoloPose模型对所述视频图像中区域内的行人及行人姿态关键点进行检测，获取行人框信息和17个关键点，每个关键点由x、y和c三个参数组成；若识别到某个关键点的置信度低于预设的置信度阈值时，则认为该关键点被遮挡的步骤之后还包括：
3.如权利要求2所述的基于姿态关键点的目标追踪方法，其特征在于，所述采用YoloPose模型对所述视频图像中区域内的行人及行人姿态关键点进行检测，获取行人框信息和17个关键点，每个关键点由x、y和c三个参数组成；若识别到某个关键点的置信度低于预设的置信度阈值时，则认为该关键点被遮挡的步骤之后还包括：
4.如权利要求3所述的基于姿态关键点的目标追踪方法，其特征在于，所述选取左肩关键点、右肩关键点，判断行人画面是否属于正面类图像、背面类图像或者其他类图像图像的步骤中，依据被检测行人左肩关键点与右肩关键点的相对位置，判断被检测行人图像的类别：若左肩关键点在右肩关键点的右侧，且水平距离大于行
5.如权利要求1至4任意一项所述的基于姿态关键点的目标追踪方法，其特征在于，所述采用YoloPose模型对所述视频图像中区域内的行人及行人姿态关键点进行检测，获取行人框信息和17个关键点，每个关键点由x、y和c三个参数组成；若识别到某个关键点的置信度低于预设的置信度阈值时，则认为该关键点被遮挡的步骤包括：
6.一种基于姿态关键点的目标追踪系统，其特征在于，包括：
7.如权利要求6所述的基于姿态关键点的目标追踪系统，其特征在于，所述基于姿态关键点的目标追踪系统还包括：
8.如权利要求7所述的基于姿态关键点的目标追踪系统，其特征在于，所述基于姿态关键点的目标追踪系统还包括：
9.如权利要求8所述的基于姿态关键点的目标追踪系统，其特征在于，所述判断模块中，依据被检测行人左肩关键点与右肩关键点的相对位置，判断被检测行人图像的类别：若左肩关键点在右肩关键点的右侧，且水平距离大于行人检测框宽度的三分之一时，则判断为正面图像；若左肩关键点在右肩关键点的左侧，且水平距离大于行人检测框宽度的三分之一时，则判断为背面图像；若以上两个条件均不满足，或行人肩部关键点被遮挡时，则判断为其他类图像。
10.如权利要求6至9任意一项所述的基于姿态关键点的目标追踪系统，其特征在于，所述检测模块包括：
...【技术特征摘要】
1.一种基于姿态关键点的目标追踪方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于姿态关键点的目标追踪方法，其特征在于，所述采用yolopose模型对所述视频图像中区域内的行人及行人姿态关键点进行检测，获取行人框信息和17个关键点，每个关键点由x、y和c三个参数组成；若识别到某个关键点的置信度低于预设的置信度阈值时，则认为该关键点被遮挡的步骤之后还包括：
3.如权利要求2所述的基于姿态关键点的目标追踪方法，其特征在于，所述采用yolopose模型对所述视频图像中区域内的行人及行人姿态关键点进行检测，获取行人框信息和17个关键点，每个关键点由x、y和c三个参数组成；若识别到某个关键点的置信度低于预设的置信度阈值时，则认为该关键点被遮挡的步骤之后还包括：
4.如权利要求3所述的基于姿态关键点的目标追踪方法，其特征在于，所述选取左肩关键点、右肩关键点，判断行人画面是否属于正面类图像、背面类图像或者其他类图像图像的步骤中，依据被检测行人左肩关键点与右肩关键点的相对位置，判断被检测行人图像的类别：若左肩关键点在右肩关键点的右侧，且水平距离大于行人检测框宽度的三分之一时，则判断为正面图像；若左肩关键点在右肩关键点的左侧，且水平距离大于行人检测框宽度的三分之一时，则判断为背面图像；若以上两个条件均不满足，或行人肩部关键点被遮挡时，...
【专利技术属性】
技术研发人员：许旭，夏露，冯耀，张孜勉，覃胤凯，徐辉，李艺林，朱周，
申请(专利权)人：中国联合网络通信有限公司湖南省分公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。