一种人体跟踪方法和系统技术方案

本申请实施例公开了一种人体跟踪方法和系统，所述方法包括：基于视频帧图像选择目标跟踪模式，以根据预设目标启动模式确定跟踪人体目标；基于各自对应的模型得到目标跟踪模式、骨骼特征信息、人脸特征信息、目标行为信息、人体颜色特征信息、目标运动信息和目标跟踪方式，并输入人体跟踪模型，输出跟踪目标人体的位置信息和行为信息。从而基于人体骨骼、人脸特征、人体行为和颜色特征信息等不同维度信息进行人体的跟踪，高效辅助人体跟踪拍摄。高效辅助人体跟踪拍摄。高效辅助人体跟踪拍摄。

【技术实现步骤摘要】
一种人体跟踪方法和系统


[0001]本申请实施例涉及计算机视觉
，具体涉及一种人体跟踪方法和系统。

技术介绍

[0002]随着人工智能技术和互联网技术的发展，随着“人工智能赋能教师”、“人工智能赋能教学”要求的提出，“智慧教室”改变了传统的教学模式和学习环境，对录播系统中的跟踪技术也提出了更大挑战。
[0003]以前的录播环境是基于传统的教学环境，采用多个辅助摄像头采集定位视频图像来进行教师定位分析和板书定位分析。并且图像分析定位只能简单依赖目标的运动特征，对于更加灵活自由的教学环境，跟踪定位的精度和鲁棒性有很大挑战。

技术实现思路

[0004]为此，本申请实施例提供一种人体跟踪方法和系统，基于人体骨骼、人脸特征、人体行为和颜色特征信息等不同维度信息进行跟踪，高效辅助跟踪拍摄。
[0005]为了实现上述目的，本申请实施例提供如下技术方案：
[0006]根据本申请实施例的第一方面，提供了一种人体跟踪方法，所述方法包括：
[0007]获取视频帧图像；
[0008]利用人体骨骼检测算法检测视频帧图像中是否有可识别的人体骨骼数据；
[0009]若有，基于视频帧图像选择目标跟踪模式，以根据预设目标启动模式确定跟踪人体目标；
[0010]基于人体骨骼数据进行骨骼关键点检测，得到骨骼特征信息；并基于骨骼特征信息检测到人脸面对镜头时，进行人脸检测及人脸特征提取，得到人脸特征信息；并利用目标行为识别模型进行人体姿态信息分析，得到目标行为信息；并利用人体颜色特征模型进行人体上半身区域随机点以及灰度值采样，得到人体颜色特征信息；并根据骨骼特征信息中的骨骼位置信息和姿态信息进行运动信息检测，得到目标运动信息；并根据可识别的人体骨骼数据及其与跟踪目标的距离关系进行跟踪人数模式选择，得到目标跟踪方式；
[0011]将目标跟踪模式、骨骼特征信息、人脸特征信息、目标行为信息、人体颜色特征信息、目标运动信息和目标跟踪方式输入人体跟踪模型，输出跟踪目标人体的位置信息和行为信息。
[0012]可选地，所述基于人体骨骼数据进行骨骼关键点检测，得到骨骼特征信息，包括：
[0013]基于人体骨骼数据中的头、颈、肩、臂、腰部位的骨骼数据以及头颈方向数据、肩宽数据、上半身高数据、头肩肘手之间的位置关系数据，在人体骨骼选取设定关键点区域的数据进行采集；
[0014]基于采集到的人体骨骼关键点数据进行骨骼特征处理，得到骨骼特征信息；所述骨骼特征信息包括人体运动方向信息、人体位置信息、人体尺寸信息和人体姿态信息。
[0015]可选地，所述方法还包括：
[0016]若检测到人体姿态信息为举手，则添加或者切换跟踪人体目标。
[0017]可选地，基于骨骼特征信息检测到人脸面对镜头时，进行人脸检测及人脸特征提取，得到人脸特征信息，包括：
[0018]根据骨骼特征信息确定人脸检测区域，利用人脸检测模型进行人脸检测，检测人脸正面对着镜头时，利用人脸特征提取模型进行人脸特征提取，得到人脸特征信息。
[0019]可选地，利用目标行为识别模型进行人体姿态信息分析，得到目标行为信息，包括：
[0020]获取人体骨骼数据中的头、肩、颈、肘、手、腰关键节点及长度、角度的样本数据；
[0021]利用目标行为识别模型检测目标行为，得到目标行为信息；所述目标行为信息包括写板书和讲解PPT；其中，所述目标行为识别模型是通过对写板书、讲解PPT两种目标行为进行建模，区分两种目标行为的正负样本，对正负样本基于向量机方法进行训练，得到目标行为识别模型参数，以构建目标行为识别模型。
[0022]可选地，根据可识别的人体骨骼数据及其与跟踪目标的距离关系进行跟踪人数模式选择，得到目标跟踪方式，包括：
[0023]获取跟踪人体目标周围设定的跟踪范围内可识别的人体骨骼数据的数量及其与跟踪人体目标的距离；
[0024]根据可识别的人体骨骼数据的数量及其与跟踪人体目标的距离关系，添加跟踪状态信息，确定目标跟踪方式；所述目标跟踪方式包括单人体目标跟踪方式、双人体目标跟踪方式和多人体目标跟踪方式。
[0025]可选地，人体跟踪模型的训练过程包括：
[0026]针对视频帧图像中获取到的目标跟踪模式、骨骼特征信息、人脸特征信息、目标行为信息、人体颜色特征信息、目标运动信息和目标跟踪方式进行建模，依据每个信息对应的模型对视频帧图像进行分类，分别采集不同模型的样本数据，对每个模型对应的视频样本数据采用向量机方法进行训练，得到人体跟踪模型参数，以构建人体跟踪模型。
[0027]根据本申请实施例的第二方面，提供了一种人体跟踪系统，所述系统包括：
[0028]视频图像获取模块，用于获取视频帧图像；
[0029]骨骼检测模块，用于利用人体骨骼检测算法检测视频帧图像中是否有可识别的人体骨骼数据；
[0030]跟踪目标确定模块，用于基于视频帧图像选择目标跟踪模式，以根据预设目标启动模式确定跟踪人体目标；
[0031]模型调用模块，用于基于人体骨骼数据进行骨骼关键点检测，得到骨骼特征信息；并基于骨骼特征信息检测到人脸面对镜头时，进行人脸检测及人脸特征提取，得到人脸特征信息；并利用目标行为识别模型进行人体姿态信息分析，得到目标行为信息；并利用人体颜色特征模型进行人体上半身区域随机点以及灰度值采样，得到人体颜色特征信息；并根据骨骼特征信息中的骨骼位置信息和姿态信息进行运动信息检测，得到目标运动信息；并根据可识别的人体骨骼数据及其与跟踪目标的距离关系进行跟踪人数模式选择，得到目标跟踪方式；
[0032]跟踪目标信息获取模块，用于将目标跟踪模式、骨骼特征信息、人脸特征信息、目标行为信息、人体颜色特征信息、目标运动信息和目标跟踪方式输入人体跟踪模型，输出跟
踪目标人体的位置信息和行为信息。
[0033]根据本申请实施例的第三方面，提供了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行以实现上述第一方面所述的方法。
[0034]根据本申请实施例的第四方面，提供了一种计算机可读存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现上述第一方面所述的方法。
[0035]综上所述，本申请实施例提供了一种人体跟踪方法和系统，通过获取视频帧图像；利用人体骨骼检测算法检测视频帧图像中是否有可识别的人体骨骼数据；若有，基于视频帧图像选择目标跟踪模式，以根据预设目标启动模式确定跟踪人体目标；基于人体骨骼数据进行骨骼关键点检测，得到骨骼特征信息；并基于骨骼特征信息检测到人脸面对镜头时，进行人脸检测及人脸特征提取，得到人脸特征信息；并利用目标行为识别模型进行人体姿态信息分析，得到目标行为信息；并利用人体颜色特征模型进行人体上半身区域随机点以及灰度值采样，得到人体颜色特征信息；并根据骨骼特征信息中的骨骼位置信息和姿态信息进行运动信息检测本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人体跟踪方法，其特征在于，所述方法包括：获取视频帧图像；利用人体骨骼检测算法检测视频帧图像中是否有可识别的人体骨骼数据；若有，基于视频帧图像选择目标跟踪模式，以根据预设目标启动模式确定跟踪人体目标；基于人体骨骼数据进行骨骼关键点检测，得到骨骼特征信息；并基于骨骼特征信息检测到人脸面对镜头时，进行人脸检测及人脸特征提取，得到人脸特征信息；并利用目标行为识别模型进行人体姿态信息分析，得到目标行为信息；并利用人体颜色特征模型进行人体上半身区域随机点以及灰度值采样，得到人体颜色特征信息；并根据骨骼特征信息中的骨骼位置信息和姿态信息进行运动信息检测，得到目标运动信息；并根据可识别的人体骨骼数据及其与跟踪目标的距离关系进行跟踪人数模式选择，得到目标跟踪方式；将目标跟踪模式、骨骼特征信息、人脸特征信息、目标行为信息、人体颜色特征信息、目标运动信息和目标跟踪方式输入人体跟踪模型，输出跟踪目标人体的位置信息和行为信息。2.如权利要求1所述的方法，其特征在于，所述基于人体骨骼数据进行骨骼关键点检测，得到骨骼特征信息，包括：基于人体骨骼数据中的头、颈、肩、臂、腰部位的骨骼数据以及头颈方向数据、肩宽数据、上半身高数据、头肩肘手之间的位置关系数据，在人体骨骼选取设定关键点区域的数据进行采集；基于采集到的人体骨骼关键点数据进行骨骼特征处理，得到骨骼特征信息；所述骨骼特征信息包括人体运动方向信息、人体位置信息、人体尺寸信息和人体姿态信息。3.如权利要求2所述的方法，其特征在于，所述方法还包括：若检测到人体姿态信息为举手，则添加或者切换跟踪人体目标。4.如权利要求1所述的方法，其特征在于，基于骨骼特征信息检测到人脸面对镜头时，进行人脸检测及人脸特征提取，得到人脸特征信息，包括：根据骨骼特征信息确定人脸检测区域，利用人脸检测模型进行人脸检测，检测人脸正面对着镜头时，利用人脸特征提取模型进行人脸特征提取，得到人脸特征信息。5.如权利要求1所述的方法，其特征在于，利用目标行为识别模型进行人体姿态信息分析，得到目标行为信息，包括：获取人体骨骼数据中的头、肩、颈、肘、手、腰关键节点及长度、角度的样本数据；利用目标行为识别模型检测目标行为，得到目标行为信息；所述目标行为信息包括写板书和讲解PPT；其中，所述目标行为识别模型是通过对写板书、讲解PPT两种目标行为进行建模，区分两种目标行为的正负样本，对正负样本基于向量机方法进行训练，得到目标行为识别模型参数，以构建目标行为识别模型。6....

【专利技术属性】
技术研发人员：苗鱼，骆新，赵玺，姚威，
申请(专利权)人：北京中广上洋科技股份有限公司，
类型：发明
国别省市：