本发明专利技术提供一种基于身体重合度与人体相似性相融合的老师跟踪方法，可以在有外因干扰的情况下，准确无误地进行老师跟踪。本发明专利技术包括如下步骤：步骤一，使用yolov3神经网络进行人头框检测，并将人头框扩充为人体框；步骤二，通过人体框重合度与相似度进行人体框跟踪；步骤三，控制PTZ模块对目标跟踪：通过步骤一和步骤二，摄像机得到了一个确切的老师目标，接下来控制PTZ模块让云台转动起来，使老师目标实时居中即可达到老师跟踪的效果。时居中即可达到老师跟踪的效果。
【技术实现步骤摘要】
一种基于身体重合度与人体相似性相融合的老师跟踪方法
[0001]本专利技术涉及一种基于身体重合度与人体相似性相融合的老师跟踪方法，用在视频教育用摄像机领域。
技术介绍
[0002]在视频教育的应用场景中，依赖边缘计算的AI摄像机逐渐走进国内外市场，它通常拥有多种内嵌算法如老师跟踪，学生起立检测等。这些算法的目的是在摄像机工作过程中给与视频观看者一种更合理的更符合逻辑的呈现方式，在老师跟踪的场景下，老师运动时摄像机会自动的转动云台，产生的图像里时刻保持着老师的位置居中，而在学生起立检测的场景下，每当有学生起立发言，摄像机会自动捕捉这个事件，通过转动云台推动变倍镜头的方式，给与发言学生一个特写。此类算法往往成为摄像机基本功能上的一个加分项，而在某些特定的产品设计方案下它也要作为一个必备功能，比如教室宽度超过8米，镜头拍摄的水平角度有限，无法拍全整个画面的时候，其就成为一个必备功能。
[0003]在当今人工智能技术发展迅猛的情况下，解决教育资源不足使得AI摄像机在视频教育领域有着举足轻重的作用。在此环境中，更关注围绕人实现的一些神经网络算法，人脸人头人体检测，学生/老师行为分析，学生/老师跟踪等一系列算法。老师跟踪算法是本专利技术关注的算法，一种以往的做法是用1颗变焦镜头l1加上1颗定焦镜头l2的方案来实现，通常用户看到的输出视频是由l1产生的，而在系统内l2主要负责产生并且输送给算法输入图像i，利用高斯混合模型(GMM)运动检测算法提取出所有前景运动像素点P＝GMM(l2
→
i)，连接相邻运动像素点并把大面积区域独立成矩形框，在时间序列上匹配矩形框达到一个跟踪的效果，需要假设：1)假设老师第一个走上讲台，2)假设老师一定会运动，3)假设走上讲台的学生不会影响老师，基于这三个假设l2的算法才会发挥它的作用，否则效果会变的非常不理想。l2算法开始工作后，侦测到移动目标即开始跟踪，同时进行ptz(Pan/Tilt/Zoom，意为：云台全方位(左右/上下)移动及镜头变倍、变焦控制)操作控制l1给老师一个特写画面。此类算法与三个假设强相关，这样会带来一些限制和瓶颈，突破这三个假设是本专利技术要解决的第一个难题。
[0004]对于上述算法的实现逻辑来说，首先GMM做运动检测的效果并不是很理想，噪点，光照，物体移动速度都会让GMM无法输出正确结果，其次，前景运动像素点需要通过图像形态学开运算之后，运用相邻点连接的逻辑确定矩形框，用来代表运动的人体框，凌乱的前景运动像素点会导致矩形框在时间序列上时大时小，偶尔还会分离成多个框，进而导致时序上框体匹配的失效，设备内的跟踪算法也就失效了。这是本专利技术要解决的第二个难题。
技术实现思路
[0005]本专利技术的目的在于克服现有技术中存在的上述不足，而提供一种结构设计合理的基于身体重合度与人体相似性相融合的老师跟踪方法，可以在有外因干扰的情况下，准确无误地进行老师跟踪。
[0006]本专利技术解决上述问题所采用的技术方案是：一种基于身体重合度与人体相似性相融合的老师跟踪方法，其特征在于：包括如下步骤：
[0007]步骤一，使用yolov3神经网络进行人头框检测，并将人头框扩充为人体框，包括如下步骤：
[0008]1)首先使用yolov3神经网络进行人头框检测，得到人头框集合H＝{h1,h2,...,h
n
}，其中人头框为该人头框左上角坐标点，为该人头框右下角坐标点；
[0009]2)将人头框h扩充为人体框b，b＝[x
min
,x
max
,y
min
,y
max
]T
,其中x
min
,x
max
,y
min
,y
max
计算为：
[0010][0011](θ1,θ2,θ3,θ4代表左上角与右下角坐标点各自的横纵坐标延申距离；进而得到人体框集合B＝{b1,b2,...,b
n
}
[0012]步骤二，通过人体框重合度与相似度进行人体框跟踪，包括如下步骤：
[0013]1)初步跟踪，计算两个人体框面积的交并比IOU，得到人体框重合度fun(r)：
[0014]当交并比IOU的值r≥阈值thd时，表示两个人体框重叠，设fun(r)＝1；当交并比IOU的值r＜阈值thd时，表示两个人体框不重叠，设fun(r)＝0；
[0015]2)提取当前帧所有人体框的Reid特征；
[0016]3)计算相似度纠正跟踪目标：首先根据步骤一得到当前帧人体框集合，根据步骤二2)提取当前帧每个人体框的reid特征，然后利用历史跟踪目标集合，附加历史每个跟踪目标的一系列Reid特征，重复下列步骤对目标进行纠正与跟踪：
[0017]31)将当前帧的所有人体框b,与历史跟踪目标中的一个目标依次计算交并比IOU,得到所有人体框b与老师人体框g匹配成功的数量集合G；
[0018]32)当集合G内元素的数量等于0，代表无目标IOU匹配成功，跳过下列步骤；
[0019]33)当集合G内元素的数量等于1，代表存在1个目标匹配成功，即为老师，并跳过下列步骤；
[0020]34)当集合G内元素的数量大于1，首先整理集合G内指向的所有人体框b的Reid特征f
b
，分别计算f
b
与老师人体框的Reid特征f
g
之间的欧氏距离d,计算出的d值即代表人体框b与老师人体框g的人体框相似度，找到平均最小的d对应的人体框b就是老师目标；
[0021]35)重复31)
‑
34)直到所有的人体框b与所有的历史目标判断完毕；
[0022]步骤三，控制PTZ模块对目标跟踪：通过步骤一和步骤二，摄像机得到了一个确切的老师目标，接下来控制PTZ模块让云台转动起来，使老师目标实时居中即可达到老师跟踪的效果。
[0023]本专利技术步骤三中，所述的PTZ模块的控制方式为：计算T的中心点，同时计算此中心点与画面中心点距离，控制PTZ模块，尽量地缩小中心点间的距离即可。
[0024]本专利技术所述的扩充人体框使用的θ1,θ2,θ3,θ4是通过观测与经验获得。
[0025]本专利技术所述的阈值thd是通过观测与经验获得。
[0026]本专利技术步骤二2)中，设f为一个目标某一时刻提取的Reid特征：
[0027]f＝reid(b)∈R
256
，
[0028]其中reid()代表Reid特征函数，把人体框b输入函数内，Reid特征函数会把框内人体像素点抽象成为一个256维实数向量，用来代表b在这一时刻的人体特征。
[0029]本专利技术所述的集合
[0030]本专利技术所述的欧氏距离其中M代表老师人体框g在历史时序中提取出的M个Reid特征，256代表256维特征数量。
[0031]本专利技术与现有技术相比，具有以下优点和效果：
[0032]本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于身体重合度与人体相似性相融合的老师跟踪方法，其特征在于：包括如下步骤：步骤一，使用yolov3神经网络进行人头框检测，并将人头框扩充为人体框，包括如下步骤：1)首先使用yolov3神经网络进行人头框检测，得到人头框集合H＝{h1,h2,...,h
n
}，其中人头框中人头框为该人头框左上角坐标点，为该人头框右下角坐标点；2)将人头框h扩充为人体框b，b＝[x
min
,x
max
,y
min
,y
max
]
T
,其中x
min
,x
max
,y
min
,y
max
计算为：(θ1,θ2,θ3,θ4代表左上角与右下角坐标点各自的横纵坐标延申距离；进而得到人体框集合B＝{b1,b2,...,b
n
}；步骤二，通过人体框重合度与相似度进行人体框跟踪，包括如下步骤：1)初步跟踪，计算两个人体框面积的交并比IOU，得到人体框重合度fun(r)：当交并比IOU的值r≥阈值thd时，表示两个人体框重叠，设fun(r)＝1；当交并比IOU的值r＜阈值thd时，表示两个人体框不重叠，设fun(r)＝0；2)提取当前帧所有人体框的Reid特征；3)计算相似度纠正跟踪目标：首先根据步骤一得到当前帧人体框集合，根据步骤二2)提取当前帧每个人体框的reid特征，然后利用历史跟踪目标集合，附加历史每个跟踪目标的一系列Reid特征，重复下列步骤对目标进行纠正与跟踪：31)将当前帧的所有人体框b,与历史跟踪目标中的一个目标依次计算交并比IOU,得到所有人体框b与老师人体框g匹配成功的数量集合G；32)当集合G内元素的数量等于0，代表无目标IOU匹配成功，跳过下列步骤；33)当集合G内元素的数量等于1，代表存在1个目标匹配成功，即为老师，并跳过下列步骤；34)...
【专利技术属性】
技术研发人员：王全强，王瀚峥，库浩华，
申请(专利权)人：杭州晨安科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。