【技术实现步骤摘要】
起立行为目标检测方法、装置、终端设备和存储介质
[0001]本专利技术实施例涉及图像处理
，尤其涉及起立行为目标检测方法、装置、终端设备和存储介质。
技术介绍
[0002]在教育资源电子化建设以及教学场景实时共享时，需要通过录播产品对教室场景进行视频数据采集。而在对教室场景进行视频数据采集时，学生起立和坐下行为识别是实现教学活动过程细节重现的重要功能。当录播系统检测到一个学生起立时，学生机会给予学生局部特写画面；当检测到2个或2个以上学生起立时，给予全景画面。
[0003]对于该功能的实现，业界常用的方法有：(1)动量检测算法，即通过帧差法、背景建模法检测运动区域，并通过光流识别运动区域的起立动作或坐下动作；(2)基于骨架关键点的行为识别方法，即通过关键点检测模型识别人体关键点，然后通过逻辑策略或者SVM(Support Vector Machines,支持向量机)、GCN(Graph Convolutional Network，图卷积网络)等行为识别方法确定学生行为。
[0004]专利技术人在通过以上...
【技术保护点】
【技术特征摘要】
1.一种起立行为目标检测方法，其特征在于，包括：对采集到的视频流逐帧进行目标检测和光流计算，对应分别得到视频帧中的起立目标和光流；跟踪相邻帧中的所述起立目标，确认各个起立目标对应的初始区域，提取每个初始区域的四肢区域；统计所述初始区域的光流数目，确认初始区域中的目标区域，所述目标区域为光流数目达到第一门限值的初始区域；确认所述目标区域的数量小于预设的区域门限值时，滤除所述目标区域中对应的四肢区域的光流，确认起立区域，所述起立区域为剩余的光流达到第二门限值的目标区域。2.根据权利要求1所述的方法，其特征在于，用于所述目标检测的目标检测模型包括依次连接的Backbone模块、FPN模块、PAN模块和FCOS检测头；所述视频流的图像帧输入所述Backbone模块；所述Backbone模块包括三个堆叠设置的MCSP模块，所述FCOS检测头的损失函数为GFocalloss和GIoUloss；所述FCOS检测头输出所述图像帧中的起立目标和坐姿目标。3.根据权利要求1所述的方法，其特征在于，所述统计所述初始区域的光流数目，确认初始区域中的目标区域，所述目标区域为光流数目达到第一门限值的初始区域，包括：统计所述视频流中的多个图像帧，获取相邻两个图像帧中对应的初始区域的光流数目，所述多个图像帧为当前图像帧及之前的预设数量的图像帧；将所述多个图像帧中，对应于同一初始区域最大的光流数目作为该初始区域在当前图像帧的光流数目；确认所述当前图像帧中光流数目达到第一门限值的初始区域为目标区域。4.根据权利要求1所述的方法，其特征在于，所述提取每个初始区域的四肢区域，包括：通过单人关键点估计模型，提取各个初始区域中的四肢关键点；根据所述四肢关键点对应的坐标，确认对应的四肢区域。5.根据权利要求4所述的方法，其特征在于，所述根据所述四肢关键点对应的坐标，确认对应的四肢区域，包括：获取所述四肢关键点中相邻两个关键点的坐标；根据所述相邻两个关键点的坐标确认矩形区域；将所有矩形区域的覆盖区域作为对应的四肢区域。6.根据权利要求5所述的方法，其特征在于，所述根据所述相邻两个关键点的坐标确认矩形区域，包括：计算所述相邻两个关键点的连线与水平方向的夹角其中，当x1‑
x2＞0，通过如下公式计算所述矩形区域的四个顶点坐标：
当x1‑
x2＜0，通过如下公式计算所述矩形区域的四个顶点坐标：其中，(x1,y1)为所述相邻两个关键点中纵坐标较大的点的坐标，(x2,y2)为所述相邻两个关键点中纵坐标较小的点的坐标，P1、P2、P3和P4表示所述矩形区域的四个顶点，l为所述相邻两个关键点的距离。7.根据权利要求5所述的方法，其特征在于，所述根据所述相邻两个关键点的坐标确认矩形区域，包括：根据所述相邻两个关键点的坐标确认对应的中心点坐标、矩形区域的左上角顶点坐标、矩形区域的初始高度值和初始宽度值；根据所述初始高度值和初始宽度值的比例关系，基于所述中心点坐标、初始高度值和初始宽度值，对所述矩形的左上角顶点坐标、初始高度值和初始宽度值进行修正，以确认所述矩形区域。8.根据权利要求7所述的方法，其特征在于，所述中心点坐标通过如下方式计算：所述左上角顶点坐标通过如下方式计算：所述初始宽度值通过如下方式计算：
width＝0.5
×...
【专利技术属性】
技术研发人员：张玉兵，
申请(专利权)人：广州视源电子科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。