行为识别方法、训练方法、装置、电子设备和存储介质制造方法及图纸

技术编号:40827276 阅读:12 留言:0更新日期:2024-04-01 14:49
本发明专利技术涉及计算机技术领域,提供一种行为识别方法、训练方法、装置、电子设备和存储介质,其中行为识别方法包括:获取待识别视频,以及文本特征,所述文本特征是通过对比学习预训练大模型对预设的描述文本进行特征提取得到的;基于行为识别模型,对所述待识别视频中连续帧图像进行时序特征提取,并应用提取到的时序特征和所述文本特征,对所述待识别视频进行行为识别。本发明专利技术提供的行为识别方法、训练方法、装置、电子设备和存储介质,能够增强行为识别模型针对细粒度物品的特征表达能力,从而提高识别效果且使泛化性能更好。

【技术实现步骤摘要】

本专利技术涉及计算机,尤其涉及一种行为识别方法、训练方法、装置、电子设备和存储介质


技术介绍

1、对学生自习期间的行为进行识别和分析,统计专注和分心占比,对家长监督和指导学生专注力提升起到至关重要的作用。

2、相关技术中,可采用基于关键点或基于图像进行动作类别识别。然而,针对学生专注力检测的行为识别还需更细粒度的信息。例如定义玩电子产品为分心行为,当学生玩手机、平板或游戏掌机等,表示发生分心行为;而用笔袋、拿书、铅笔刀等可定义为正常的动作。因此单从行为的动作很难进行区分。在具备动作区分能力的同时,还需具备对手部交互物品的细粒度识别能力,然而现实场景物品繁多难以完全罗列,所以需要提供一种具有细粒度物品识别能力,且泛化性能更好的行为识别方案。


技术实现思路

1、本专利技术提供一种行为识别方法、训练方法、装置、电子设备和存储介质,用以解决现有技术中针对细粒度物品识别能力较差的缺陷。

2、本专利技术提供一种行为识别方法,包括:

3、获取待识别视频,以及文本特征,所述文本特征是通过本文档来自技高网...

【技术保护点】

1.一种行为识别方法,其特征在于,包括:

2.根据权利要求1所述的行为识别方法,其特征在于,所述基于行为识别模型,对所述待识别视频中连续帧图像进行时序特征提取,并应用提取到的时序特征和所述文本特征,对所述待识别视频进行行为识别,包括:

3.根据权利要求2所述的行为识别方法,其特征在于,所述将所述文本特征和所述局部时序特征进行融合,得到局部融合特征,包括:

4.根据权利要求1所述的行为识别方法,其特征在于,所述基于行为识别模型,对所述待识别视频中连续帧图像进行时序特征提取,并应用提取到的时序特征和所述文本特征,对所述待识别视频进行行为识别,包括:

...

【技术特征摘要】

1.一种行为识别方法,其特征在于,包括:

2.根据权利要求1所述的行为识别方法,其特征在于,所述基于行为识别模型,对所述待识别视频中连续帧图像进行时序特征提取,并应用提取到的时序特征和所述文本特征,对所述待识别视频进行行为识别,包括:

3.根据权利要求2所述的行为识别方法,其特征在于,所述将所述文本特征和所述局部时序特征进行融合,得到局部融合特征,包括:

4.根据权利要求1所述的行为识别方法,其特征在于,所述基于行为识别模型,对所述待识别视频中连续帧图像进行时序特征提取,并应用提取到的时序特征和所述文本特征,对所述待识别视频进行行为识别,包括:

5.根据权利要求4所述的行为识别方法,其特征在于,所述基于所述重要程度,对各所述文本特征进行融合,得到融合文本特征,包括:

【专利技术属性】
技术研发人员:程虎殷兵殷保才刘文超林垠
申请(专利权)人:科大讯飞股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1