一种行为判别方法、装置、设备及存储介质制造方法及图纸

技术编号:41718512 阅读:13 留言:0更新日期:2024-06-19 12:45
本申请公开了一种行为判别方法、装置、设备及存储介质,其中,所述方法包括:获取待测对象的视频帧序列;通过训练好的特征提取网络对所述视频帧序列进行特征提取,得到动作特征;所述特征提取网络的网络参数是基于损失值调整的;所述损失值是基于样本帧序列对中每一所述样本帧对应的第二帧级特征和两个分支网络中每一所述分支网络对应的样本分类结果确定的;所述两个分支网络的结构是相同的;所述样本帧序列对包括类别相同的两个样本帧序列;基于预设的至少一个动作类别分别对应的模板特征与所述动作特征之间的相似度,确定所述视频帧序列中待测对象的动作类别。

【技术实现步骤摘要】

本申请涉及人机交互,尤其涉及一种行为判别方法、装置、设备及存储介质


技术介绍

1、当前很多动态交互行为都是先经过一个关键点估计网络,然后结合关键点信息设计相应的策略来完成动作行为识别。这种方案的策略设计复杂而且泛化性比较弱,比如点头、摇头如何正确定义才能消除误触发,比如对次数在策略层面做约束,但是会出现边界抖动现象。另外,肢体交互相当于一门语言,如何涵盖尽可能多的语义表达,这可以看作开集识别问题,也就是最终方案需要支持增量学习。


技术实现思路

1、有鉴于此,本申请实施例至少提供一种行为判别方法、装置、设备及存储介质。

2、本申请实施例的技术方案是这样实现的:

3、一方面,本申请实施例提供一种行为判别方法,所述方法包括:获取待测对象的视频帧序列;通过训练好的特征提取网络对所述视频帧序列进行特征提取,得到动作特征;所述特征提取网络的网络参数是基于损失值调整的;所述损失值是基于样本帧序列对中每一所述样本帧对应的第二帧级特征和两个分支网络中每一所述分支网络对应的样本分类结果确定的;所述两个分本文档来自技高网...

【技术保护点】

1.一种行为判别方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述特征提取网络包括第一特征提取网络、时序融合网络以及第二特征提取网络;所述通过训练好的特征提取网络对所述视频帧序列进行特征提取,得到动作特征,包括:

3.根据权利要求1所述的方法,其特征在于,所述基于预设的至少一个动作类别分别对应的模板特征与所述动作特征之间的相似度,确定所述视频帧序列中待测对象的动作类别,包括:

4.根据权利要求1至3任一项所述的方法,其特征在于,所述特征提取网络的训练过程,包括:

5.根据权利要求4所述的方法,其特征在于,所述特...

【技术特征摘要】

1.一种行为判别方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述特征提取网络包括第一特征提取网络、时序融合网络以及第二特征提取网络;所述通过训练好的特征提取网络对所述视频帧序列进行特征提取,得到动作特征,包括:

3.根据权利要求1所述的方法,其特征在于,所述基于预设的至少一个动作类别分别对应的模板特征与所述动作特征之间的相似度,确定所述视频帧序列中待测对象的动作类别,包括:

4.根据权利要求1至3任一项所述的方法,其特征在于,所述特征提取网络的训练过程,包括:

5.根据权利要求4所述的方法,其特征在于,所述特征提取网络包括第一特征提取网络、时序融合网络以及第二特征提取网络;所述通过每一所述分支网络的特征提取网络分别对样本帧序列对中的一个样本帧序列进行...

【专利技术属性】
技术研发人员:胡先军徐坚江
申请(专利权)人:阿维塔科技重庆有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1