基于领域泛化的远程视频交流人员情绪监测方法及系统技术方案

技术编号:41740712 阅读:36 留言:0更新日期:2024-06-19 13:00
本发明专利技术公开了一种基于领域泛化的远程视频交流人员情绪监测方法及系统,涉及视频理解、模式识别等技术领域。本发明专利技术主要内容包括:上肢关键姿态数据集设计;从原始视频流自动识别截取异常情绪视频段;利用多源情绪数据集,进行领域对抗学习,提升情绪识别的泛化能力;进行基于领域泛化的情绪检测。本发明专利技术的有益效果包括:实现在远程视频交流中,自动感知参与者的负面情绪。本发明专利技术提供了一种自制上肢关键姿态数据集,利用关键姿态定位与负面情绪相关的视频帧,截取含有负面情绪的视频段。提出一种基于领域泛化的情绪识别方法,利用多源情绪数据集,进行领域对抗学习,获得领域不变特征,提高情绪识别网络的泛化性能。

【技术实现步骤摘要】

本专利技术面向各类远程视频交流场景,利用机器视觉、多模态特征融合和领域泛化等技术对视频中的与会者,进行情绪分析,实现对参会人员异常情绪的监测。具体而言,本专利技术涉及视频理解、模式识别等,尤其是涉及一种异常情绪检测与识别方法及系统。


技术介绍

1、随着计算机技术的不断发展,人工智能技术的进步带来了人机交互的新里程碑。目前,人机交互技术的研究主要集中在物理层面,即用户利用智能交互设备实现人与机器之间信息交互。如果将情感分析引入至机器交互中,将有望在机器感知用户状态的基础上进一步分析用户心理和意图,更深刻理解用户行为动机,进行异常情绪的监测,提升人机交互中的用户体验,避免因负面情绪导致工作失误、造成损失,或对社会的公共安全带来隐患。

2、申请号为cn202010695698.9的专利申请公开了一种基于音视频的学生心理状态分析方法、装置、终端及介质,通过全景视频识别出学生的激活度、愉悦度和活跃度;通过音频计算出学生的负面情绪;最后综合激活度、愉悦度、活跃度及负面情绪等多种模态来分析学生的心理状态。申请号为cn202011540307.2的专利申请公开本文档来自技高网...

【技术保护点】

1.基于领域泛化的远程视频交流人员情绪监测方法及系统,其特征在于,包括以下步骤:

2.根据权利要求1所述的方法,其特征在于,所述构建负面情绪相关的上肢关键姿态数据集;对负面情绪表达紧密相关的关键姿态动作进行整理,利用负面情绪表达的关键姿态定位到与负面情绪相关的视频帧,为后续截取含有负面情绪的视频片段做准备。

3.根据权利要求1所述的方法,其特征在于,所述获取并处理待检测原始视频流,自动识别截取出异常情绪视频段,具体为提出一种基于关键姿态的视频帧定位方法,截取长视频中的负面情绪片段,包括:

4.根据权利要求1所述的方法,其特征在于,所述利用多源情绪数据集...

【技术特征摘要】

1.基于领域泛化的远程视频交流人员情绪监测方法及系统,其特征在于,包括以下步骤:

2.根据权利要求1所述的方法,其特征在于,所述构建负面情绪相关的上肢关键姿态数据集;对负面情绪表达紧密相关的关键姿态动作进行整理,利用负面情绪表达的关键姿态定位到与负面情绪相关的视频帧,为后续截取含有负面情绪的视频片段做准备。

3.根据权利要求1所述的方法,其特征在于,所述获取并处理待检测原始视频流,自动识别截取出异常情绪视频段,具体为提出一种基于关键姿态的视频帧定位方法,截取长视频中的负面情...

【专利技术属性】
技术研发人员:何毅程浩徐建平纪一凡陈玉明孙志创梅雪
申请(专利权)人:南京工业大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1