基于多模态数据融合的视频智能分析系统及方法技术方案

技术编号:40418101 阅读:19 留言:0更新日期:2024-02-20 22:36
本申请涉及智能分析领域,其具体地公开了一种基于多模态数据融合的视频智能分析系统及方法,其采用基于深度学习的智能分析算法,通过对心理咨询过程中的视频数据进行特征提取以得到咨询者的行为模式特征,通过对心理咨询过程中的音频数据进行特征提取以得到咨询者的声音特征,进而融合上述特征用以辅助对咨询者心理健康状态进行评估。

【技术实现步骤摘要】

本申请涉及智能分析领域,且更为具体地,涉及一种基于多模态数据融合的视频智能分析系统及方法


技术介绍

1、大学是一个人生重要的阶段,对个人的成长和发展起着关键作用。大学期间是一些心理健康问题首次出现或加重的时期,如焦虑、抑郁、压力等,及早关注大学生心理健康可以及时发现和预防这些问题,避免其对学生的健康和学业造成严重影响。现在,很多大学也提供心理健康支持和资源,包括心理健康教育中心、心理健康辅导站等。相关工作点都会有工作人员提供心理咨询服务。

2、在提供心理咨询服务过程中,往往是咨询者与心理咨询师面对面沟通,通过这个交流的过程,心理咨询师可以对咨询者的情况做出判断,并根据对方的情况采取相应地措施,但心理咨询师有时也可能会没注意到一些细节,从而导致判断错误的情况发生。在进行心理健康状况评估的过程中,人为判断心理健康状态受人的主观影响太大。

3、因此,需要一种基于多模态数据融合的视频智能分析方案。


技术实现思路

1、为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种基于多模态数据融本文档来自技高网...

【技术保护点】

1.一种基于多模态数据融合的视频智能分析系统,其特征在于,包括:

2.根据权利要求1所述的基于多模态数据融合的视频智能分析系统,其特征在于,所述视频采样模块,用于:以预定采样频率对所述心理咨询过程中的视频数据进行采样以得到所述多个行为监控关键帧。

3.根据权利要求2所述的基于多模态数据融合的视频智能分析系统,其特征在于,所述行为特征提取模块,包括:

4.根据权利要求3所述的基于多模态数据融合的视频智能分析系统,其特征在于,所述行为动态变化特征提取模块,用于:所述使用三维卷积核的第二卷积神经网络模型的各层在层的正向传递过程中分别对输入数据进行:

<...

【技术特征摘要】

1.一种基于多模态数据融合的视频智能分析系统,其特征在于,包括:

2.根据权利要求1所述的基于多模态数据融合的视频智能分析系统,其特征在于,所述视频采样模块,用于:以预定采样频率对所述心理咨询过程中的视频数据进行采样以得到所述多个行为监控关键帧。

3.根据权利要求2所述的基于多模态数据融合的视频智能分析系统,其特征在于,所述行为特征提取模块,包括:

4.根据权利要求3所述的基于多模态数据融合的视频智能分析系统,其特征在于,所述行为动态变化特征提取模块,用于:所述使用三维卷积核的第二卷积神经网络模型的各层在层的正向传递过程中分别对输入数据进行:

5.根据权利要求4所述的基于多模态数据融合的视频智能分析系统,其特征在于,所述声音特征编码模块,用于:所述第三卷积神经网络模型的各层在层的正向传递中对输入数据分别进行:

6.根据权利要求5所述的基于多模态数据...

【专利技术属性】
技术研发人员:陈蒙
申请(专利权)人:昆明蒙灼科技有限公司
类型:发明
国别省市:

相关技术
    暂无相关专利
网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1