【技术实现步骤摘要】
家庭同胞互动过程中负面情绪的监督系统及方法
[0001]本专利技术涉及情绪监督
，更确切地说，它涉及家庭同胞互动过程中负面情绪的监督系统及方法。
技术介绍
[0002]家庭同胞间拥有大量的一起互动的时间，尤其在孩童阶段，同胞在互动中相互学习、共同进步，但同胞互动具有偶发性和易中断性，互动过程中会由于各种原因产生负面情绪。
[0003]2022年公开的专利CN202111290611.0“一种基于表情和语音双模态的儿童情感识别算法”，介绍了利用语音特征和表情特征的情感标签信息构建语义特征空间，通过多尺度特征提取方法从音频、视频中选择出对情感分类有贡献的重要特征，实现儿童情感准确识别。2019年公开的专利CN201811273105.9“基于多重注意力机制长短时记忆网络的儿童情感识别方法”，介绍了通过将注意力机制结合时序的深度的策略引入长短记忆网络，解决儿童情感识别方法中存在的语音长短不一的问题，增加了儿童情感识别方法的灵活性。以上两项专利都集中于以儿童个体为研究对象的算法设计，没有将儿童之间的相互影响考虑在内。<...
【技术保护点】
【技术特征摘要】
1.家庭同胞互动过程中负面情绪的监督系统，其特征在于，包括：依次通信连接的数据输入部分、数据处理部分和结果呈现部分；所述数据输入部分包括视频采集模块；所述数据处理部分包括同胞互动监督模块、负面情绪分析模块和数据集；所述结果呈现部分包括负面情绪提示模块和导致负面情绪的关键视频片段呈现模块。2.根据权利要求1所述的家庭同胞互动过程中负面情绪的监督系统，其特征在于，所述数据集包括预收集同胞互动视频和系统在使用过程中收集的同胞互动视频，数据集中的同胞互动视频源数据被分为音频与图像两个维度进行数据标注。3.根据权利要求2所述的家庭同胞互动过程中负面情绪的监督系统，其特征在于，所述数据集中的同胞互动视频源数据被分为音频与图像两个维度进行数据标注，包括：在音频部分，参考中文对话情绪语料数据集对收集到的音频数据进行标注，标注内容包括情感类别和情感强度；在图像部分，参考COIN数据集对收集到的图像中的人物互动，人人互动行为进行标注，标注内容包括场景、对象、动作和事件。4.家庭同胞互动过程中负面情绪的监督方法，其特征在于，由权利要求1所述的家庭同胞互动过程中负面情绪的监督系统执行，包括：步骤1、实时视频采集：通过摄像头对视频进行实时采集；步骤2、同胞互动开始时间点识别：运用目标检测算法YOLO进行目标识别，并结合隐马尔科夫链模型HMM和混合高斯模型GMM进行语音检测，判断年幼孩童和年长孩童开始互动的行为，并将所述开始互动的行为的时间点记录为同胞互动片段的开始时间点；步骤3、年长年幼孩童互动轮次拆分：由步骤2得出互动片段中同胞间发起互动的行为人与互动对象，将步骤2得出的同胞互动开始的时间点记为同胞在本互动片段中的第一个互动轮次开始的时间点；互动轮次发起行为人的初始行为和互动对象的行为构成了一个互动轮次，以此为互动轮次的拆分依据，并进行互动轮次拆分；如果互动对象没有表现出任何反应而是呈现无理答的状态，也记录为互动对象的行为；步骤4、同胞间的双向效应值的计算：建立同胞互动双向效应计算模型，计算同胞互动过程中个体及互动对象的情绪效应值；步骤5、负面情绪判断：根据所述情绪效应值判断同胞间是否出现了负面情绪；如果出现了负面情绪，进入步骤6.1；如果没有出现负面情绪，进入步骤6.2；步骤6.1、对同胞间出现的负面情绪对家长进行提示，并进入步骤7.1；步骤6.2、判断互动是否继续，如果互动继续进行，进入步骤3；如果互动没有持续则进入步骤7.2；步骤7.1、记录同胞之间出现负面情绪的时间点，并可根据用户选择截取出现负面情绪的前后特定时长的视频用于向家长呈现负面情绪出现前后的同胞的互动，随后进入步骤6.2；步骤7.2、判断视频是否继续进行拍摄，如果继续进行拍摄，进入步骤2，如果视频拍摄停止则分析结束。5.根据权利要求4所述的家庭同胞互动过程中负面情绪的监督方法，其特征在于，步骤3中，通过拆分互动轮次做序列建模，得到同胞互动片段中的情绪序列，包括：将年幼孩童Y与年长孩童O在各时间点t的互动过程中的情绪特征d输入LSTM网络，使用Softmax函数计算在互动过程中同胞负面情绪B...
【专利技术属性】
技术研发人员：刘宣慧，郗宇凡，王可幸，周子洪，陈希，孙凌云，陶冶，周楚轶，杨程，
申请(专利权)人：浙大城市学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。