一种视频通讯的情感分析方法技术

本发明专利技术涉及视频通讯技术领域，且公开了一种视频通讯的情感分析方法，包括人脸检测模块、面部表情识别模块、语音识别模块、关键词提取模块、ID‑关键词‑情绪数据库和同步分析模块，通过针对视频通讯中的音频和图像同步进行分析处理，一方面能对沟通双方的面部表情本身进行精准的分析，同时还可以结合语音识别对沟通双方的兴趣点和反感点进行精准的定位，辅助交流的一方或双方对通讯内容的把控和分析总结，实用意义较为明显，同时本技术方案全部流程均在端上进行处理，对用户的隐私起到绝对的保护作用。

An emotion analysis method of video communication

【技术实现步骤摘要】
一种视频通讯的情感分析方法
本专利技术涉及视频通讯
，具体为一种视频通讯的情感分析方法。
技术介绍
留守儿童的教育问题是当前社会的一大痛点，一方面在外务工的父母由于自身的现实状况不能频繁回家与子女交流，另一方面这些父母大多数不具备足够的情感分析与导向能力，从而对与子女的沟通进行掌控能力不足，人们由于对沟通效率的极大要求，沟通双方在大多数具有急切情感分析需要且难以临场的情况下均会采用视频通讯方式，譬如商务会谈、在线教育、亲情交流等。视频通讯是现在的主流沟通方式之一，具有远超文本聊天、语音聊天的信息传递能力，基于文本的通讯方式对于通讯双方的教育水平和文本编辑能力都具有较高的要求，且不能有效的对双方的情绪、断句进行表示，从而可能引入不必要的歧义和误会，而基于语音的通讯方式虽然一定程度解决了文本通讯方式的几个缺点，但依然不能表示双方在非发言时间的状态，甚至双方发言时的投入状况也需要较长时间才能分析出来，视频通讯进一步解决了语音通讯所遗留的问题。然而当前的视频聊天技术通常存在以下几个技术问题：1、现有视频聊天基于图像颜色、传统特征点的技术方案识别精度较低，很难对沟通双方产生实际的指导作用本文档来自技高网...

【技术保护点】
1.一种视频通讯的情感分析方法，包括人脸检测模块、面部表情识别模块、语音识别模块、关键词提取模块、ID‑关键词‑情绪数据库和同步分析模块，其特征在于：S1、预先训练所述人脸检测模块和所述面部表情识别模块；S2、通过预先训练好的所述人脸检测模块对传来一帧视频图像进行人脸检测，然后截取人脸部分图像送入面部表情识别模块进行识别,得到当前通讯对象的此刻可能性表情；S3、在S1、S2两个流程处理的同时，通过所述语音识别模块实时对聊天内容进行识别，通过所述关键词提取模块对识别的语音的关键词进行提取；S4、所述ID‑关键词‑情绪数据库在该时间点对关键词与表情识别结果进行同步汇总，得到对方对聊天内容的关注点和...

【技术特征摘要】
1.一种视频通讯的情感分析方法，包括人脸检测模块、面部表情识别模块、语音识别模块、关键词提取模块、ID-关键词-情绪数据库和同步分析模块，其特征在于：S1、预先训练所述人脸检测模块和所述面部表情识别模块；S2、通过预先训练好的所述人脸检测模块对传来一帧视频图像进行人脸检测，然后截取人脸部分图像送入面部表情识别模块进行识别,得到当前通讯对象的此刻可能性表情；S3、在S1、S2两个流程处理的同时，通过所述语音识别模块实时对聊天内容进行识别，通过所述关键词提取模块对识别的语音的关键词进行提取；S4、所述ID-关键词-情绪数据库在该时间点对关键词与表情识别结果进行同步汇总，得到对方对聊天内容的关注点和反感点同时在聊天界面进行展示和后台记录，辅助用户对交流进程进行把控和事后总结；S5、所述同步分析模块根据图像帧号将S2中的表情识别结果和S3中的语音识别结果将关键词映射到当前时间序列上，并从所述ID-关键词-情绪数据库中读取情绪E0，计算当前面部情绪与短时间内提到的关键词历史进行情绪比对，选出对应当前情绪的关键词，将当前时间、情绪、关键词以与情绪相关的颜色展示在视频聊天板上，同时更新ID-关键词-情绪数据库。2.根...

【专利技术属性】
技术研发人员：袁培江，郭金马，王轶，
申请(专利权)人：北京深醒科技有限公司，
类型：发明
国别省市：北京,11