视频会议中的情绪识别制造技术

用于视频会议的方法和系统包括识别与一个视频会议参与者(诸如，客户)相关的情绪。这最终使另一个视频会议参与者(例如，服务提供方或监督者)能够处置愤怒的、烦躁的、或痛苦的用户。一种示例方法包括以下步骤：接收包括一系列图像的视频；检测至少一个感兴趣的对象(例如，面部)；定位所述至少一个感兴趣的对象的特征参考点；基于所述特征参考点，使虚拟面部网格对准所述至少一个感兴趣的对象；在所述一系列图像上查找所述虚拟面部网格的反映面部模拟的至少一个变形；确定所述至少一个变形涉及从多个参考面部情绪中选择的面部情绪；以及生成与所述面部情绪关联的通信承载数据。

Emotion recognition in video conferencing

Methods and systems for video conferencing include identifying emotions associated with a video conference participant (such as a customer). This eventually enables another video conference participant (for example, a service provider or supervisor) to dispose of angry, irritable, or painful users. An example method comprises the following steps: receiving a series of images including video object detection; at least one of interest (e.g., facial features); the reference point location of the at least one object of interest; the characteristics of reference point based on the virtual object face grid on the at least one quasi interested; at least in the simulation of a series of images for the virtual facial mesh reflects a facial deformation; determine the at least one selected from a plurality of reference to the deformation of facial emotions in facial emotion; and generating communication associated with the facial emotion bearing data.

【技术实现步骤摘要】
【国外来华专利技术】视频会议中的情绪识别优先权要求本申请要求2015年3月18日提交的美国申请第14/661,539号的优先权，其全部内容通过引用并入本文。
本公开一般地涉及视频会议，并且更具体地，涉及用于识别视频会议中的参与者的情绪的系统和方法。
技术介绍
如今，视频会议和视频电话呼叫是用于执行长距离双向视频和音频通信的流行工具。由于高速网络解决方案的出现、廉价的硬件组件和蜂窝网络的部署，这项技术已经迅速发展。通常，视频会议允许两个或更多个体使用多种软件应用(诸如，视频聊天应用)彼此进行通信，其中参与者能在交谈的同时看见彼此。视频聊天能够作为可下载软件应用或Web服务在通用计算机、移动设备和电视系统上使用。传统视频会议每一方的硬件要求包括：输入音频模块(例如，话筒)、输入视频模块(例如，摄像机)、输出音频模块(例如，扬声器)、输出视频模块(例如，显示器或投影机)、以及计算设备，所述计算设备将输入输出模块绑定在一起、压缩和解压缩音频和视频流、以及经由通信网络发起和保持数据链接。通过提供与客户的直接通信而不考虑客户的位置，视频会议已经在客户服务和支持行业中变得流行。例如，视频聊天能够实现客户服务代表与客户本文档来自技高网...

【技术保护点】
一种用于视频会议的计算机实现的方法，所述方法包括：接收包括一系列图像的视频；在一个或多个所述图像中检测至少一个感兴趣的对象；定位所述至少一个感兴趣的对象的特征参考点；至少部分地基于所述特征参考点，使虚拟面部网格对准一个或多个所述图像中的所述至少一个感兴趣的对象；在所述一系列图像上查找所述虚拟面部网格的至少一个变形，其中所述至少一个变形与至少一个面部模拟关联；确定所述至少一个变形涉及从多个参考面部情绪中选择的面部情绪；以及生成与所述面部情绪关联的通信承载数据。

【技术特征摘要】
【国外来华专利技术】2015.03.18 US 14/661,5391.一种用于视频会议的计算机实现的方法，所述方法包括：接收包括一系列图像的视频；在一个或多个所述图像中检测至少一个感兴趣的对象；定位所述至少一个感兴趣的对象的特征参考点；至少部分地基于所述特征参考点，使虚拟面部网格对准一个或多个所述图像中的所述至少一个感兴趣的对象；在所述一系列图像上查找所述虚拟面部网格的至少一个变形，其中所述至少一个变形与至少一个面部模拟关联；确定所述至少一个变形涉及从多个参考面部情绪中选择的面部情绪；以及生成与所述面部情绪关联的通信承载数据。2.根据权利要求1所述的方法，其中确定所述至少一个变形涉及从所述多个参考面部情绪中选择的所述面部情绪包括：将所述虚拟面部网格的所述至少一个变形和所述多个参考面部情绪的参考面部参数进行对比；以及基于所述虚拟面部网格的所述至少一个变形和所述多个参考面部情绪的所述参考面部参数的对比来选择所述面部情绪。3.根据权利要求2所述的方法，其中将所述虚拟面部网格的所述至少一个变形和参考面部参数进行对比包括应用卷积神经网络。4.根据权利要求2所述的方法，其中将所述虚拟面部网格的所述至少一个变形和参考面部参数进行对比包括应用状态向量机。5.根据权利要求1所述的方法，进一步包括在服务提供方与客户之间建立单向或双向视频会议，其中所述视频是在客户侧捕获的。6.根据权利要求5所述的方法，进一步包括通过通信网络将所述通信发送给第三方。7.根据权利要求6所述的方法，进一步包括在与所述虚拟面部网格的所述至少一个变形关联的所述面部情绪涉及消极面部情绪的情况下，允许所述第三方进入所述客户与所述服务提供方之间的所述视频会议。8.根据权利要求1所述的方法，进一步包括将所述通信发送并且呈现给客户服务代表或服务提供方。9.根据权利要求1所述的方法，其中所述至少一个感兴趣的对象包括个体的面部。10.根据权利要求1所述的方法，其中所述特征参考点包括面部标记。11.根据权利要求10所述的方法，其中所述特征参考点包括指示以下至少一者的一个或多个面部标记：眉毛竖直位置、眼睛竖直位置、眼睛宽度、眼睛高度、眼睛间距、鼻子竖直位置、鼻子向上、嘴竖直位置、嘴宽度、颏宽度、上唇提起、颌落下、嘴唇延伸、左眉降下、右眉降下、嘴角下撇、以及外侧眉毛提起。12.根据权利要求1所述的方法，进一步包括接收用于确定视频会议参与者的所述面部情绪的请求。13.根据权利要求1所述的方法，其中检测所述至少一个感兴趣的对象包括对所述图像应用维奥拉-琼斯算法。14.根据权利要求1所述的方法，其中定位所述特征参考点包括对所述图像的与所述至少一个感兴趣的对象关联的区域应用主动形状模型算法。15.根据权利要求1所述的方法，其中所述虚拟面部网格的对准基于与所述至少一个感兴趣的对象的脸部形状关联的形状单元。16.根据权利要求15所述的方法，进一步包括：评估与所述面...

【专利技术属性】
技术研发人员：V·沙布罗夫，Y·莫纳斯提尔申，
申请(专利权)人：阿凡达合并第二附属有限责任公司，
类型：发明
国别省市：美国,US