【技术实现步骤摘要】
发言人检测系统、发言人检测方法和音频/视频会议系统
本专利技术公开了一种用于在音频/视频会议中检测发言人的系统、方法以及一种音频/视频会议系统。
技术介绍
在现代的商业组织和家庭中，音频/视频会议已经变得非常普遍。在音频/视频会议中，当发言人在讲话时，人们往往希望获得发言人的图像和/或身份信息。尤其对于视频会议而言，在会场上突出显示发言人的视频信息，能够使得视频会议具有与面对面会议相似的现场感受。当前流行的视频会议系统通常首先通过声音定位找出发言人的方向，然后从图像中检测离该方向最近的人脸，如果找到人的面部，就将其视为发言人的面部。
技术实现思路
然而，上述的现有技术具有两个重要的缺点: 首先，被会议室的桌子、墙壁、天花板等反射的声学回声往往会干扰声音定位并降低其准确度。其次，当会议室中相对拥挤时，有时会有许多面部靠近声音的方向，仅通过面部识别等技术将无法准确确认哪个面部属于真正的发言人。因此，希望提供一种基于视觉语音活动检测和声学语音活动检测的发言人检测系统。也希望提供一种基于视觉语音活动检测和声学语音活动检测的发言人检测方法。还希望将这些系统合并到音...
【技术保护点】
一种基于视觉语音活动检测和声学语音活动检测的发言人检测系统，包括：摄像机，用于获取多个与会者的视频信息；麦克风，用于获取音频/视频会议的音频信息；处理模块，配置为对所述视频信息中的所述多个与会者中每一个的视觉语音活动分别进行检测，以生成针对所述多个与会者中每一个的视觉语音活动检测信号；并配置为对所述音频信息中的声学语音活动进行检测，以生成声学语音活动检测信号；比较模块，用于将所述视觉语音活动检测信号分别与所述声学语音活动检测信号进行比较，并将与所述声学语音活动检测信号具有最大相关度的视觉语音活动检测信号所对应的与会者确定为当前发言人。
【技术特征摘要】
1.一种基于视觉语音活动检测和声学语音活动检测的发言人检测系统，包括: 摄像机，用于获取多个与会者的视频信息； 麦克风，用于获取音频/视频会议的音频信息； 处理模块，配置为对所述视频信息中的所述多个与会者中每一个的视觉语音活动分别进行检测，以生成针对所述多个与会者中每一个的视觉语音活动检测信号；并配置为对所述音频信息中的声学语音活动进行检测，以生成声学语音活动检测信号； 比较模块，用于将所述视觉语音活动检测信号分别与所述声学语音活动检测信号进行比较，并将与所述声学语音活动检测信号具有最大相关度的视觉语音活动检测信号所对应的与会者确定为当前发言人。2.根据权利要求1所述的系统，其中所述视觉语音活动为与会者的嘴唇运动，且其中: 所述处理模块对所述多个与会者中每一个分别进行独立的视觉语音活动检测，所述处理模块通过嘴唇颜色与脸部颜色的差异来获得嘴唇轮廓，并基于上下唇和上下唇之间的间隙在亮度和/或颜色上的差异来确定嘴唇轮廓范围内该间隙的面积，当该面积在视频的连续帧中的差异超过预设的阈值时，该嘴唇的视觉语音活动检测信号的输出为“ 1”，否则，该嘴唇的视觉语音活动检测信号的输出为“O” ； 所述处理模块通过检测所述音频信息来获得所述声学语音活动检测信号；当音频信息中存在语音时，所述声学语音活动 检测信号的输出为“ 1”，否则，所述声学语音活动检测信号的输出为“O”。3.根据权利要求1或2所述的系统，其中所述多个与会者的数目小于或等于所有与会者的数目。4.根据权利要求3所述的系统，进一步包括显示模块，用于显示被确定为当前发言人的与会者。5.根据权利要求4所述的系统，进一步包括存储模块，用于存储所有与会者的身份信息；在该音频/视频会议期间，每当确定出当前发言人时，识别当前发言人并向所述显示模块提供与当前发言人相应的与会者的身份信息。6.根据权利要求5所述的系统，其中所述系统在该音频/视频会议期间，每当确定出当前发言人时，在音频流和/或视频流中标识与当前发言人相应的与会者的身份信息。7.一种基于...
【专利技术属性】
技术研发人员：李茂全，
申请(专利权)人：POLYCOM通讯技术北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。