调节视频会议系统中的空间一致性技术方案

本文公开的实施例涉及空间一致性调节。公开了一种用于调节视频会议中的空间一致性的方法。该方法包括将由视频端点设备采集的视觉场景展开为至少一个直线场景，该视频端点设备被配置成以全向方式采集视觉场景、检测至少一个直线场景与听觉场景之间的空间一致性，该听觉场景由相对于视频端点设备定位的音频端点设备所采集。该空间一致性为听觉场景与至少一个直线场景之间校准的程度并且响应于所检测的空间一致性低于阈值而调节空间一致性。还公开了相应的系统和计算机程序产品。

【技术实现步骤摘要】
【国外来华专利技术】调节视频会议系统中的空间一致性相关申请的交叉引用本申请要求2014年11月19日提交的中国专利申请No.201410670297.2和2014年12月2日提交的美国临时专利申请No.62/086,235的优先权，该申请的内容通过引用被整体结合于此。
本文公开的示例实施例一般涉及音频内容处理，更特别地，涉及用于调节特别是在视频会议系统中的空间一致性的方法和系统。
技术介绍
当实施视频会议时，视觉信号与听觉信号一起被生成且从呼叫的一端传输至其他(一个或多个)端，使得当一个或多个与会者正在发言时，在其他(一个或多个)端产生的声音应当被同步化且同时播放。有可以存在于视频会议中的在音频和视频之间的两种类型的差异：时间上的差异和空间一致性上的差异。音频和视频流之间的时间上的差异导致同步问题，例如从发言的与会者传出的声带话语(vocalutterance)(例如语音)可能不与每个与会者的嘴型同步。另一方面，空间一致性描述正在被播放的声场如何与正在显示的视觉场景相匹配。可替代地，空间一致性可以定义听觉场景和视觉场景之间校准的程度。本文描述的示例实施例目的在于调节视频会议中的空间一致性，使得听觉场景与本文档来自技高网...

【技术保护点】
一种用于调节视频会议中的空间一致性的方法，所述方法包括：将由视频端点设备采集的视觉场景展开为至少一个直线场景，所述视频端点设备被配置成以全向方式采集所述视觉场景；检测所述至少一个直线场景与由音频端点设备采集的听觉场景之间的空间一致性，所述音频端点设备相对于所述视频端点设备被定位，所述空间一致性为所述听觉场景与所述至少一个直线场景之间校准的程度；以及响应于所检测的空间一致性低于预定的阈值而调节所述空间一致性。

【技术特征摘要】
【国外来华专利技术】2014.12.02 US 62/086,235;2014.11.19 CN 201410670291.一种用于调节视频会议中的空间一致性的方法，所述方法包括：将由视频端点设备采集的视觉场景展开为至少一个直线场景，所述视频端点设备被配置成以全向方式采集所述视觉场景；检测所述至少一个直线场景与由音频端点设备采集的听觉场景之间的空间一致性，所述音频端点设备相对于所述视频端点设备被定位，所述空间一致性为所述听觉场景与所述至少一个直线场景之间校准的程度；以及响应于所检测的空间一致性低于预定的阈值而调节所述空间一致性。2.根据权利要求1所述的方法，其中展开所述视觉场景包括：指派所采集的视觉场景的标称原方向；以及将所采集的视频场景展开为从所述标称原方向处分割的一个直线场景。3.根据权利要求1所述的方法，其中展开所述视觉场景包括：指派所采集的视觉场景的标称原方向；以及将所采集的视觉场景展开为从所述标称原方向处以及从关于所述标称原方向相对的方向处分割的两个直线场景。4.根据权利要求1所述的方法，其中检测所述直线场景与所采集的听觉场景之间的所述空间一致性包括：基于所采集的听觉场景来执行听觉场景分析以便识别音频对象的听觉分布，所述听觉分布为所述音频对象相对于所述音频端点设备的分布；基于所述直线场景来执行视觉场景分析以便识别所述音频对象的视觉分布，所述视觉分布为所述音频对象相对于所述视频端点设备的分布；以及根据所述听觉场景分析和所述视觉场景分析来检测所述空间一致性。5.根据权利要求4所述的方法，其中执行所述听觉场景分析包括以下各项中的至少一项：分析所述音频对象的到达方向；分析所述音频对象的深度；分析关键音频对象；以及分析所述音频对象之间的会话互动。6.根据权利要求4所述的方法，其中执行所述视觉场景分析包括以下各项中的至少一项：执行针对所述音频对象的脸部检测或识别；分析针对所采集的视觉场景或针对所述直线场景的感兴趣区域；以及执行针对所述音频对象的唇部检测。7.根据权利要求1至6中任一项所述的方法，其中调节所述空间一致性包括以下各项中的至少一项：旋转所采集的听觉场景；关于所述音频端点设备平移所采集的听觉场景；关于由所述视频端点设备限定的轴线镜像所采集的听觉场景；缩放所采集的听觉场景；以及旋转所采集的视觉场景。8.根据权利要求1至6中任一项所述的方法，其中所述空间一致性在现场被检测或在服务器处被检测。9.根据权利要求1至6中任一项所述的方法，其中所述空间一致性在服务器处被调节或在所述视频会议的接收端处被调节。10.一种用于调节视频会议中的空间一致性的系统，所述系统包括：视频端点设备，被配置成以全向方式采集视觉场景；音频端点设备，被配置成采集听觉场景，所述音频端点设备相对于所述视频端点设备被定位；展开单元，被配置成将所采集的视觉场景展开为至少一个直线场景；空间一致性检测单元，被配置成检测...

【专利技术属性】
技术研发人员：孙学京，M·伊科特，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：美国,US