持续共存群组视频会议系统技术方案

公开了一种用于连接到多人在线会议室的系统。第一用户的第一客户端设备发起到在线会议室的连接。在连接发起之后，第一客户端设备开始接收来自连接到该在线会议室的一个或多个其他用户的一个或多个客户端设备的视频数据和音频数据。第一客户端设备在连接到该在线会议室时，基于接收到的来自连接到该在线会议的一个或多个其他用户的一个或多个客户端设备的视频数据来显示视频流。一经接收到来自第二用户的开始与第一用户对话的请求，第一客户端设备基于从第二用户的客户端设备接收到的音频数据来播放音频流。音频数据来播放音频流。音频数据来播放音频流。

【技术实现步骤摘要】
【国外来华专利技术】持续共存群组视频会议系统

技术介绍

[0001]本公开总体上涉及在线视频会议，并且更具体地涉及对连接到在线会议室的用户的虚拟在场(presence)进行模拟。
[0002]在线视频会议系统允许多个用户与其他人远程连接，并且允许该多个用户使用音频和视觉方式彼此通信。然而，视频会议系统不能有效地模拟真实世界环境。例如，在视频会议中，每个用户向中央服务器发送采集到的音频馈送。中央服务器随后将所有音频馈送组合成单个音频流，并将该音频流发送给连接到视频会议的每个用户。这样，每个用户能够听到多个用户中所有正在讲话的用户。但是由于每个用户接收单个音频流，因此如果多人同时讲话，则发送给连接到视频会议的多个用户的音频流包括正在讲话的所有用户的音频馈送的叠加。
[0003]此外，由于发送给每个用户的音频流包括连接到视频会议的各个其他用户的音频馈送的叠加，因此每次只能进行单个对话。如果连接到视频会议的两个用户想要在其之间进行单独对话，则这两个用户将必须断开视频会议，开始新的会话。因此，使得该过程效率低下。
[0004]最后，在可通过视频会议系统使两个或更多个用户之间的对话开始之前，这两个或更多个用户必须各自连接到视频会议系统。例如，这些用户中的每个用户可以在约定时间连接到视频会议系统的特定地址。这需要预先计划，因为会议的日期和时间、以及用于连接视频会议系统的地址必须在可以建立连接之前提供给每个用户。在另一示例中，第一用户可以呼叫第二用户。第二用户的通信系统可以显示第一用户已经发起通话的指示，并可以询问第二用户是否接受该通话。这要求第一用户猜测第二用户是否有空应答该通话。此外，这需要第二用户看到第一用户正在呼叫的指示并且明确地接受该通话。
[0005]这些缺点增加了人们在其物理上位于不同地点时、彼此协作的分歧程度。因此，具有虚拟地模拟远程用户在场、以使物理上位于不同地点的多个用户能够更容易彼此协作的系统将是有益的。

技术实现思路

[0006]多个实施例包括用于连接到多人在线会议室的系统。与第一用户相关联的第一客户端设备发起到在线会议室的连接。在该连接发起之后，第一客户端设备开始接收来自同样连接到在线会议室的一个或多个其他用户的一个或多个客户端设备的视频数据和音频数据。该一个或多个其他用户的一个或多个客户端设备包括与第二用户相关联的第二客户端设备。第一客户端设备在连接到在线会议室时，基于接收到的来自连接到在线会议的该一个或多个其他用户中的一个或多个客户端设备的视频数据，来显示视频流。该第一客户端设备在接收到来自连接到在线会议室的该一个或多个其他用户的一个或多个客户端设备的视频数据和音频数据时，一经接收到来自第二客户端设备的开始与第一用户对话的请求，便基于从第二客户端设备接收到的音频数据，来播放音频流。
[0007]在一些实施例中，第一客户端设备在显示与连接到在线会议室的特定用户相对应
的视频之前，检测在从该用户的相应客户端设备接收到的视频数据中的人的存在。如果检测到人，则第一客户端设备将从该用户的相应客户端设备接收到的视频数据包括在所显示的视频流中。相反地，如果没有检测到人，则第一客户端设备显示用户处于离开状态的指示。
[0008]在一些实施例中，针对连接到在线会议室的每个用户，第一客户端设备至少部分地基于用户的对话状态，来确定是否播放与该用户相对应的音频馈送。例如，如果对话状态指示第一用户处于与第二用户的活动对话(active conversation)中，则第一客户端设备播放与第二用户相对应的音频馈送，并且第二客户端设备播放第一用户的音频馈送。相反地，如果对话状态指示第一用户没有处于与第二用户的活动对话，则第一客户端设备不播放与第二用户相对应的音频馈送，并且第二客户端设备不播放第一用户的音频馈送。
[0009]在一些实施例中，针对连接到在线会议室的每个用户，第一客户端设备分配衰减因子(attenuation factor)。第一客户端设备基于对应用户的对话状态来确定衰减因子。例如，如果对话状态指示第一用户处于与第二用户的活动对话，则第一客户端设备将值1(或100％)分配给第二用户的衰减因子。相反地，如果对话状态指示第一用户没有处于与第二用户的活动对话，则第一客户端设备将值0(或0％)分配给第二用户的衰减因子。第一客户端设备随后将针对每个用户的音频数据与对应的衰减因子相乘，并组合经衰减的音频数据，以生成输出音频流。
[0010]根据本公开的第一方面，提供了一种方法，该方法包括：在与第一用户相关联的第一客户端设备处：发起到在线会议室的连接；接收来自同样连接到在线会议室的一个或多个其他用户的一个或多个客户端设备的视频数据和音频数据，该一个或多个其他用户的一个或多个客户端设备包括与第二用户相关联的第二客户端设备；响应于连接到在线会议室，基于接收到的来自连接到在线会议的该一个或多个其他用户的一个或多个客户端设备的视频数据来显示视频流；在接收到来自连接到在线会议室的该一个或多个其他用户的一个或多个客户端设备的视频数据和音频数据时，接收来自该一个或多个客户端设备中的第二客户端设备的开始与第一用户对话的请求；以及，响应于接收到该请求，基于从第二客户端设备接收到的音频数据来播放音频流。
[0011]在一些实施例中，基于接收到的来自连接到在线会议的该一个或多个其他用户的一个或多个客户端设备的视频数据来显示视频流，包括：针对连接到在线会议室的该一个或多个其他用户中的每个其他用户：检测从该其他用户的相应客户端设备接收到的视频数据中的人的存在，并且响应于检测到有人存在于从其他用户的相应客户端设备接收到的视频数据中，基于从该其他用户的相应客户端设备接收到的视频数据，来显示与该其他用户相对应的视频馈送。
[0012]在一些实施例中，基于接收到的来自连接到在线会议的该一个或多个其他用户的一个或多个客户端设备的视频数据来显示视频流，还包括：针对连接到在线会议室的该一个或多个其他用户中的每个其他用户：响应于没有检测到有人存在于从该其他用户的相应客户端设备接收到的视频数据中，显示该其他用户离开的指示。
[0013]在一些实施例中，该方法还包括：针对连接到在线会议室的该一个或多个其他用户中的每个其他用户：基于该其他用户与第一用户之间的对话状态，来确定是否播放与该其他用户相对应的音频馈送。
[0014]在一些实施例中，该方法还包括：针对连接到在线会议室的该一个或多个其他用户中的每个其他用户：基于该其他用户与第一用户之间的对话状态，来分配与该其他用户相对应的衰减因子，并且基于所分配的衰减因子，衰减与该其他用户相对应的音频馈送；组合与连接到在线会议室的该一个或多个其他用户的各个其他用户的经衰减的音频馈送；以及播放组合后的经衰减的音频馈送。
[0015]在一些实施例中，基于该其他用户与第一用户之间的对话状态来确定与该其他用户相对应的衰减因子，包括：当该其他用户没有处于与第一用户的活动对话时，将值0分配给衰减因子；以及，当该其他用户处于与第一用户的活动对话时，将值1分配给衰减因子。
[0016]在一些实施例中，本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括:在与第一用户相关联的第一客户端设备处：发起到在线会议室的连接；接收来自同样连接到所述在线会议室的一个或多个其他用户的一个或多个客户端设备的视频数据和音频数据，所述一个或多个其他用户的所述一个或多个客户端设备包括与第二用户相关联的第二客户端设备；响应于连接到所述在线会议室，基于接收到的来自连接到所述在线会议的所述一个或多个其他用户的所述一个或多个客户端设备的视频数据，来显示视频流；在接收到来自连接到所述在线会议室的所述一个或多个其他用户的所述一个或多个客户端设备的视频数据和音频数据时，接收来自所述一个或多个客户端设备中的所述第二客户端设备的开始与所述第一用户对话的请求；以及响应于接收到所述请求，基于从所述第二客户端设备接收到的音频数据，来播放音频流。2.根据权利要求1所述的方法，其中，基于接收到的来自连接到所述在线会议的所述一个或多个其他用户的所述一个或多个客户端设备的所述视频数据，来显示所述视频流，包括：针对连接到所述在线会议室的所述一个或多个其他用户中的每个其他用户：检测从所述其他用户的相应客户端设备接收到的视频数据中的人的存在，以及响应于检测到有人存在于从所述其他用户的相应客户端设备接收到的视频数据中，基于从所述其他用户的相应客户端设备接收到的视频数据，显示与所述其他用户相对应的视频馈送。3.根据权利要求2所述的方法，其中，基于接收到的来自连接到所述在线会议的所述一个或多个其他用户的所述一个或多个客户端设备的所述视频数据，来显示所述视频流，还包括：针对连接到所述在线会议室的所述一个或多个其他用户中的每个其他用户：响应于没有检测到有人存在于从所述其他用户的相应客户端设备接收到的视频数据中，显示所述其他用户离开的指示。4.根据前述权利要求中任一项所述的方法，还包括：针对连接到所述在线会议室的所述一个或多个其他用户中的每个其他用户：基于所述其他用户与所述第一用户之间的对话状态，来确定是否播放与所述其他用户相对应的音频馈送。5.根据权利要求1至3中任一项所述的方法，还包括：针对连接到所述在线会议室的所述一个或多个其他用户中的每个其他用户：基于所述其他用户与所述第一用户之间的对话状态，来分配与所述其他用户相对应的衰减因子，以及基于所分配的所述衰减因子，衰减与所述其他用户相对应的音频馈送；组合与连接到所述在线会议室的所述一个或多个其他用户中的各个其他用户相对应的经衰减的音频馈送；以及播放组合后的经衰减的音频馈送。
6.根据权利要求5所述的方法，其中，基于所述其他用户与所述第一用户之间的对话状态，来确定与所述其他用户相对应的衰减因子，包括：当所述其他用户没有处于与所述第一用户的活动对话时，将值0分配给所述衰减因子；以及当所述其他用户处于与所述第一用户的活动对话时，将值1分配给所述衰减因子。7.根据前述权利要求中任一项所述的方法，其中，发起到所述在线会议室的所述连接包括：在预设时间自动连接到所述在线会议室。8.根据前述权利要求中任一项所述的方法，连接到所述在线会议室的所述一个或多个其他用户是否包括第三用户和第四用户，其中，所述方法还包括：响应于接收到所述第三用户处于与所述第四用户的活动对话的指示：显示所述第三用户处于与所述第四用户的活动对话的指示，以及显示所述第四用户处于与所述第三用户的活动对话的指示；并且优选地，所述方法还包括：响应于确定所述第一用户没有处于与所述第三用户和所述第四用户的活动对话，将与所述第三用户和所述第四用户相对应的音频馈送静音；并且优选地，所述方法还包括：接收加入所述第三用户与所述第四用户之间的对话的指示；响应于接收到加入所述第三用户与所述第四用户之间的对话的所述指示：向所述第三用户的客户端设备和所述第四用户的客户端设备发送加入所述对话的请求，以及基于从所述第三用户的客户端设备和所述第四用户的客户端设备接收到的音频数据，来播放音频流。9.一种方法，包括：接收来自连接到在线会议室的多个客户端设备的数据流，其中(i)所述多个客户端设备与多个用户相关联，(ii)所述数据流包括音频数据和状态数据，以及(iii)所述状态数据指示对应用户是否处于与连接到所述在线会议室的其他用户的活动对话；针对所述多个客户端设备中的每个客户端设备，基于包括在对应用户的数据流中的状态数据，来确定所述用户是否处于与连接到所述在线会议室的其他用户的活动对话；响应于确定所述多个用户中的第一用户处于与所述多个用户中的第二用户的活动对话：显示所述第一用户处于与所述第二用户的活动对话的指示，以及显示所述第二用户处于与所述第一用户的活动对话的指示；接收加入所述第一用户与所述第二用户之间的对话的指示；响应于接收到加入所述第一用户与所述第二用户之间的对话的所述指示：向所述第一用户的客户端设备和所述第二用户...

【专利技术属性】
技术研发人员：伊洛娜，
申请(专利权)人：元平台公司，
类型：发明
国别省市：