实时通信方法、计算机可读存储介质和终端设备技术

本发明专利技术公开了一种实时通信方法和终端设备，包括：在将接入网络会议室的终端设备进行分组后，确定每个分组的主终端设备；获取每个分组中主终端设备的音视频输入信息，并通过每个分组中主终端设备接收相应分组中其他终端设备发送的第一有效码流信息；对音视频输入信息进行有效判定，获得第二有效码流信息；将第一有效码流信息和第二有效码流信息进行混流处理，获得第一混流数据，并将第一混流数据发送到云端服务器。由此，通过对接入网络会议室的终端设备进行分组，并确定分组内的主终端，直接通过主终端与主终端之间进行数据传输，从而能够减少经过网络传输的数据量，减轻网络负载量，改善网络质量。改善网络质量。改善网络质量。

【技术实现步骤摘要】
实时通信方法、计算机可读存储介质和终端设备


[0001]本专利技术涉及通信
，尤其涉及一种实时通信方法、一种计算机可读存储介质和一种终端设备。

技术介绍

[0002]随着技术的发展进步，越来越多的人开始采用远程会议的方式进行沟通交流，这需要优良的实时音视频技术支持。目前比较常见的实现方式是每个需要参加会议的终端设备连接进入同一个网络会议室(注册在云端服务器)，任何一个终端，其上传的信息将通过云端服务器传送到每个连接进入相同网络会议室的所有其它终端设备，并且通过云端服务器接收所有其它终端设备上传的信息在本地播放显示。
[0003]在实时音视频通信中，对于N个终端注册接入网络会议室的情况，总共有N路上行信号，每路上行信号需要经过云端服务器后传送至其它(N
‑
1)个终端，所以，实际在网络上传输的信号一共有N*(N
‑
1)路，每个终端需要处理一个上行信号，N
‑
1个下行信号。由此可知，随着接入终端数量的增加，所需的网络带宽急剧增加。
[0004]在参会人数不多的情况下，现有的网络带宽以及终端计算能力完全可以胜任实时音视频通信的要求。但是随着接入终端的持续增加，所需的网络带宽越来越大，终端所需的计算能力也越来越大，会导致通信严重卡顿，甚至无法正常通信。每一路终端需要接收其它所有终端的码流并进行解码及各种后处理，终端所需的计算能力会很大，如果是手持设备，将严重影响电池续航能力。

技术实现思路

[0005]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的第一个目的在于提出一种实时通信方法，通过对接入网络会议室的终端设备进行分组，并确定分组内的主终端，直接通过主终端与主终端之间进行数据传输，从而能够减少经过网络传输的数据量，减轻网络负载量，改善网络质量。
[0006]本专利技术的第二个目的在于提出一种计算机可读存储介质。
[0007]本专利技术的第三个目的在于提出一种终端设备。
[0008]为达到上述目的，本专利技术第一方面实施例提出了一种实时通信方法，包括：在将接入网络会议室的终端设备进行分组后，确定每个分组的主终端设备；获取所述每个分组中主终端设备的音视频输入信息，并通过所述每个分组中主终端设备接收相应组中其他终端设备发送的第一有效码流信息；对所述音视频输入信息进行有效判定，获得第二有效码流信息；将所述第一有效码流信息和所述第二有效码流信息进行混流处理，获得第一混流数据，并将所述第一混流数据发送到云端服务器。
[0009]根据本专利技术实施例的实时通信方法，在将接入网络会议室的终端设备进行分组后，确定每个分组的主终端设备；获取每个分组中主终端设备的音视频输入信息，并通过每个分组中主终端设备接收相应分组中其他终端设备发送的第一有效码流信息；对音视频输
入信息进行有效判定，获得第二有效码流信息；将第一有效码流信息和第二有效码流信息进行混流处理，获得第一混流数据，并将第一混流数据发送到云端服务器。由此，该方法通过对接入网络会议室的终端设备进行分组，并确定分组内的主终端，直接通过主终端与主终端之间进行数据传输，从而能够减少经过网络传输的数据量，减轻网络负载量，改善网络质量。
[0010]另外，根据本专利技术上述实施例的实时通信方法，还可以具有如下的附加技术特征：
[0011]根据本专利技术的一个实施例，将接入网络会议室的终端设备进行分组的方式包括以下一种或几种：根据每个终端设备的接入网关信息对所述接入网络会议室的终端设备进行分组；根据每个终端设备的位置信息对所述接入网络会议室的终端设备进行分组；根据每个终端设备的音频输入信息对所述接入网络会议室的终端设备进行分组；根据每个终端设备的视频输入信息对所述接入网络会议室的终端设备进行分组。
[0012]根据本专利技术的一个实施例，确定每个分组的主终端设备，包括：根据每个分组中的每个终端设备与网关的信号强度、每个终端设备的性能及负载情况、以及每个终端设备是否连接电源综合确定每个分组的主终端设备。
[0013]根据本专利技术的一个实施例，每个分组中的所有终端设备处于同一局域网内。
[0014]根据本专利技术的一个实施例，在获取所述主终端设备的音视频输入信息之前，还对所述主终端设备的当前用户是否为发言人进行检测，并在所述主终端设备的当前用户为旁听者时，停止获取所述主终端设备的音视频输入信息；或者仅获取所述主终端设备视频输入信息；或者仅获取所述主终端设备的降质视频输入信息。
[0015]根据本专利技术的一个实施例，在通过所述每个分组中主终端设备接收相应分组中其他终端设备发送的第一有效码流信息之前，还对所述其他终端设备的当前用户是否为发言人进行检测，并在所述其他终端设备的当前用户为发言人时，对所述其他终端设备的音视频输入信息进行有效判定。
[0016]根据本专利技术的一个实施例，对所述其他终端设备的音视频输入信息进行有效判定，包括：在所述其他终端设备的音频输入信息中存在当前用户的语音时，将所述当前用户的语音转换成文字信息，并对所述文字信息进行有效判定。
[0017]根据本专利技术的一个实施例，对所述当前用户是否为发言人进行检测，包括：采集所述当前用户的视频信息和/或音频信息，并根据所述当前用户的视频信息和/或音频信息分析所述当前用户是否为发言人。
[0018]根据本专利技术的一个实施例，将所述第一混流数据发送到云端服务器，包括：将所述第一混流数据进行RTP(Real
‑
time Transport Protocol，实时协议传输)封包后，采用UDP(User Datagram Protocol，用户数据报协议)发送方式发送到所述云端服务器。
[0019]根据本专利技术的一个实施例，上述的实时通信方法，还包括：采用UDP接收方式接收所述云端服务器发送的第二混流数据包，并对所述第二混流数据包进行RTP解包后再进行解码及丢包补偿处理，获得第三有效码流信息，以及根据所述第三有效码流信息进行音视频播放。
[0020]根据本专利技术的一个实施例，在获得第三有效码流信息之后，还包括：接收所述其他终端设备发送的数据请求，并根据所述数据请求将所述第三有效码流信息发送给所述其他终端设备进行音视频播放。
[0021]为达到上述目的，本专利技术第二方面实施例提出了一种计算机可读存储介质，其上存储有实时通信程序，该实时通信程序被处理器执行时实现上述的实时通信方法。
[0022]本专利技术实施例的计算机可读存储介质，通过执行上述的实时通信方法，能够减少经过网络传输的数据量，减轻网络负载量，改善网络质量。
[0023]为达到上述目的，本专利技术第三方面实施例提出的一种终端设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的实时通信程序，所述处理器执行所述实时通信程序时，实现上述的实时通信方法。
[0024]本专利技术实施例的终端设备，通过执行上述的实时通信方法，能够减少经过网络传输的数据量，减轻网络负载量，改善网络质量。
[0025]本专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实时通信方法，其特征在于，包括：在将接入网络会议室的终端设备进行分组后，确定每个分组的主终端设备；获取所述每个分组中主终端设备的音视频输入信息，并通过所述每个分组中主终端设备接收相应分组中其他终端设备发送的第一有效码流信息；对所述音视频输入信息进行有效判定，获得第二有效码流信息；将所述第一有效码流信息和所述第二有效码流信息进行混流处理，获得第一混流数据，并将所述第一混流数据发送到云端服务器。2.根据权利要求1所述的方法，其特征在于，将接入网络会议室的终端设备进行分组的方式包括以下一种或几种：根据每个终端设备的接入网关信息对所述接入网络会议室的终端设备进行分组；根据每个终端设备的位置信息对所述接入网络会议室的终端设备进行分组；根据每个终端设备的音频输入信息对所述接入网络会议室的终端设备进行分组；根据每个终端设备的视频输入信息对所述接入网络会议室的终端设备进行分组。3.根据权利要求1所述的方法，其特征在于，确定每个分组的主终端设备，包括：根据每个分组中的每个终端设备与网关的信号强度、每个终端设备的性能及负载情况、以及每个终端设备是否连接电源综合确定每个分组的主终端设备。4.根据权利要求1所述的方法，其特征在于，每个分组中的所有终端设备处于同一局域网内。5.根据权利要求1
‑
4中任一项所述的方法，其特征在于，在获取所述主终端设备的音视频输入信息之前，还对所述主终端设备的当前用户是否为发言人进行检测，并在所述主终端设备的当前用户为旁听者时，停止获取所述主终端设备的音视频输入信息；或者仅获取所述主终端设备视频输入信息；或者仅获取所述主终端设备的降质视频输入信息。6.根据权利要求1
‑
4中任一项所述的方法，其特征在于，在通过所述每个分组中主终端设备接收相应分组中其他终端设备发送的第一有效码流信息之前，...

【专利技术属性】
技术研发人员：关智博，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：