一种云会议实时音视频传输方法及装置制造方法及图纸

本申请公开提供了一种云会议实时音视频传输方法及装置，方法包括如下步骤：获取参会终端的音频数据及视频数据；将所述音频数据及所述视频数据分别进行TS流打包，获得TS音频流及TS视频流，发送至服务器进行处理；将处理后的TS音频流及TS视频流解包；将解包后的数据渲染输出。本发明专利技术通过TS传输协议实现音频和视频分离，音频数据和视频数据只需要打包一次，能够减少带宽；采用反馈机制生成反馈包消息提醒并通过TCP传输，以调整TS音视频流的发送状态及接收状态，有效解决了云会议中音视频在不同网络中实时可靠稳定的传输，同时还提升了用户对云会议的使用体验。对云会议的使用体验。对云会议的使用体验。

【技术实现步骤摘要】
一种云会议实时音视频传输方法及装置


[0001]本专利技术涉及计算机
，具体涉及一种云会议实时音视频传输方法及装置。

技术介绍

[0002]随着视频云会议的快速发展，视频会议媒介逐渐多元化，打破了时域、地域限制，随时随地都能快速进行视频会议。这就要求在云会议中实现实时音视频可靠传输，使得不同设备上音视频均能有高质量的会议体验；同时，还能使得云会议的多种扩展功能有更好的使用体验，保证云会议中音视频高效可靠传输，也能提升会议直播、会议录制等领域中有更好的用户体验。
[0003]目前，现有的实时音视频传输方案，分为RTP/UDP传输方案和HTTP/TCP传输方案。其中的RTP/UDP传输方案，即采用标准的RTP打包协议对音视频分别进行打包，然后采用UDP进行不可靠传输；这种方案，打包与解包处理简单，但是UDP是不可靠传输，当信道出现丢包时，就会出现音频噪声或视频花屏问题。而HTTP/TCP传输方案，是通过HTTP协议携带打好的RTP包数据，经过TCP在网络中可靠传输。这种方案虽然使用了TCP可靠传输，但是多打了一层HTTP协议字段，浪费了一定带宽。

技术实现思路

[0004]因此，本专利技术要解决的技术问题在于如何解决现有音视频传输方法传输不可靠、浪费带宽、抗抖动及容错能力不好的问题，从而提供一种云会议实时音视频传输方法及装置。
[0005]为解决上述技术问题，本专利技术公开实施例至少提供一种云会议实时音视频传输方法及装置。
[0006]第一方面，本专利技术公开实施例提供了一种云会议实时音视频传输方法，包括如下步骤：获取参会终端的音频数据及视频数据；将所述音频数据及所述视频数据分别进行TS流打包，获得TS音频流及TS视频流，发送至服务器进行处理；将处理后的TS音频流及TS视频流解包；将解包后的数据渲染输出。
[0007]优选地，服务器对所述TS音频流和TS视频流进行解包，然后对所述TS音频流进行混频及降噪增强处理，生成处理后的TS音频流，对所述TS视频流进行合屏及质量优化处理，生成处理后的TS视频流。
[0008]优选地，所述将所述音频数据及所述视频数据分别进行TS流打包之后还包括：若网络延时和丢包率在调节范围内，生成反馈包消息提醒并通过TCP传输至服务器。
[0009]优选地，所述服务器进行处理还包括：
接收反馈包消息提醒，并调整所述TS视频流及所述TS音频流的发送状态；更新反馈包消息提醒并通过TCP发送至参会终端。
[0010]优选地，所述将处理后的TS音频流及TS视频流解包的同时还包括：接收来自服务器的反馈包消息提醒，并调整所述TS视频流及所述TS音频流的接收状态。
[0011]优选地，若所述网络延时大于网络延时阈值，则所述网络延时在调节范围内；若所述丢包率大于丢包率阈值，则所述丢包率在调节范围内。
[0012]优选地，当所述反馈包消息提醒中用于检测码流的序列号不正确时，丢弃当前音频数据及视频数据，且服务器不发送反馈消息包提醒。
[0013]第二方面，本专利技术实施例中还提供一种云会议实时音视频传输装置，包括：获取单元，用于获取参会终端发送的音视频数据；打包单元，用于将所述参会客户端的音频数据和视频数据分别进行TS流打包，获得TS音频流及TS视频流；检测单元，用于对参会终端与服务器之间的网络状况进行实时监测，获取监测结果；反馈单元，用于根据TCP通道的反馈包消息提醒更新所述TS音频流及所述TS视频流；解包单元，用于将更新后的所述TS音频流及所述TS视频流解包；传输单元，用于将解包后的音视频数据传送给所述参会终端。
[0014]第三方面，本专利技术实施例中还提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如第一方面中任一项所述的方法。
[0015]第四方面，本专利技术实施例中还提供一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如第一方面中任一项所述的方法。
[0016]本专利技术提供的技术方案具有以下有益效果：通过TS传输协议实现音频和视频分离，音频数据和视频数据只需要打包一次，能够减少带宽；采用反馈机制生成反馈包消息提醒并通过TCP传输，以调整TS音视频流的发送状态及接收状态，有效解决了云会议中音视频在不同网络中实时可靠稳定的传输，同时还提升了用户对云会议的使用体验。
[0017]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术。
附图说明
[0018]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1示出了本专利技术公开第一实施例所提供的一种云会议音视频实时传输的方法流程图；图2示出了本专利技术公开第三实施例所提供的一种云会议音视频实时传输的方法的
示意图；图3示出了本专利技术公开第二实施例所提供的一种云会议音视频实时传输的方法的TS音频流及TS视频流的生成流程图；图4示出了本专利技术公开第二实施例所提供的一种云会议音视频实时传输的方法的反馈机制流程图。
具体实施方式
[0020]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本专利技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本专利技术的一些方面相一致的装置和方法的例子。
实施例1
[0021]参照图1，本实施例公开了一种云会议实时音视频传输方法，包括如下步骤：S101：获取参会终端的音频数据及视频数据；S102：将所述音频数据及所述视频数据分别进行TS流打包，获得TS音频流及TS视频流，发送至服务器进行处理；S103：将处理后的TS音频流及TS视频流解包；S104：将解包后的数据渲染输出。
[0022]具体地，实际应用中，云会议的工作流程中，参会终端会按照预设的时间间隔发送音视频数据，因此，为确保参会音视频数据的准确性，本专利技术的一些实施例中，可以对参会终端发送的音视频数据进行存储。
[0023]可选地，本专利技术一些实施例中，为避免占用过多的内存，在存储所述音视频数据时，可以设置音视频数据的保存时长，以使所述原始音视频数据的存储时长达到所述保存时长后销毁的原始音视频数据。其中，保存时长由本领域技术人员根据实际需求进行设置。
[0024]可选地，本专利技术的一些实施例中，对音视频数据分别进行TS流打包包括三种形式：先打包音频数据再打包视频数据、先打包视频数据再打包音频数据、音频数据和视频数据同时打包；以上三种形式对音频数据及视频数据是分开打包的。
[0025]具体地，服务器对TS音频流及TS视频流的处理具体包括：对所述TS音频流进行混频本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种云会议实时音视频传输方法，其特征在于，包括如下步骤：获取参会终端的音频数据及视频数据；将所述音频数据及所述视频数据分别进行TS流打包，获得TS音频流及TS视频流，发送至服务器进行处理；将处理后的TS音频流及TS视频流解包；将解包后的数据渲染输出。2.根据权利要求1所述的一种云会议实时音视频传输方法，其特征在于，服务器对所述TS音频流和所述TS视频流进行解包，然后对所述TS音频流进行混频及降噪增强处理，生成处理后的TS音频流，对所述TS视频流进行合屏及质量优化处理，生成处理后的TS视频流。3.根据权利要求2所述的一种云会议实时音视频传输方法，其特征在于，所述将所述音频数据及所述视频数据分别进行TS流打包之后还包括：若网络延时和丢包率在调节范围内，生成反馈包消息提醒并通过TCP传输至服务器。4.根据权利要求3所述的一种云会议实时音视频传输方法，其特征在于，所述服务器进行处理还包括：接收反馈包消息提醒，并调整所述TS视频流及所述TS音频流的发送状态；更新反馈包消息提醒并通过TCP发送至参会终端。5.根据权利要求4所述的一种云会议实时音视频传输方法，其特征在于，所述将处理后的TS音频流及TS视频流解包的同时还包括：接收来自服务器的反馈包消息提醒，并调整所述TS视频流及所述TS音频流的接收状态。6...

【专利技术属性】
技术研发人员：马华文，
申请(专利权)人：全时云商务服务股份有限公司，
类型：发明
国别省市：