音视频处理方法、设备及计算机可读存储介质技术

一种音视频处理方法、设备及计算机可读存储介质。所述方法应用于服务器，所述服务器与多个客户端相连，用于在所述多个客户端之间进行音频数据和视频数据的传输；所述方法包括：接收所述多个客户端分别上传的音频数据流和视频数据流；获取任一客户端对所述多个客户端的订阅信息；将接收到的所有所述音频数据流和根据所述订阅信息确定出的已订阅的客户端对应的视频数据流传输至所述任一客户端，以供所述任一客户端进行播放。本申请能够基于订阅信息，仅将已订阅的客户端对应的视频数据流传输至任一客户端，并将全部音频数据流传输至该客户端，以避免任一客户端接收到过多视频数据流，进而导致性能压力过大的问题。进而导致性能压力过大的问题。进而导致性能压力过大的问题。

【技术实现步骤摘要】
音视频处理方法、设备及计算机可读存储介质


[0001]本申请涉及音视频处理领域，特别涉及一种音视频处理方法、设备及计算机可读存储介质。

技术介绍

[0002]当前在多人参与的音视频交互时，例如多人进行线上视频会议，多人参加法庭的远程庭审等，各客户端会将音频数据和视频数据都上传至服务器，同时订阅其他客户端的音视频数据。服务器在接收到所有的音频数据与视频数据后，会将所有的音频数据和视频数据转发给各客户端，使其能够观看到除自身外的各客户端的视频画面，并接收到音频。
[0003]然而，随着参与人数的增多，各客户端接收到的视频数据会显著增多，以至客户端需要同时下载多路视频数据并解码、渲染，给客户端带来较大的性能压力。

技术实现思路

[0004]为克服相关技术中存在的问题，本申请提供了一种音视频处理方法、装置、设备及计算机可读存储介质，能够解决上述问题。
[0005]根据本申请实施例的第一方面，提供一种音视频处理方法，应用于服务器，所述服务器与多个客户端相连，用于在所述多个客户端之间进行音频数据和视频数据的传输；所述方法包括：接收所述多个客户端分别上传的音频数据流和视频数据流；获取任一客户端对所述多个客户端的订阅信息；将接收到的所有所述音频数据流和根据所述订阅信息确定出的已订阅的客户端对应的视频数据流传输至所述任一客户端，以供所述任一客户端进行播放。
[0006]根据本申请实施例的第二方面，提供一种音视频处理方法，应用于多个客户端中的任一客户端，所述多个客户端通过服务器相连，所述任一客户端用于通过所述服务器在所述多个客户端之间进行音频数据和视频数据的传输；所述方法包括：采集视频数据流和音频数据流，并上传至所述服务器；确定对其余客户端的订阅信息；向所述服务器发送所述订阅信息；接收所述服务器转发的已订阅的视频数据流和所有音频数据流，并进行播放；其中，所述已订阅的视频数据流为根据所述订阅信息确定的已订阅的客户端上传的视频数据流，所述所有音频数据流为所述多个客户端上传的音频数据流。
[0007]根据本申请实施例的第三方面，提供一种电子设备，包括：处理器、存储器；所述存储器，用于存储计算机程序；所述处理器，用于通过调用所述计算机程序，执行如第一方面、第二方面所述的音视频处理方法。
[0008]根据本申请实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算
机程序，该程序被处理器执行时实现如第一方面、第二方面所述的音视频处理方法。
[0009]本申请的实施例提供的技术方案可以包括以下有益效果：本申请在多个客户端需要进行音频数据和视频数据的传输时，获取任一客户端对多个客户端的订阅信息，基于订阅信息，仅将已订阅的客户端对应的视频数据流传输至所述任一客户端，将所有音频数据流传输至所述任一客户端，以供播放。在部分场景中，例如视频会议、法庭远程庭审，客户端对于其他客户端上传的视频播放的需求并不高，但对各客户端上传的音频播放的需求较高，因而一方面，本申请将所有的音频数据流传输至所述任一客户端，使得所述任一客户端不会错过其余客户端的发言，另一方面，本申请仅将已订阅的客户端对应的视频数据流传输至所述任一客户端，使得所述任一客户端不会因参与的客户端数量过多，导致接收到过多的视频数据流，从而避免对过多的视频数据流进行处理导致客户端的性能压力过大。
[0010]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0011]此处的附图被并入说明书中并构成本申请的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
[0012]图1是本申请根据一示例性实施例示出的一种音视频处理方法的系统架构图。
[0013]图2是本申请根据一示例性实施例示出的一种音视频处理方法的示意流程图。
[0014]图3是本申请根据一示例性实施例示出的一种音视频处理方法的架构图。
[0015]图4是本申请根据一示例性实施例示出的一种确定订阅信息的方法示意图。
[0016]图5A是本申请根据一示例性实施例示出的一种确定订阅信息的方法示意图。
[0017]图5B是本申请根据一示例性实施例示出的一种确定订阅信息的方法示意图。
[0018]图6是本申请根据一示例性实施例示出的一种音视频处理方法的示意流程图。
[0019]图7是本申请根据一示例性实施例示出的一种设备的示意结构图。
[0020]图8是本申请根据一示例性实施例示出的一种音视频处理装置的框图。
[0021]图9是本申请根据一示例性实施例示出的一种音视频处理装置的框图。
具体实施方式
[0022]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0023]在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0024]应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离
本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
[0025]相关技术中，多个客户端需要进行音视频数据传输时，各客户端可以上传自身的音频数据流和视频数据流至服务器，服务器可以将接收到的音频数据流和视频数据流进行转发，从而使各客户端可以通过对视频数据流与音频数据流进行解码、渲染，得到各客户端对应的视频画面和音频，再选择其中的部分视频和音频进行播放。如图1所示，客户端1、2、3分别向服务器上传了对应的音频流和视频流，相关技术中，服务器认为各客户端分别订阅了所有其他客户端，因此，将客户端1发布的音频流1和视频流1，推送给客户端2和客户端3，将客户端2发布的音频流2和视频流2，推送给客户端1和客户端3，将客户端3发布的音频流3和视频流3，推送给客户端1和客户端2，从而使得各客户端能够接收到其他所有客户端发布的音频数据和视频数据。
[0026]然而，采用这种模式进行音视频传输时，各客户端会同时下载多路视频并解码、渲染，带来客户端的性能压力，并且随着参与音视频传输的客户端数量的增多，各客户端需要接收的视频数据流的数量就随之增多，进而需要对更多路视频进行解码、渲染，导致达到性能瓶颈本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种音视频处理方法，其特征在于，应用于服务器，所述服务器与多个客户端相连，用于在所述多个客户端之间进行音频数据和视频数据的传输；所述方法包括：接收所述多个客户端分别上传的音频数据流和视频数据流；获取任一客户端对所述多个客户端的订阅信息；将接收到的所有所述音频数据流和根据所述订阅信息确定出的已订阅的客户端对应的视频数据流传输至所述任一客户端，以供所述任一客户端进行播放。2.根据权利要求1所述的方法，其特征在于，所述订阅信息由所述任一客户端通过下述方法确定：确定处于视频展示界面内的视频展示窗口对应的客户端，针对所述对应的客户端生成相应的订阅信息。3.根据权利要求2所述的方法，其特征在于，所述确定处于视频展示界面内的视频展示窗口对应的客户端，包括：所述任一客户端接收用户在所述视频展示窗口上的滑动操作，变更处于所述视频展示界面内的视频展示窗口；确定处于所述视频展示界面内的变更后的视频展示窗口对应的客户端。4.根据权利要求1所述的方法，其特征在于，所述订阅信息，包括：默认必选的客户端对应的订阅信息，和所述任一客户端自定义订阅的客户端对应的订阅信息。5.根据权利要求1所述的方法，其特征在于，还包括：在新的客户端与所述服务器建立连接的情况下，向所述新的客户端告知已建立连接的所述多个客户端的信息，以供所述新的客户端订阅所述多个客户端中的至少一个；向所述多个客户端告知所述新的客户端的信息，以供所述多个客户端订阅所述新的客户端。6.根据权利要求1所述的方法，其特征在于，还...

【专利技术属性】
技术研发人员：刘凯，钟威，陈燕丽，邵红亮，
申请(专利权)人：共道网络科技有限公司，
类型：发明
国别省市：