云边端协同计算的视频会议方法、装置、系统及设备制造方法及图纸

本文提供了一种云边端协同计算的视频会议方法、装置及设备，所述方法包括：获取视频会议系统中各个节点的运行参数，以及视频会议中视频流需求信息，所述节点至少包括云端节点、边缘节点和终端节点；根据所述视频流需求信息和所述运行参数，以及预设分配模型，确定视频流处理分配任务；根据所述视频流处理分配任务，向所述目标节点下发分配任务，以使所述目标节点完成视频会议中视频流需求信息，充分利用各类设备的视频流处理能力，在用户终端不需要太高配置的情况下，可以将视频处理分配至云端或边缘其他设备，提升终端用户的体验。提升终端用户的体验。提升终端用户的体验。

【技术实现步骤摘要】
云边端协同计算的视频会议方法、装置、系统及设备


[0001]本文属于新兴信息
，具体涉及一种云边端协同计算的视频会议方法、装置、系统及设备。

技术介绍

[0002]随着信息技术的发展，视频会议已成为人们日常沟通交流的工具。WebRTC实现了基于网页的视频会议，通过浏览器就可以实现实时通讯能力，因此在视频会议中使用WebRTC技术也越来越广泛。
[0003]当前以WebRTC技术为基础的视频会议主要有三种架构，第一种是Mesh架构，每个参与者都以P2P的方式相互连接，数据交换基本不经过中央服务器。由于没有媒体服务器的参与，Mesh网络结构难以对视频做额外的处理，不支持视频录制、视频码、视频合流等操作；第二种是MCU(Multipoint Control Unit)架构，MCU是一种传统的中心化网络结构，参与者仅与中心的MCU媒体服务器连接。MCU媒体服务器合并所有参与者的视频流，生成一个包含所有参与者画面的视频流，参与者只需要拉取合流画面，MCU服务器负责所有视频编码、转码、解码、合流等复杂操作，服务器端压力较大，需要较高的配置。同时由于合流画面固定，界面布局也不够灵活；最后一种是SFU(Selective Forwarding Unit)架构，在SFU网络结构中，虽有中心节点媒体服务器，但是其只负责转发，不做合流、转码等资源开销较大的媒体处理工作，所以服务器的压力会小很多。
[0004]这三种架构各有利弊，Mesh架构对后端服务器要求最少，但对于终端配置要求最高，对终端网络要求很高，同时有很多功能较难实现，功能扩展性低，因此当前使用这种架构的比较少；MCU架构对于后端要求最高，对终端配置要求最低，对终端网络要求最低，但是由于当前视频会议运营多以SaaS形式提供，这样就要求运营者购买后端服务器或者租用MCU服务，对运营者来说资产负担太重；SFU架构虽有媒体服务器仅做转发，对后端服务器要求较低，终端配置要求较高，终端的网络要求适中。

技术实现思路

[0005]针对现有技术的上述问题，本文的目的在于，提供一种云边端协同计算的视频会议方法、装置、系统及设备，能够减少系统的配置难度，提高终端用户体验。
[0006]为了解决上述技术问题，本文的具体技术方案如下：
[0007]采用上述技术方案，本文一种云边端协同计算的视频会议方法，应用于视频会议系统，所述方法包括：
[0008]获取视频会议系统中各个节点的运行参数，以及视频会议中视频流需求信息，所述节点至少包括云端节点、边缘节点和终端节点，所述视频流需求信息包括全部终端节点需要展示的视频流信息；
[0009]根据所述视频流需求信息和所述运行参数，以及预设分配模型，确定视频流处理分配任务，所述视频流处理分配任务包括处理所述视频流需求信息对应的至少一个目标节
点及每个目标节点对应的分配任务；
[0010]根据所述视频流处理分配任务，向所述目标节点下发分配任务，以使所述目标节点完成视频会议中视频流需求信息。
[0011]进一步地，所述运行参数至少包括静态参数和动态参数；
[0012]所述获取视频会议系统中各个节点的运行参数，包括：
[0013]获取各个节点在安装时或静默空闲时测试得到的静态参数，所述静态参数至少包括节点解码能力、解码消耗时间和CPU内存消耗；
[0014]在会议过程中，实时获取各个节点的动态参数，所述动态参数至少包括节点的网络带宽、CPU算力和Mem内存。
[0015]进一步地，所述预设分配模型包括：
[0016]P＝Min(∑
(i，j，k)
(CT
i，k
X
i，j，k
)+∑(
i，j，k
)(NT
i，j
X
i，j，k
))，
[0017]其中，
[0018]∑
j，k
(C
i，k
X
i，j，k
)＜C
i
；
[0019]∑
j，k
(N
i，k
X
i，j，k
)＜N
i
；
[0020]∑
j，k
(CPU
i，k
X
i，j，k
)＜CPU
i
；
[0021]∑
j，k
(Mem
i，k
X
i，j，k
)＜Mem
i
；
[0022]∑
i
X
i，j，k
(i)＝1；
[0023]∑
i，k
X
i，j，k
(k)＝1；
[0024]X
i，j，k
∈{0，1}；
[0025]其中，P为视频处理分配任务，X
i，j，k
代表第i个节点处理j用户查看的k个流；CT
i，k
表示第i个节点处理k个流所需要的时间；NT
i，j
表示第i个节点处理完毕流后传输到j用户所需要的网络时间；C
i，k
表示节点i处理k个流所耗费的能力，C
i
表示节点i的总共处理流的能力；N
i，k
表示节点i处理k个流所需要的网络带宽，N
i
表示节点i总共能使用的带宽限制；CPU
i，k
表示节点i处理k个流所耗费的CPU算力，CPU
i
表示节点i的最大能够使用的算力；Mem
i，k
表示节点i处理k个流所耗费的Mem内存情况，Mem
i
表示节点i的最大能够使用的内存情况。
[0026]进一步地，所述预设分配模型包括各个节点的视频流处理能力，所述视频流处理能力包括节点处理视频流的所需要的时间、网络带宽、CPU算力以及耗费的Mem内存；
[0027]所述视频流处理能力通过如下步骤获得：
[0028]按照预设编码格式，在预设分辨率、码率、帧率以及码流数的情况下，获得各个节点的视频流处理能力，或，
[0029]在视频会议系统安装时或空闲时，对系统支持的编码进行预设分辨率、码率和帧率进行测试，以获得各个节点的视频流处理能力。
[0030]进一步地，所述根据所述视频流需求信息和所述运行参数，以及预设分配模型，确定视频流处理分配任务，包括：
[0031]获取各个节点的历史分配列表，所述历史分配列表包括所述节点的已经处理过的视频流处理分配任务；
[0032]将所述历史分配列表与所述视频流需求信息进行匹配，获取匹配结果；
[0033]若所述匹配结果为至少部分匹配成功，则所述至少匹配成功的视频流需求信息对应的节点作为目标节点；
[0034]将匹配未成功的视频流需求信息和所述运行参数，以及预设分配模型，确定所述匹配未成功的视频流需求信息对应的视本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种云边端协同计算的视频会议方法，应用于视频会议系统，其特征在于，所述方法包括：获取视频会议系统中各个节点的运行参数，以及视频会议中视频流需求信息，所述节点至少包括云端节点、边缘节点和终端节点，所述视频流需求信息包括全部终端节点需要展示的视频流信息；根据所述视频流需求信息和所述运行参数，以及预设分配模型，确定视频流处理分配任务，所述视频流处理分配任务包括处理所述视频流需求信息对应的至少一个目标节点及每个目标节点对应的分配任务；根据所述视频流处理分配任务，向所述目标节点下发分配任务，以使所述目标节点完成视频会议中视频流需求信息。2.根据权利要求1所述的方法，其特征在于，所述运行参数至少包括静态参数和动态参数；所述获取视频会议系统中各个节点的运行参数，包括：获取各个节点在安装时或静默空闲时测试得到的静态参数，所述静态参数至少包括节点解码能力、解码消耗时间和CPU内存消耗；在会议过程中，实时获取各个节点的动态参数，所述动态参数至少包括节点的网络带宽、CPU算力和Mem内存。3.根据权利要求1所述的方法，其特征在于，所述预设分配模型包括：P＝Min(∑
(i,j,k)
(CT
i,k
X
i,j,k
)+∑
(i,j,k)
(NT
i,j
X
i,j,k
))，其中，∑
j,k
(C
i,k
X
i,j,k
)<C
i
；∑
j,k
(N
i,k
X
i,j,k
)<N
i
；∑
j,k
(CPU
i,k
X
i,j,k
)<CPU
i
；∑
j,k
(Mem
i,k
X
i,j,k
)<Mem
i
；∑
i
X
i,j,k
(i)＝1；∑
i,k
X
i,j,k
(k)＝1；X
i,j,k
∈{0,1}；其中，P为视频处理分配任务，X
i,j,k
代表第i个节点处理j用户查看的k个流；CT
i,k
表示第i个节点处理k个流所需要的时间；NT
i,j
表示第i个节点处理完毕流后传输到j用户所需要的网络时间；C
i,k
表示节点i处理k个流所耗费的能力，C
i
表示节点i的总共处理流的能力；N
i,k
表示节点i处理k个流所需要的网络带宽，N
i
表示节点i总共能使用的带宽限制；CPU
i,k
表示节点i处理k个流所耗费的CPU算力，CPU
i
表示节点i的最大能够使用的算力；Mem
i,k
表示节点i处理k个流所耗费的Mem内存情况，Mem
i
表示节点i的最大能够使用的内存情况。4.根据权利要求3所述的方法，其特征在于，所述预设分配模型包括各个节点的视频流处理能...

【专利技术属性】
技术研发人员：朱同辉，李明，姚中，李烜，阳洋，钱文浩，
申请(专利权)人：上海理想信息产业集团有限公司，
类型：发明
国别省市：