一种视频会议中的流媒体分发系统及方法技术方案

一种视频会议中的流媒体分发系统及方法，包括流媒体服务器、业务服务器和多个用户终端，流媒体服务器上部署MCU装置和SFU装置：SFU装置，将会上用户终端发来的媒体流转发给其他会上用户终端和MCU装置，并将MCU装置发来的混合媒体流转发给所有旁观用户终端；MCU装置，将SFU装置发来的媒体流合成一路混合媒体流，并发给SFU装置；用户终端，当用户是会上用户时，采集媒体流发送给SFU装置，然后将SFU装置发来的其他会上用户终端的媒体流合成一路混合媒体流在本地播放；当用户是旁观用户时，接收并播放SFU装置发来的混合媒体流。本发明专利技术属于信息技术领域，能基于真实音视频会议场景，将SFU和MCU进行结合，构建高性能的媒体拓扑结构。构建高性能的媒体拓扑结构。构建高性能的媒体拓扑结构。

【技术实现步骤摘要】
一种视频会议中的流媒体分发系统及方法


[0001]本专利技术涉及一种视频会议中的流媒体分发系统及方法，属于信息


技术介绍

[0002]随着移动互联网的普及，企业和个人对实时视频通信的需求也越来越大，在家远程办公和远程商业活动逐渐成为流行趋势。视频会议的解决方案交互性强，加速了信息的交流，克服了地理距离的障碍，是实时视频通信中的重要场景。由于网络情况的复杂和不稳定性，传输高质量低延迟的视频流成为了视频会议场景中的重要挑战。
[0003]视频会议系统的QoS(Quality of Service)很大程度上取决于服务器的设计与实现，良好设计的流媒体分发系统能够合理利用网络资源和计算资源，为各个用户提供高质量低延时的媒体流，达到高性价比的流媒体分发策略。目前，多人视频会议场景中目前主流的通讯架构主要有三种，分别是Mesh、SFU、MCU：
[0004]Mesh：参与通讯的每一方，都与其他方建立双向连接，每个人都将数据发送给所有其他用户，并且从所有其他用户那里接收数据，这样形成网状结构。这种结构的优点是没有中心节点，实现简单，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频会议中的流媒体分发系统，其特征在于，包括有流媒体服务器、业务服务器和多个用户终端，流媒体服务器上部署有MCU装置和SFU装置，当创建一个视频会议时，参加视频会议的用户包括有会上用户和旁观用户，正在分享视频的用户是会上用户，没有分享视频的用户是旁观用户，会上用户使用的用户终端简称为会上用户终端，旁观用户使用的用户终端简称为旁观用户终端，其中：SFU装置，用于将视频会议中每个会上用户终端发来的媒体流转发给其他所有会上用户终端和MCU装置，并将MCU装置发来的混合媒体流转发给视频会议中的所有旁观用户终端；MCU装置，用于将SFU装置发来的所有媒体流进行编解码和混流处理，以合成一路混合媒体流，然后将合成后的混合媒体流发给SFU装置；用户终端，当用户是会上用户时，采集自身的媒体流，并发送给SFU装置，然后将SFU装置转发来的其他所有会上用户终端的媒体流进行编解码和混流处理，以合成一路混合媒体流在本地播放；当用户是旁观用户时，接收、并播放SFU装置发来的混合媒体流。2.根据权利要求1所述的系统，其特征在于，根据负载均衡，同时部署多台流媒体服务器以实现分布式部署，并在每台流媒体服务器上均部署有SFU装置和MCU装置。3.根据权利要求1所述的系统，其特征在于，业务服务器进一步包括有：模式控制装置，当检测到视频会议中的所有用户都是会上用户时，向SFU装置和MCU装置发送通知消息，然后根据SFU装置、MCU装置返回的平均带宽占用率b、平均CPU占用率c，计算模式调节参数：其中，n是当前视频会议的用户终端数，并据此通知SFU装置：当模式调节参数大于1时，则通知SFU装置采取MCU模式；当模式调节参数小于1时，则通知SFU装置采取SFU模式，SFU装置进一步包括有：模式调节单元，根据业务服务器发来的通知消息，计算自身进程在一段时间内的平均带宽占用率b，并返回给业务服务器，然后再根据业务服务器的通知消息，执行相应的模式：如果是MCU模式，则将收到的每路用户终端的媒体流都转发给MCU装置，然后将MCU装置发来的混合媒体流发送给视频会议中的所有用户终端；如果是SFU模式，则将收到的每路用户终端的媒体流转发给视频会议中的其他用户终端，MCU装置，还根据业务服务器发来的通知消息，计算自身进程在一段时间内的平均CPU占用率c。4.根据权利要求1所述的系统，其特征在于，用户终端或SFU装置中包含有：视频质量预测模型构建单元，构建、并训练视频质量预测模型，所述视频质量预测模型用于根据每个时间段的视频帧来预测下一个时间段的平均视频质量，其输入是一个时间段内的若干视频帧，输出是预测得到的下一个时间段内不同码率分别对应的平均视频质量分数值，所述视频质量预测模型由提取图片空间特征的CNN和提取时域特征的RNN构成，对输入视频帧的处理流程如下：先将视频帧输入至CNN，以输出获得一个视频帧序列特征，然后再将CNN输出的视频帧序列特征继续输入至RNN，RNN的输出即是视频质量预测模型的输出值；码率决策模型构建单元，采用A3C算法，构建、并训练码率决策模型，所述码率决策模型
用于根据每个时间段的状态来挑选下一个时间段的码率，其输入是一个时间段的状态空间：S
t
＝(p
t
‑1,v
t
,s
t
‑1,d
t
‑1,l
t
‑1)，输出是预测得到的下一个时间段内不同码率的选择概率，其中，S
t
表示第t个时间段的状态空间，p
t
‑1表示在第t个时间段之前的第t
‑
1个时间段内发送视频的平均视频质量分数，v
t
表示在第t个时间段的平均视频质量分数预测值，s
t
‑1表示第t
‑
1个时间段内的视频流的发送码率，d
t
‑1表示第t
‑
1个时间段内发送方和接收方的延迟梯度，l
t
‑1表示第t
‑
1个时间段内的视频帧序列的丢包率，p
t
‑1、v
t
的值是视频质量预测模型对于第t
‑
1、t个时间段的预测结果，s
t
‑1的值是码率决策模型对于第t
‑
1个时间段的预测结果，d
t
‑1、l
t
‑1的值从发送方和接收方之间交互的RTCP控制信息中获取；自适应码率单元，在自身所属装置向其他装置发送媒体流时，通过训练好的视频质量预测模型和码率决策模型，为媒体流的发送方和接收方选择下一个时间段的码率：将自身所属装置收到的每个时间段内的视频帧输入视频质量预测模型，获取并保存视频质量预测模型对应于每个时间段的输出结果，然后提取发送方和接收方在上一个时间段的RTCP控制信息、视频质量预测模型在上一个时间段和当前时间段的输出结果、码率决策模型在上一个时间段的输出结果，构建获得每个时间段的状态空间，将所构建的每个时间段的状态空间输入码率决策模型，从而获取码率决策模型对应于每个时间段的输出结果，并从中选取选择概率最大的码率，在下一时间段内以所选择的码率来向接收方发送媒体流。5.根据权利要求4所述的系统，其特征在于，视频质量预测模型中，CNN包括有5层，依次为：一个包含64个5*5卷积核的卷积层和一个3
×
3的平均池化层，另一个包含64个3*3卷积核的卷积层和一个3
×
3的平均池化层，最后是一个2
×
2的最大池化层；RNN包括有2个具有64个隐藏单元的GRU层；并且使用均方误差来表示损失函数：单元的GRU层；并且使用均方误差来表示损失函数：其中，θ是视频质量预测模型的神经网络参数，V
t
是第t个时间段模型输出的平均视频质量分数预测值，是第t个时间段实际的平均视频质量分数值，N是计算的时间段总数，γ是对损失函数的调节系数，此外，增加损失函数进行调节，其中λ是调节系数，码率决策模型中，奖励函数QoE设计如下：码率决策模型中，奖励函数QoE设计如下：其中，V
t
、V
t
‑1分别表示在第t、t
‑
1个时间段视频质量预测模型输出的平均视频质量分数预测值，B
t
表示第t个时间段发送方选择的码率，D
t
表示第t个时间段接收方测量的延迟梯度，L
t
表示第t个时间段接收方的丢包率，T表示计算的时间段个数，|V
t
‑
V
t
‑1|表示视频质量的平滑，α、β、δ、γ表示衡量不同指标的权重；并且Actor网络和Critic网络都是通过三层神经网络提取状态特征，并利用全连接的...

【专利技术属性】
技术研发人员：廖建新，高涵，张涛，石峰，
申请(专利权)人：杭州东信北邮信息技术有限公司，
类型：发明
国别省市：