一种基于异构算力节点协同的视频分发方法技术

本发明专利技术公开了一种基于异构算力节点协同的视频分发方法，涉及通信技术领域。本发明专利技术通过部署不同云服务的分布式节点构建算力网络来协同处理视频提升服务可用性，设计强化学习模型规划视频传输路径并合理选取处理转码节点，采用优先级排队对不同视频任务进行调度并自适应调整节点资源以降低对计算和网络资源的突发竞争，克服了节点计算和网络的异构性和动态性，实现了低时延高带宽的视频分发，能够满足超高清视频直播的实时性需求，也适用于视频点播等其它相关场景。频点播等其它相关场景。频点播等其它相关场景。

【技术实现步骤摘要】
一种基于异构算力节点协同的视频分发方法


[0001]本专利技术涉及通信
，特别是涉及一种基于异构算力节点协同的视频分发方法。

技术介绍

[0002]随着人工智能、云计算等技术快速发展，工业互联网、元宇宙等新模式不断涌现，算力成为重要生产力并开始与网络深入融合，“算力网络”应运而生。它通过将各种计算节点互联统筹调度，提供算力分布在全部网络节点的一体化信息基础设施，能够实现计算和网络资源的优化和高效利用。
[0003]算力网络主要适用于计算密集型业务，目前最常见的是大规模数据处理场景，例如超级计算、人工智能训练、区块链应用等。而各种流行的智能应用(智能驾驶、智能制造等)和泛视频类业务(视频直播、VR/AR、云游戏等)在高性能算力需求的基础上，还要求网络提供实时性和可靠性保障.其中本质为连续数据流的视频，在超高清(4K/8K)直播时，其传输还会对网络带宽提出很高需求。由于互联网无法保证算力节点间传输时延和带宽确定性，将算力网络应用于这类对时间敏感的计算密集型业务存在巨大挑战。
[0004]目前典型的视频直播工作流程如图1所示，其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于异构算力节点协同的视频分发方法，其特征在于，该方法主要包括以下步骤：步骤1、建立视频分发节点决策模型，该模型建立包括以下步骤：步骤1.1、部署多云分布式节点来构建算力网络，使视频分发采用的CDN服务器节点具有足够算力；步骤1.2、监测节点资源，通过节点中选择出的控制器及时掌握算力节点资源的动态变化，合理编排各节点资源用于处理视频分发任务；步骤1.3、在线模型选取，通过在线追踪异构节点的计算和网络资源变化，合理选择最大化视频分发效率的传输和转码节点；步骤2、设计合理的多任务调度策略，该策略包括以下步骤：步骤2.1、对视频进行优先级排队，缓解同时发起分发任务处理请求的多个视频流对节点计算和网络资源的竞争，根据视频块播放期限的临近程度设置排队优先级依次处理，以缓解资源竞争压力；步骤2.2、对各种资源进行自适应配置，降低突发流量峰值导致资源容量不足的风险，对视频分发请求削峰填谷提升节点的弹性。2.根据权利要求1所述的一种基于异构算力节点协同的视频分发方法，其特征在于，所述步骤1.1通过以下步骤构建算力网络：步骤1.1.1，将多个云服务的全球分布式节点位置都作为候选算力节点位置，去除包含候选节点位置较多的地理区域内性能较差的节点以节约资源成本，具体地，测量所有候选节点位置两两之间往返时延RTT，设n个候选节点位置间的测量集合为{RTT
ij
}(i，j＝1，2，...，n)，取各节点位置到其它节点位置中最小RTT值min
i
{RTT
ij
}，在各区域内根据该值进行排序并去除其中一定比例值较大的节点位置，其中该比例常用值为1/3；步骤1.1.2，对上述选定的节点位置各部署一个节点实例，对于不同云服务在各节点位置提供的不同类型的实例配置，选取其中单位价格处理速率最高的配置，具体地，使用所有m个类型配置的实例分别对同一代表性视频进行编解码，记录其各自总用时{t
k
}(k＝1，2，...，m)，并查询各种配置的价格{c
k
}，通过1/(t
k
c
k
)计算单位价格处理速率对所有实例配置排序，按结果值最高的配置进行实例部署；步骤1.1.3，基于上述部署节点构建算力网络作为视频分发CDN，利用靠近直播源的CDN服务器节点完成视频摄取，而视频转码工作在视频分发的过程中卸载到用于传输的CDN服务器节点完成。3.根据权利要求1所述的一种基于异构算力节点协同的视频分发方法，其特征在于，所述步骤1.2通过以下步骤进行节点资源监测：步骤1.2.1，从所述算力节点中选举出一个节点作为控制器用于维护各节点的资源和数据处理状态，测量所有部署节点两两之间的往返时延{RTT
ij
}(i，j＝1，2，...，n)，取各节点到其它节点的最大RTT进行排序，取该值最小的节点argmin
i
{max
i
{RTT
ij
}}作为控制器，并周期性地根据节点间最新RTT重新选举来全局控制节点负载过大易出现单点故障的问题，周期一般可设置为1小时；步骤1.2.2，上述步骤选举出的控制器在每次处理视频分发任务后获取各算力节点最新的资源使用情况，对于计算和存储资源，可以直接调用节点设备自带的监控工具获取CPU
和内存利用率；对于网络带宽资源，基于网络状况在短时间尺度上的稳定性，根据最近数据传输平均速率的调和平均数估算所有算力节点间、以及节点与邻近的直播源或用户间的链路带宽，具体地，对于某链路x最近一小段时间内有l次数据传输，各次数据大小和传输用时分别为{s
xi
}和{t
xi
}(i＝1，2，...，l)，即对应的传输平均速率为r
xi
＝s
xi
/t
xi
，根据调和平均数计算公式，该链路估算带宽为BW
x
＝1/[(∑
i
1/r
xi
)/l]＝l/(∑
i
t
xi
/s
xi
)，通过计算所有链路带宽之和与节点额定带宽比值可以近似获得节点带宽利用率。4.根据权利要求1所述的一种基于异构算力节点协同的视频分发方法，其特征在于，所述步骤1.3通过以下步骤进行在线模型选取：步骤1.3.1，构建一个强化学习模型，其中利用神经网络NN来表示其迭代更新的控制策略Π
ξ
(S
i
，a
i
)，其中ξ为一组参数，状态S
i
的各元素分别输入两个相似的多层神经网络，其中一个称为Actor基于提取的特征输出动作a
i
，另一个称为Critic用于判断动作价值，其中NN具体层数和每层单元数根据实际情况调整，每个神经网络的输入层都采用一维卷积神经网络1D
‑
CNN来提取集合序列的特征，而全连接FC层都采用tanh激活函数来增强学习能力，Actor网络的输出层以softmax作为激活函数，生成选择每个动作的概率分布，其提供概率最大的动作；而Critic网络的输出层是一个线性神经元，它估计从当前状态开始的预期总奖励，Actor网络根据Critic网络计算出的最优价值V
Π
(S
i
)迭代更新策略函数...

【专利技术属性】
技术研发人员：鄂金龙，何林，
申请(专利权)人：中国人民大学，
类型：发明
国别省市：