基于在线学习的动态异构网络选择方法及装置制造方法及图纸

本发明专利技术实施例提供了一种基于在线学习的动态异构网络选择方法及装置，包括：获取无线节点进行视频传输时可选择的各无线接入网络；基于各无线接入网络建立多臂选择机MAB在线学习模型，从而将无线节点的异构网络选择问题建模为基于多臂赌博机模型的在线学习问题；建立建立面向视频用户体验质量QoE的回报函数；基于多臂选择机MAB在线学习模型和面向视频用户体验质量QoE的回报函数确定多臂选择机MAB在线学习模型的最优解，并将最优解作为视频传输过程中无线接入网络选择结果，从而平衡利用与探索的难题。本实施例能够解决了在异构网络状态信息变化不确定的情况下，无线节点传输视频时的动态网络选择问题，使得视频用户能够获得更好的视频体验质量。

【技术实现步骤摘要】
基于在线学习的动态异构网络选择方法及装置
本专利技术涉及智能通信
，尤其涉及一种基于在线学习的动态异构网络选择方法及装置。
技术介绍
视频用户从异构接入网络中选择合适的网络是进行视频传输的首要步骤，对视频传输质量具有重要影响。在多个异构网络共同覆盖的公共区域内，各个接入网络的带宽、丢包率等网络状态参数不断动态变化。这种网络状态信息的动态变化和不确定性，对无线视频传输节点选择接入网络增加了不确定因素和困难。同时，由于不同接入网络之间缺乏有效的信息共享方案，而网络服务提供商(NetworkServiceProvider，NSP)之间却存在着业务竞争，一些重要的网络状态信息，例如信道的实际可用带宽、丢包率和时延等，可能无法事先告知视频用户。而实时监控所有网络状态信息的成本较高也不切实际，从而也就失去了网络选择的依据。因此，现有的方法在面对多个动态的接入网络，无法克服网络状态的随机变化做出合理的选择，实现视频传输的质量优化。
技术实现思路
针对现有技术中存在的问题，本专利技术实施例提供一种基于在线学习的动态异构网络选择方法及装本文档来自技高网...

【技术保护点】
1.一种基于在线学习的动态异构网络选择方法，其特征在于，包括：/n获取无线节点进行视频传输时可选择的各无线接入网络；/n基于所述可选择的各无线接入网络建立多臂选择机MAB在线学习模型；所述多臂选择机MAB在线学习模型用于在不同时隙选择符合目标期望的无线接入网络，所述多臂选择机MAB在线学习模型中每个可选臂表示在各无线接入网络中的一种选择接入的网络；/n建立面向视频用户体验质量QoE的回报函数，并将所述面向视频用户体验质量QoE的回报函数代入所述多臂选择机MAB在线学习模型；/n基于所述多臂选择机MAB在线学习模型和面向视频用户体验质量QoE的回报函数，确定所述多臂选择机MAB在线学习模型的最优...

【技术特征摘要】
1.一种基于在线学习的动态异构网络选择方法，其特征在于，包括：
获取无线节点进行视频传输时可选择的各无线接入网络；
基于所述可选择的各无线接入网络建立多臂选择机MAB在线学习模型；所述多臂选择机MAB在线学习模型用于在不同时隙选择符合目标期望的无线接入网络，所述多臂选择机MAB在线学习模型中每个可选臂表示在各无线接入网络中的一种选择接入的网络；
建立面向视频用户体验质量QoE的回报函数，并将所述面向视频用户体验质量QoE的回报函数代入所述多臂选择机MAB在线学习模型；
基于所述多臂选择机MAB在线学习模型和面向视频用户体验质量QoE的回报函数，确定所述多臂选择机MAB在线学习模型的最优解，并将所述最优解作为视频传输过程中无线接入网络选择结果。


2.根据权利要求1所述的基于在线学习的动态异构网络选择方法，其特征在于，所述基于所述可选择的各无线接入网络建立多臂选择机MAB在线学习模型，具体包括：
若所述可选择的各无线接入网络个数为M，则确定M个无线接入网络构成的集合为
将视频传输的总时隙记为T，则在不同时隙无线节点对M个无线接入网络选择的接入网络所构成的集合为
相应地，所述集合SMAB对应的回报集为UMAB＝{uMAB(1),uMAB(2),...,uMAB(T)}；
根据集合SMAB以及所述集合SMAB对应的回报集UMAB得到多臂选择机MAB在线学习模型；所述多臂选择机MAB在线学习模型为：









其中，i表示T个时隙中的一个时隙，表示约束条件。


3.根据权利要求1所述的基于在线学习的动态异构网络选择方法，其特征在于，所述建立面向视频用户体验质量QoE的回报函数，并将所述面向视频用户体验质量QoE的回报函数代入所述多臂选择机MAB在线学习模型，具体包括：
基于视频内容建立面向视频用户体验质量QoE的回报函数，所述面向视频用户体验质量QoE的回报函数为：



其中，所述视频内容为三类：轻微运动类、适中运动类和快速运动类，当φ＝1时，所述视频内容属于轻微运动类，当φ＝2时，所述视频内容属于适中运动类，当φ＝3时，所述视频内容属于快速运动类；在第i时隙，i≤T，无线节点所选择的无线接入网络为所述无线节点所选择的无线接入网络在所述时隙i内信道速率rs(i)及丢包率ls(i)保持不变；
将所述面向视频用户体验质量QoE的回报函数代入所述多臂选择机MAB在线学习模型。


4.根据权利要求3所述的基于在线学习的动态异构网络选择方法，其特征在于，所述将所述面向视频用户体验质量QoE的回报函数代入所述多臂选择机MAB在线学习模型，具体包括：
确定各无线接入网络损耗的代价因子为λ＝{λ1,λ2,...,λM}；
基于无线接入网络损耗的代价因子确定所述面向视频用户体验质量QoE的回报函数；
将基于无线接入网络损耗的代价因子确定的所述面向视频用户体验质量QoE的回报函数代入所述多臂选择机MAB在线学习模型，则所述多臂选择机MAB在线学习模型为：





5.根据权利要求4所述的基于在线学习的动态异构网络选择方法，其特征在于，所述基于所述多臂选择机MAB在线学习模型和面向视频用户体验质量QoE的回报函数，确定所述多臂选择机MAB在...

【专利技术属性】
技术研发人员：刘庚冉，贺超，陈力，林宇斐，丁一珊，
申请(专利权)人：中国人民解放军军事科学院国防科技创新研究院，
类型：发明
国别省市：北京;11