一种基于SDN的异构无线网络接入选择方法及系统技术方案

本发明专利技术涉及一种基于SDN的异构无线网络接入选择方法及系统，该方法包括步骤：在目标观测时间长度下，获取每个时刻环境中的目标观测数据；利用预设神经网络对目标观测数据依次进行多属性特征提取、空间特征提取和时序特征提取，得到当前时刻的状态向量；使用初始Q网络对状态向量进行处理，并对预设神经网络和初始Q网络进行训练，得到训练好的预设神经网络和目标Q网络；利用训练好的预设神经网络和目标Q网络计算当前时刻每个决策的评估值，并根据评估值选取目标决策，输出并执行目标决策。该接入选择方法可以使得任何一个移动设备都能够根据当前环境状况与自身状态选择最优的网络进行接入，从而满足确定性低时延，以保证用户的业务体验。

【技术实现步骤摘要】
一种基于SDN的异构无线网络接入选择方法及系统
本专利技术属于通信
，具体涉及一种基于SDN的异构无线网络接入选择方法及系统。
技术介绍
工业互联网是推动未来网络发展的一个典型应用场景，是驱动未来互联网发展的关键动力之一，无论是5G时代还是后5G时代，其中确定性低时延是关键的技术需求。当前基于IETF(InternetEngineeringTaskForce，国际互联网工程任务组)的TCP/IP协议栈的互联网，其提供“尽力而为”的网络传送服务以及有限的QoS(QualityofService，服务质量)保证。但在未来的工业连接上，不仅要提供确定的、及时的传送服务(intime，时延短)，而且要提供确定的、准时的传送服务(ontime，抖动小)。由于5G在室内覆盖上成本高，终端兼容性弱的限制，而新一代Wi-Fi6在室内覆盖上已经克服了大带宽、大容量、低时延的挑战，可以支持VR/4K/AGV等大带宽低时延的关键应用，所以Wi-Fi网络与5G网络在大部分的场景里是可以相互协同，使得整个接入系统的服务最优。而由于移动终端业务的多样性、无线网络信道传输质量的差异性、无线网络信号的重叠性等因素，需要依靠网络接入选择算法保障用户能够接入到最适合的网络进行业务处理，而由于传统无线网络的封闭结构，使得接入选择方法难以部署。无线终端的移动性和无线信道的时变性，更是使得无线网络的接入选择面临的情况较为复杂。此外，传统架构中无线访问接入点(WirelessAccessPoint,AP)具有独立性，只能获取到与自身关联的终端信息，不同AP间缺少同步信息。而基于深度Q学习网络DQN(DeepQ-learningNetwork)的异构无线网络接入选择算法，将终端的吞吐量作为DQN的奖励值，使用AP接收到终端的RSSI(ReceivedSignalStrengthIndication，接收的信号强度指示)信息表征终端在网络中所处的状态；通过将算法放置到实际的网络环境或者仿真平台进行训练，从而得到适用于对应的网络场景的切换判决策略。由于该算法所提供的切换判决算法采用了强化学习的方法，因此其具有针对不同网络环境的普适性以及应对网络变化的自适应性。基于DQN的切换判决算法与传统的切换判决算法相比，能够做出最佳的切换决策，并明显地提高终端在切换过程中的吞吐量。然而，由于该算法只考虑了终端的RSSI因素作为终端在网络中所处的状态，而单一的RSSI指标并不能确切反映出网络中的实际状况，因此在该接入选择算法下，不能使得终端满足确定性低时延，且传统的DQN算法存在过估计(overestimate)问题，导致无法获得稳定有效的策略。
技术实现思路
为了解决现有技术中存在的上述问题，本专利技术提供了一种基于SDN的异构无线网络接入选择方法及系统。本专利技术要解决的技术问题通过以下技术方案实现：本专利技术实施例提供了一种基于SDN的异构无线网络接入选择方法，包括步骤：S1、在目标观测时间长度下，获取每个时刻环境中的目标观测数据，输出所述目标观测数据；其中，所述目标观测数据包括若干属性；S2、利用预设神经网络对所述目标观测数据依次进行多属性特征提取、空间特征提取和时序特征提取，得到当前时刻的状态向量；S3、使用初始Q网络对所述状态向量进行处理，并利用DoubleDQN算法对所述预设神经网络和所述初始Q网络进行训练，得到训练好的预设神经网络和目标Q网络；S4、利用训练好的所述预设神经网络和所述目标Q网络计算当前时刻每个决策的评估值，并根据所述评估值选取目标决策，输出所述目标决策；S5、执行所述目标决策。在本专利技术的一个实施例中，步骤S1包括：S11、从环境中获取第j个接入点上的第一观测数据Pj：其中，Pj表示第j个接入点上的第一观测数据，n表示第一观测数据包括的属性个数，fk表示第一观测数据中第k个属性的值；S12、获取在第i时刻环境中所有接入点上的第二观测数据Oi：其中，Oi表示在第i时刻的第二观测数据，m表示环境中的接入点的数量；S13、输出由所述第二观测数据形成的目标观测数据O：其中，O表示目标观测数据，l表示目标观测时间长度。在本专利技术的一个实施例中，所述若干属性包括终端侧接收信号的强度、无线接入点的连接用户数、无线接入点的当前负载中的一种或多种。在本专利技术的一个实施例中，步骤S2包括：S21、利用多属性神经网络对所述目标观测数据进行多属性特征提取，得到属性特征B：B＝fANN(O；θANN)其中，B表示属性特征，fANN表示多属性神经网络的非线性映射函数，θANN表示多属性神经网络中的可变参数；S22、利用卷积神经网络对所述多属性特征进行空间特征提取，得到空间特征C；C＝fCNN(B；θCNN)其中，C表示空间特征，fCNN表示卷积神经网络的非线性映射函数，θCNN表示卷积神经网络中的可变参数；S23、利用循环神经网络对所述空间特征进行时序特征进行提取，得到状态向量S：S＝fRNN(C；θRNN)其中，S表示状态向量，fRNN表示循环神经网络的非线性映射函数，θRNN表示循环神经网络中的可变参数。在本专利技术的一个实施例中，步骤S3包括：S31、根据环境中接入点的数量和每个设备接入的决策定义决策空间A：其中，A表示决策空间，t表示环境中的接入点的数量，ai表示选择第i个设备接入的决策；S32、使用所述初始Q网络对所述状态向量进行处理，得到当前时刻决策空间中每个决策的评估值；S33、根据随机概率和当前时刻所述每个决策的评估值，从所述决策空间选取第一决策；S34、获取当前时刻终端执行所述第一决策时的奖励值和下一时刻的目标观测数据；S35、根据所述奖励值和所述下一时刻的目标观测数据计算所述DoubleDQN算法的损失函数；S36、根据所述损失函数，使用随机梯度下降的方法更新所述预设神经网络中的可变参数和所述初始Q网络中的可变参数，得到训练好的预设神经网络和目标Q网络。本专利技术的另一个实施例还提供了一种基于SDN的异构无线网络接入选择系统，包括环境模块、特征模块和策略模块，其中，所述环境模块用于在目标观测时间长度下，获取每个时刻环境中的目标观测数据，输出所述目标观测数据，其中，所述目标观测数据包括若干属性；所述环境模块还用于检测并执行所述策略模块输出的策略行为；所述特征模块连接所述环境模块，用于利用预设神经网络对所述目标观测数据依次进行多属性特征提取、空间特征提取和时序特征提取，得到当前时刻的状态向量；所述策略模块连接所述环境模块和所述特征模块，用于使用初始Q网络对所述状态向量进行处理，并利用DoubleDQN算法对所述预设神经网络和所述初始Q网络进行训练，得到训练好的预设神经网络和目标Q网络，然后利用训练好的所述预设神经网络和所述目标Q网络计算当前时刻每个决策的评估值，根据本文档来自技高网...

【技术保护点】
1.一种基于SDN的异构无线网络接入选择方法，其特征在于，包括步骤：/nS1、在目标观测时间长度下，获取每个时刻环境中的目标观测数据，输出所述目标观测数据；其中，所述目标观测数据包括若干属性；/nS2、利用预设神经网络对所述目标观测数据依次进行多属性特征提取、空间特征提取和时序特征提取，得到当前时刻的状态向量；/nS3、使用初始Q网络对所述状态向量进行处理，并利用Double DQN算法对所述预设神经网络和所述初始Q网络进行训练，得到训练好的预设神经网络和目标Q网络；/nS4、利用训练好的所述预设神经网络和所述目标Q网络计算当前时刻每个决策的评估值，并根据所述评估值选取目标决策，输出所述目标决策；/nS5、执行所述目标决策。/n

【技术特征摘要】
1.一种基于SDN的异构无线网络接入选择方法，其特征在于，包括步骤：
S1、在目标观测时间长度下，获取每个时刻环境中的目标观测数据，输出所述目标观测数据；其中，所述目标观测数据包括若干属性；
S2、利用预设神经网络对所述目标观测数据依次进行多属性特征提取、空间特征提取和时序特征提取，得到当前时刻的状态向量；
S3、使用初始Q网络对所述状态向量进行处理，并利用DoubleDQN算法对所述预设神经网络和所述初始Q网络进行训练，得到训练好的预设神经网络和目标Q网络；
S4、利用训练好的所述预设神经网络和所述目标Q网络计算当前时刻每个决策的评估值，并根据所述评估值选取目标决策，输出所述目标决策；
S5、执行所述目标决策。


2.如权利要求1所述的基于SDN的异构无线网络接入选择方法，其特征在于，步骤S1包括：
S11、从环境中获取第j个接入点上的第一观测数据Pj：



其中，Pj表示第j个接入点上的第一观测数据，n表示第一观测数据包括的属性个数，fk表示第一观测数据中第k个属性的值；
S12、获取在第i时刻环境中所有接入点上的第二观测数据Oi：



其中，Oi表示在第i时刻的第二观测数据，m表示环境中的接入点的数量；
S13、输出由所述第二观测数据形成的目标观测数据O：



其中，O表示目标观测数据，l表示目标观测时间长度。


3.如权利要求1所述的基于SDN的异构无线网络接入选择方法，其特征在于，所述若干属性包括终端侧接收信号的强度、无线接入点的连接用户数、无线接入点的当前负载中的一种或多种。


4.如权利要求1所述的基于SDN的异构无线网络接入选择方法，其特征在于，步骤S2包括：
S21、利用多属性神经网络对所述目标观测数据进行多属性特征提取，得到属性特征B：
B＝fANN(O；θANN)
其中，B表示属性特征，fANN表示多属性神经网络的非线性映射函数，θANN表示多属性神经网络中的可变参数；
S22、利用卷积神经网络对所述多属性特征进行空间特征提取，得到空间特征C；
C＝fCNN(B；θCNN)
其中，C表示空间特征，fCNN表示卷积神经网络的非线性映射函数，θCNN表示卷积神经网络中的可变参数；
S23、利用循环神经网络对所述空间特征进行时序特征进行提取，得到状态向量S：
S＝fRNN(C；θRNN)
其中，S表示状态向量，fRNN表示循环神经网络的非线性映射函数，θRNN表示循环神经网络中的可变参数。

...

【专利技术属性】
技术研发人员：陈彦萍，吕宁，黄宇航，夏虹，高聪，王忠民，
申请(专利权)人：西安邮电大学，
类型：发明
国别省市：陕西;61