一种基于DDPG算法获得最优资源分配以提升定位精度的方法技术

本发明专利技术公开了一种基于DDPG算法获得最优资源分配以提升定位精度的方法，目的是在尽可能短的时间内获得最优的分配方案以提高定位精度，该方法主要包括两个部分：第一部分主要执行的操作是测距，而第二部分又由两个相关的操作组成

【技术实现步骤摘要】
一种基于DDPG算法获得最优资源分配以提升定位精度的方法


[0001]本专利技术涉及无线定位
，尤其是涉及一种基于DDPG算法获得最优资源分配以提升定位精度的方法。

技术介绍

[0002]随着无线通信技术的快速发展，基于位置信息的服务和应用被广泛研究。通过使用GNSS，人们在户外可以达到米级的精度。但是由于卫星信号很有可能受到障碍物阻挡，这就使得GNSS可能在室内、城市街道或茂密的森林环境中失效。而在这样的对GNSS有挑战的环境中，无线网络定位是一个很有前途的替代方案。
[0003]常见的无线定位网络使用的定位方法主要可以分为基于测距和不基于测距的定位方法，其中不基于测距的定位方法主要是指纹定位法，该方法需要先建立一个指纹数据库，而基于测距的定位方法主要包括到达时间(TOA)，到达时间差(TDOA)等方法，基于测距的方法无需建立指纹库且定位精度较高。
[0004]传统的无线定位网络主要采用的是非协同定位，它只允许位置已知的锚节点和位置未知的代理节点之间进行通信，而使用TOA进行定位时一般需要代理节点至少和三种不同的锚节点进行测距来获得自身位置，要想获得较高的定位精度就要求锚节点部署的密度能足够大，这就不可避免的提高了成本。此外，当锚节点和代理节点之间的通信距离较大时，容易出现中断通信的问题，不能保证通信的连续性，从而降低定位精度。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于提供一种基于DDPG算法获得最优资源分配以提升定位精度的方法，主要采用的是基于测距的定位方法中的TOA定位，同时加入协同定位，以获得更高的定位精度。
[0006]为实现上述目的，本专利技术采用以下内容：
[0007]一种基于DDPG算法获得最优资源分配以提升定位精度的方法，主要利用DDPG算法来分配带宽和功率，所述方法包括以下步骤：
[0008]步骤一、获取测距信息，估计代理节点位置：
[0009]假设无线定位网络中具有N
a
个代理节点和N
b
个锚节点，则整个网络可以使用的总带宽和总功率分别为B
total
，P
total
，无线定位网络中的各个节点根据带宽和功率的分配方案测量自身和其他节点之间的距离，利用TOA定位方法来确定代理节点的具体位置；
[0010]步骤二、获取DDPG网络状态空间：
[0011]所述DDPG算法的状态空间是指各个节点之间的距离以及信道参数，通过步骤一中的测距操作获得各个节点之间的距离信息，通过信道估计获得信道参数；
[0012]步骤三、开始网络训练：
[0013]采用强化学习中的DDPG算法以获得最优的资源分配方案，采用均方误差下界SPEB
Actor网络、Critic网络、Target Critic网络，其中Actor网络和Target Actor网络的结构相同，Critic网络和Target Critic网络的结构相同。
[0024]在其中一个实施例中，所述Actor网络和Target Actor网络均包含有五个隐藏层，每一隐藏层都使用线性整流函数ReLU作为激活函数；Actor网络的输入为所述步骤2中的状态空间，大小为(N
a
+N
b
)*2N
a
，从第二个隐藏层起，网络被分为结构相同的上下两半部分，上半部分被训练用于带宽的分配，下半部分被训练用于功率的分配，对它们的输出分别进行softmax操作，最终输出得到归一化的带宽分配和功率分配，大小为N
a
+N
b
。
[0025]在其中一个实施例中，所述Target Actor网络用于隔一段时间将Actor网络的网络参数按照一定百分比加权到Target Actor网络中，以实现Target Actor网络的更新。
[0026]在其中一个实施例中，所述Critic网络和Target Critic网络均包含有三个隐藏层，每一隐藏层都使用线性整流函数ReLU作为激活函数；Critic网络的输入为某一时刻的状态s
t
和动作a
t
，输出为对应的Q值Q(s
t
,a
t
)。
[0027]在其中一个实施例中，所述Target Critic网络用于隔一段时间将Critic网络的网络参数按照一定百分比加权到Target Critic网络中，以实现Target Critic网络的更新。
附图说明
[0028]下面结合附图对本专利技术的具体实施方式作进一步详细的说明。
[0029]图1是本专利技术一种基于DDPG算法获得最优资源分配以提升定位精度的方法的系统流程图；
[0030]图2是本专利技术所用DDPG算法流程示意图；
[0031]图3是本专利技术DDPG算法中Actor网络的网络结构示意图；
[0032]图4是本专利技术DDPG算法中Critic网络的网络结构示意图；
[0033]图5是一个实施例中非协同定位的实验场景仿真图；
[0034]图6是另一个实施例中协同定位的实验场景仿真图；
[0035]图7是非协同定位的离线阶段进行网络训练的收益图；
[0036]图8是非协同定位场景下穷尽算法与DDPG算法的性能对比图；
[0037]图9是协同定位的离线阶段进行网络训练的收益图；
[0038]图10是协同定位场景下DDPG算法的性能图。
具体实施方式
[0039]为了更清楚地说明本专利技术，下面结合优选实施例对本专利技术做进一步的说明。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本专利技术的保护范围。
[0040]现有技术一(CN108810840B)涉及到一种协作定位中基于EFIM和距离协作的节点选择方法，包括下列步骤：1)在场景中放置代理和锚节点，计算它们与待定位目标节点的距离；2)得到费希尔信息矩阵FIM再对高维的FIM进行分解和量化得到二维的等效费希尔信息矩阵EFIM；3)当目标节点和锚节点协作时，根据锚节点的EFIM计算节点的位置误差界限的平方SPEB；当目标节点和邻近代理节点协作时，根据代理节点的EFIM计算SPEB，根据新的节
点选择标准从邻近节点中选择节点，构建辅助节点的集合，对目标节点定位。
[0041]现有技术一存在的问题是其只考虑了应该选取哪些传感器进行定位的问题，可是忽略了各个选定的传感器对定位精度的贡献不一样，若对这些传感器进行合理资源分配可以更进一步的提升定位精度，但是其并没有考虑到传感器的带宽和功率等资源的分配。
[0042]现有技术二(CN106714301B)涉及到一种载波资源优化问题的混合整数线性规划求解方法(Mixed Integer Linear Programming，MILP)，在用YALMIP工具求解混合整数规划MIP模型时，先将混合整数规划问题转化为混合整数线性规划本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于DDPG算法获得最优资源分配以提升定位精度的方法，主要利用DDPG算法来分配带宽和功率，其特征在于，所述方法包括以下步骤：步骤一、获取测距信息，估计代理节点位置：假设无线定位网络中具有N
a
个代理节点和N
b
个锚节点，则整个网络可以使用的总带宽和总功率分别为B
total
，P
total
，无线定位网络中的各个节点根据带宽和功率的分配方案测量自身和其他节点之间的距离，利用TOA定位方法来确定代理节点的具体位置；步骤二、获取DDPG网络状态空间：所述DDPG算法的状态空间是指各个节点之间的距离以及信道参数，通过步骤一中的测距操作获得各个节点之间的距离信息，通过信道估计获得信道参数；步骤三、开始网络训练：采用强化学习中的DDPG算法以获得最优的资源分配方案，采用均方误差下界SPEB来衡量带宽和功率分配方案的优异度，单个代理节点的SPEB可表示为其中，J
e
(p
i
)是代理节点p
i
的等价费舍尔信息矩阵EFIM，是p
i
的估计值，协同定位网络的全局EFIM可表示为代理节点i从所有的N
b
个锚节点处获得的测距信息为个锚节点处获得的测距信息为从代理节点k处获得的测距信息为节点k处获得的测距信息为其中其中表示从节点i到节点k的角度值，λ
ik
是指测距信息密度，表示为其中ξ
ik
是指代理节点i和节点k之间测距信道参数，d
ik
代表的是代理节点i和节点k之间距离，P
k
和B
k
分别表示节点k分配到的功率和带宽资源，当协同定位网络的全局EFIM中的C
ik
＝0便可得到非协同定位网络的EFIM，再对非协同定位网络的EFIM求逆取迹便可得到整个网络的SPEB，整个无线定位网络的SPEB值可以表达为步骤四、在线阶段位置的预测：在线测试阶段，代理节点通过均匀分配的方案获得代理节点和其他节点之间的距离信息，再通过TOA定位方法估算出代理节点的位置信息，根据代理节点的位置信息可以获得步骤二中所述的状态空间，将获得的状态空间输入到步骤三里训练后的网络中，便可得到最
优的资源分配方案，利用输出的资源分配方案再进行测距进而获得最终的位置估计。2.根据权利要求1所述的一种基于DDPG算法获得最优资源分配以提升定位精度的方法，其特征在于，所述步骤一中：无线定位网络中的各个节点初始的分配方案是均匀分配，即每个节点分配到的资源是相同的，节点i分配到的带宽资源节点i分配到的功率资源其中i∈{1,2,
…
,N
a
+N
...

【专利技术属性】
技术研发人员：向晨路，张舜卿，徐树公，
申请(专利权)人：苏州云享阁智能科技有限公司，
类型：发明
国别省市：