基于视觉信息融合的毫米波通信链路阻塞预测方法技术

本发明专利技术公开了一种基于视觉信息融合的毫米波通信链路阻塞预测方法，利用基站端获取的无线数据和视觉数据，构建波束序列和检测目标序列，输入多模态融合神经网络模型以主动预测波束未来是否发生阻塞。本发明专利技术可以有效预测通信过程中出现的移动阻塞情况，可以使用户在发生阻塞前主动切换到另一个视距链路基站，保证通信始终处于视距链路状态，提升了毫米波通信系统的稳定性。系统的稳定性。系统的稳定性。

【技术实现步骤摘要】
基于视觉信息融合的毫米波通信链路阻塞预测方法


[0001]本专利技术属于无线通信、深度学习领域，具体涉及基于视觉信息融合的毫米波通信系统波束阻塞预测方法。

技术介绍

[0002]毫米波以及大规模MIMO是5G移动通信的重要关键技术之一，毫米波具备的大带宽可以极大提升信道容量，能够满足未来无人驾驶、虚拟现实等多种应用的高数据速率需求。利用波束赋形技术，基站可以将信号的波束方向对准用户所在位置，提升了通信的信噪比。
[0003]然而，毫米波通信系统面临的一项关键性挑战是高频信号对于阻塞的敏感性。高频信号由于具备高自由空间损耗和弱反射能力，其传输主要依靠视距链路。当用户和通讯基站之间存在物体阻碍时，接收信噪比会剧烈下降，可能会导致通信突然中断，严重影响通信的稳定性。当用户和基站之间的通信链路存在阻塞时，往往需要重新建立新的视距链路，这通常需要一定的处理时间。特别是对于大规模MIMO系统，波束训练往往会带来较大的时间开销。考虑到未来通信网络对于低延迟的需求，要求通信系统不仅要能够保持视距连接，同时也要具备感知未来阻塞发生的能力。
[0004]一些研究已经证明机器学习模型可以利用无线信道数据(如信道或接收功率)来区别视距链路和非视距链路，例如可以通过收集用户的波束序列输入门控递归网络(GRU)进行阻塞预测。但该算法适用于固定阻塞的情况，对于移动阻塞并不能很好的预测。
[0005]多模态深度学习技术是通过算法设计，让模型同时获取到文字、图像、声音等多个模态的信息，近年来在许多自然语言处理任务中取得了优异的表现。在通信系统中，也可以利用多模态技术将无线信道数据与其他模态数据相结合，提升算法对环境的感知能力。

技术实现思路

[0006]本专利技术的目的是为了应对现实通信网络中存在的多方向移动阻塞的复杂场景，提出一种基于Transformer的视觉融合波束阻塞预测方法,以实现提前感知毫米波通信系统中突发到来的阻塞情况。该方案可以令用户在阻塞发生前主动切换到其他视距链路基站，避免通信过程中由于阻塞而信噪比突然下降的情况，保证通信过程的稳定性。
[0007]为实现本专利技术的目的，本专利技术所采用的技术方案是：一种基于视觉信息融合的毫米波通信链路阻塞预测方法，包括如下步骤：
[0008]步骤(1)：将波束阻塞预测问题建模为基于多模态信息的二分类问题，模型由目标检测模块、相机选择模块、嵌入模块、Transformer模块和分类模块组成。初始化模型参数，包括各个模块的神经网络权重与偏置；
[0009]目标检测模块负责从采集的图像中定位到疑似障碍物的坐标，嵌入模块负责将输入波束序列和目标坐标序列编码成指定维度的向量，相机选择模块通过输入波束序列来预测用户所位于的相机数，Transformer模块是一个基于注意力机制的编码器，分类模块最后输出模型二分类的结果。
[0010]毫米波基站配备三个摄像头，其中两个为侧面摄像头，具备75度视野，一个为中央摄像头，具备110度视野。
[0011]步骤(2)：对于用户u，在每个时隙τ，构建长度为r的波束序列{b
u
[τ
‑
r+1]，...，b
u
[τ]}和图像序列{X
n
[τ
‑
r+1]，...，X
n
[τ]}，作为训练样本序列S
u
。同时构建长度为r
′
的链路状态序列{a
u
[τ+1]，...，a
u
[τ+r
′
]}，作为训练样本标签q
u
；
[0012](2.1)定义输入序列：本算法的目标是利用RGB图像序列和波束序列，开发一个深度学习模型，对通信链路阻塞情况进行预测。对于通信环境中的任意一个用户u，其r个单位时间区间内观察到的图像序列和波束序列组成一组输入序列。对于任意时隙序列表示如下
[0013][0014]其中，表示在第t个时隙中第n个摄像头拍摄到的RGB图像，W、H、C分别代表了图像的宽度、高度和颜色通道数。b
u
[t]表示码本中用于在第t个时隙中服务用户u的波束形成向量的索引。代表观测区间的长度。
[0015](2.2)定义输出变量q
u
：令a
u
[t]∈{0，1}表示用户u在第t个时隙的通信链路状态，其中0代表视距通信，1代表非视距通信。则用户u在未来长度为r
′
的时间窗口内的链路连接状态q
u
表示如下
[0016][0017]其中0表示用户u在整个时间窗口内始终保持视距通信，1表示在时间窗口内发生链路阻塞。
[0018](2.3)定义模型函数：本专利技术的算法目标是建立一个函数f
Θ
(S)，该函数接收观测到的图像
‑
波束序列对，对未来链路状态进行预测。其中Θ表示模型的参数集合，从标签序列数据集中得到学习。模型训练的目标可以表示如下
[0019][0020]步骤(3)：将图像序列{X
n
[τ
‑
r+1]，...，X
n
[τ]}输入目标检测模块，输出障碍物的检测框坐标序列{d
n
[τ
‑
r+1]，...，d
n
[τ]}；
[0021]目标检测模块需要具备1)快速准确检测物体坐标2)有效识别物体种类两项基本能力。YOLO检测器可以很好的实现检测精度，本模块采用最新的YOLOv5架构，并加以优化。修改原有架构以检测在本场景中感兴趣的对象，即在通信场景可能会对用户通信链路造成阻塞的物体，如公交车、卡车、树、建筑物等。
[0022]对于某个时隙τ，按顺序执行如下步骤：
[0023](3.1)获取RGB图像序列{X
n
[τ
‑
r+1]，...，X
n
[τ]}，
[0024](3.2)将序列X
n
输入YOLO检测器得到检测目标边界框坐标；
[0025](3.3)将每个边界框坐标转换为6维向量，其中包括中心坐标[x
cent
，y
cent
]，左上角坐标[x1，y1]以及右下角坐标[x2，y2]。坐标被归一化至区间[0，1]内，它们共同标记了一个物体在场景中的确切位置；
[0026](3.4)将一张图像的转换坐标向量堆叠成一个高维向量其中M表示该图像中检测出的目标物体个数，t∈{τ
‑
r+1，..，τ}。由于算法场景是一个动态通信环境，每个时刻图像中的检测对象数都是不固定的，这就导致的长度是可变的。因此，用N
‑
M个零对向量进行填充，得到序列
[0027](3.5)模块最终输出检测框坐标序列
[0028]步骤(4)：将波束序列{b
u
[τ
‑
r+1]，..本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉信息融合的毫米波通信链路阻塞预测方法，其特征在于，包括如下步骤：步骤(1)：将波束阻塞预测问题建模为基于多模态信息的二分类问题，模型由目标检测模块、相机选择模块、嵌入模块、Transformer模块和分类模块组成；初始化模型参数，包括各个模块的神经网络权重与偏置；步骤(2)：对于用户u，在每个时隙τ,构建长度为r的波束序列{b
u
[τ
‑
r+1],
…
,b
u
[τ]}和图像序列{X
n
[τ
‑
r+1],
…
,X
n
[τ]}，作为训练样本序列S
u
；同时构建长度为r
′
的链路状态序列{a
u
[τ+1],
…
,a
u
[τ+r
′
]},作为训练样本标签q
u
；步骤(3)：将图像序列{X
n
[τ
‑
r+1],
…
,X
n
[τ]}输入目标检测模块，输出障碍物的检测框坐标序列{d
n
[τ
‑
r+1],
…
,d
n
[τ]}；步骤(4)：将波束序列{b
u
[τ
‑
r+1],
…
,b
u
[τ]}输入到波束嵌入模块，得到波束嵌入序列{b[τ
‑
r+1],
…
,b[τ]}；将波束嵌入序列输入相机选择模块，判断用户此时所在的摄像头；将该摄像头对应的检测坐标序列dn输入到坐标嵌入模块，输出对应的检测坐标嵌入序列{d[τ
‑
r+1],
…
,d[τ]}；步骤(5)：将目标检测坐标嵌入序列和波束嵌入序列融合后送入Transformer模块，经过编码后送入分类模块进行二分类，预测用户u在未来长度为r
′
的时间窗口内的链路连接状态步骤(6)：计算预测值和标签q
u
的损失函数，对模型参数Θ进行反向梯度更新；循环执行步骤(2)到步骤(6)，直至算法收敛。2.根据权利要求1所述的基于视觉信息融合的毫米波通信链路阻塞预测方法，其特征在于：所述步骤(1)的具体包括：所述目标检测模块负责从采集的图像中定位到疑似障碍物的坐标，所述嵌入模块负责将输入波束序列和目标坐标序列编码成指定维度的向量，所述相机选择模块通过输入波束序列来预测用户所位于的相机数，所述Transformer模块是一个基于注意力机制的编码器，所述分类模块最后输出模型二分类的结果；毫米波基站配备三个摄像头，其中两个为侧面摄像头，具备75度视野，一个为中央摄像头，具备110度视野。3.根据权利要求1所述的基于视觉信息融合的毫米波通信链路阻塞预测方法，其特征在于：所述步骤(2)具体包括：(2.1)定义输入序列：本算法的目标是利用RGB图像序列和波束序列，开发一个深度学习模型，对通信链路阻塞情况进行预测；对于通信环境中的任意一个用户u，其r个单位时间区间内观察到的图像序列和波束序列组成一组输入序列；对于任意时隙序列表示如下其中，表示在第t个时隙中第n个摄像头拍摄到的RGB图像，W、H、C分别代表了图像的宽度、高度和颜色通道数；b
u
[t]表示码本中用于在第t个时隙中服务用户u的波束形成向量的索引；代表观测区间的长度；(2.2)定义输出变量q
u
：令a
u
[t]∈{0,1}表示用户u在第t个时隙的通信链路状态，其中0
代表视距通信，1代表非视距通信；则用户u在未来长度为r
′
的时间窗口内的链路连接状态q
u
表示如下其中0表示用户u在整个时间窗口内始终保持视距通信，1表示在时间窗口内发生链路阻塞；(2.3)定义模型函数：本方法目标是建立一个函数f
Θ
(S),该函数接收观测到的图像
‑
波束序列对，对未来链路状态进行预测；其中Θ表示模型的参数集合，从标签序列数据集中得到学习；模型训练的目标可以表示如下4.根据权利要求1所述的基于视觉信息融合的毫米波通信链路阻塞预测方法，其特征在于：所述步骤(3)的具体包括：(3.1)获取RGB图像序列(3.2)将序列X
n
输入YOLO检测器得到检测目标边界框坐标；(3.3)将每个边界框坐标转换为6维向量，其中包括中心坐标[x
cent
,y
cent
]，左上角坐标[x1,y1]以及右下角坐标[x2,y2]；坐标被归一化至区间[0,1]内，它们共同标记了一个物体在场景中的确切位置；(3.4)将一张图像的转换坐标向量堆叠成一个高维向量其中M表示该图像中检测出的目标物体个数，t∈{τ
‑
r...

【专利技术属性】
技术研发人员：杨绿溪，张明寒，邓淼佩，周婷，李春国，黄永明，
申请(专利权)人：东南大学，
类型：发明
国别省市：