基于目标检测的用户视觉信号与通信信号的匹配方法组成比例

本发明专利技术提供一种基于目标检测的用户视觉信号与通信信号的匹配方法，该方法包括：获取连续多个时刻下目标通信场景对应的散射物体分布特征序列；获取连续多个时刻下基站与用户之间的最优收发波束对，并形成最优收发波束对序列；基于散射物体分布特征序列与最优收发波束对序列，获取目标用户的位置概率分布；基于目标用户的位置概率分布，确定目标用户对应的边界框。该方法通过最优波束对序列包含的波束方向信息表征用户相对于基站的方位信息，并联合通信场景对应的散射物体分布特征序列，共同用于目标用户的位置估计，进而匹配用户的视觉信号与通信信号，能够从多个通信场景中精准地识别出目标用户在图像中的位置，从而实现更准确的通信参数设计。确的通信参数设计。确的通信参数设计。

【技术实现步骤摘要】
基于目标检测的用户视觉信号与通信信号的匹配方法


[0001]本专利技术涉及无线通信
，尤其涉及一种基于目标检测的用户视觉信号与通信信号的匹配方法。

技术介绍

[0002]由视觉感知获得的场景影像能够有效反映环境中各类散射物体的形状、位置与运动速度等信息，从而可表征无线信道路径的衰落系数、传播方向以及相关时间等空时特性，并可进一步用于估计或预测无线通信系统的波束、遮挡或接收功率等参数信息。因此，基于视觉感知辅助的通信系统已成为感知通信一体化技术中的重要研究方向之一。
[0003]然而，当视觉感知用于辅助通信系统，相机拍摄的图像中通常包含数量不固定的若干场景物体，而基站端难以准确地从这多个场景物体中识别出当前通信信号所对应的用户，从而导致难以实现准确的通信参数估计。

技术实现思路

[0004]本专利技术提供一种基于目标检测的用户视觉信号与通信信号的匹配方法，用以克服现有技术无法通过通信信号精准地从多个通信场景中识别出目标用户在图像中的位置的缺陷，从而利于视觉感知辅助实现更准确的通信参数估计。
[0005]一方面，本专利技术提供一种基于目标检测的用户视觉信号与通信信号的匹配方法，包括：获取连续多个时刻下目标通信场景对应的散射物体分布特征序列；获取所述连续多个时刻下基站与用户之间的最优收发波束对，并形成最优收发波束对序列；基于所述散射物体分布特征序列与所述最优收发波束对序列，获取目标用户的位置概率分布；基于所述目标用户的位置概率分布，确定所述目标用户对应的边界框。
[0006]进一步地，所述获取连续多个时刻下目标通信场景对应的散射物体分布特征序列，包括：获取所述连续多个时刻下目标通信场景的多视角图片；利用目标检测算法从每一时刻下的多视角图片中提取包括用户在内的所有散射物体边界框；基于每个时刻下的所述散射物体边界框进行特征设计，得到散射物体分布特征序列；其中，所述散射物体边界框包含对应散射物体的尺寸信息、位置信息以及姿态信息。
[0007]进一步地，所述基于每个时刻下的所述散射物体边界框进行特征设计，得到散射物体分布特征序列，包括：将基站覆盖平面区域划分为多个等大小的网格；确定每一时刻下每个网格内所包含边界框对应的归一化平均长度、宽度和高度，以及平均方位角，得到相应时刻下该网格对应的四维特征向量；拼接所述多个等大小的网络对应的四维特征向量，得到每一时刻对应的散射物体分布特征；根据所述连续多个时刻对应的散射物体分布特征，得到所述散射物体分布特征序列；其中，在确定网格不包含任何边界框的情况下，该网格对应的四维特征向量为零向量。
[0008]进一步地，所述基于所述散射物体分布特征序列与所述最优收发波束对序列，获取目标用户的位置概率分布，包括：将所述散射物体分布特征序列与所述最优收发波束序
列输入至预先训练的用户匹配神经网络模型，得到所述目标用户的位置概率分布；其中，所述用户匹配神经网络包括第一子神经网络和第二子神经网络，所述第一子神经网络用于对所述散射物体分布特征序列进行处理，所述第二子神经网络用户对所述最优收发波束序列进行处理。
[0009]进一步地，所述将所述散射物体分布特征序列与所述最优收发波束序列输入至预先训练的用户匹配神经网络模型，得到目标用户的位置概率分布，包括：将所述散射物体分布特征序列输入至所述第一子神经网络，得到第一输出张量；将所述最优收发波束序列输入至所述第二子神经网络，得到第二输出张量；对所述第一输出张量和所述第二输出张量进行融合处理，得到相应的融合张量；将所述融合张量输入至若干池化层和二维卷积层，得到目标热图；其中，所述第一输出张量与所述第二输出张量的维度相同，所述目标热图表征所述目标用户的位置概率分布。
[0010]进一步地，所述第一子神经网络包括若干二维卷积层，所述第二子神经网络包括嵌入层、长短期记忆层、全连接层、重塑层以及二维卷积层。
[0011]进一步地，所述基于所述目标用户的位置概率分布，确定所述目标用户对应的边界框，包括：根据所述目标用户的位置概率分布，对所述目标用户在当前时刻的用户位置进行估计；根据估计得到的所述用户位置，从所述散射物体边界框中匹配所述目标用户对应的边界框。
[0012]进一步地，所述根据所述目标用户的位置概率分布，对所述目标用户在当前时刻的用户位置进行估计，包括：将基站覆盖平面区域划分为多个热图网格，所述多个热图网格构成所述目标热图；确定所述目标热图中最大元素的坐标序号；确定所述坐标序号对应的热图网格的中心平面位置坐标，所述中心平面位置坐标为所述目标用户在当前时刻的用户位置的估计。
[0013]进一步地，所述中心平面位置坐标的表达式如下：
[0014][0015]其中，k为热图网格标号，为热图网格左下角顶点在全局坐标系下的坐标，和分别为热图网格的长度与宽度。
[0016]进一步地，所述根据估计得到的所述用户位置，从所述散射物体边界框中匹配所述目标用户对应的边界框，包括：通过预设公式确定所述散射物体边界框中与中心平面位置坐标距离最小的目标边界框；其中，所述目标边界框为所述目标用户对应的边界框，所述预设公式如下：
[0017][0018]其中，Box
U
为目标边界框，为热图网格左下角顶点在全局坐标系下的坐标，(x
G
,y
G
)是边界框的中心位置在全局坐标系下的平面坐标，和分别为热图网格的长度与宽度。
[0019]进一步地，对所述用户匹配神经网络模型进行训练，具体包括：基于采集的多个连续时刻下通信场景的多视角图片，获取相应的散射物体分布特征序列训练集；获取所述多个连续时刻下基站与用户之间的最优收发波束对，并形成最优收发波束对序列训练集；根据所述多个连续时刻下的用户实际位置坐标，在训练热图上生成相应的二维高斯概率分布。以所述最优收发波束对序列训练集和所述散射物体分布特征序列训练集作为样本输入，以所述二维高斯概率分布作为真实样本标签，训练所述用户匹配神经网络模型至收敛。
[0020]第二方面，本专利技术还提供一种基于目标检测的用户视觉信号与通信信号的匹配装置，包括：特征序列获取模块，用于获取连续多个时刻下目标通信场景对应的散射物体分布特征序列；最优收发波束对序列获取模块，用于获取所述连续多个时刻下基站与用户之间的最优收发波束对，并形成最优收发波束对序列；位置概率分布获取模块，用于基于所述散射物体分布特征序列与所述最优收发波束对序列，获取目标用户的位置概率分布；用户边界框确定模块，用于基于所述目标用户的位置概率分布，确定所述目标用户对应的边界框。
[0021]第三方面，本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于目标检测的用户视觉信号与通信信号的匹配方法。
[0022]第四方面，本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于目标检测的用户视觉信号与通信信号的匹本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于目标检测的用户视觉信号与通信信号的匹配方法，其特征在于，包括：获取连续多个时刻下目标通信场景对应的散射物体分布特征序列；获取所述连续多个时刻下基站与用户之间的最优收发波束对，并形成最优收发波束对序列；基于所述散射物体分布特征序列与所述最优收发波束对序列，获取目标用户的位置概率分布；基于所述目标用户的位置概率分布，确定所述目标用户对应的边界框。2.根据权利要求1所述的基于目标检测的用户视觉信号与通信信号的匹配方法，其特征在于，所述获取连续多个时刻下目标通信场景对应的散射物体分布特征序列，包括：获取所述连续多个时刻下目标通信场景的多视角图片；利用目标检测算法从每一时刻下的多视角图片中提取包括用户在内的所有散射物体边界框；基于每个时刻下的所述散射物体边界框进行特征设计，得到散射物体分布特征序列；其中，所述散射物体边界框包含对应散射物体的尺寸信息、位置信息以及姿态信息。3.根据权利要求2所述的基于目标检测的用户视觉信号与通信信号的匹配方法，其特征在于，所述基于每个时刻下的所述散射物体边界框进行特征设计，得到散射物体分布特征序列，包括：将基站覆盖平面区域划分为多个等大小的网格；确定每一时刻下每个网格内所包含边界框对应的归一化平均长度、宽度和高度，以及平均方位角，得到相应时刻下该网格对应的四维特征向量；拼接所述多个等大小的网络对应的四维特征向量，得到每一时刻对应的散射物体分布特征；根据所述连续多个时刻对应的散射物体分布特征，得到所述散射物体分布特征序列；其中，在确定网格不包含任何边界框的情况下，该网格对应的四维特征向量为零向量。4.根据权利要求1所述的基于目标检测的用户视觉信号与通信信号的匹配方法，其特征在于，所述基于所述散射物体分布特征序列与所述最优收发波束对序列，获取目标用户的位置概率分布，包括：将所述散射物体分布特征序列与所述最优收发波束序列输入至预先训练的用户匹配神经网络模型，得到所述目标用户的位置概率分布；其中，所述用户匹配神经网络包括第一子神经网络和第二子神经网络，所述第一子神经网络用于对所述散射物体分布特征序列进行处理，所述第二子神经网络用户对所述最优收发波束序列进行处理。5.根据权利要求4所述的基于目标检测的用户视觉信号与通信信号的匹配方法，其特征在于，所述将所述散射物体分布特征序列与所述最优收发波束序列输入至预先训练的用户匹配神经网络模型，得到目标用户的位置概率分布，包括：将所述散射物体分布特征序列输入至所述第一子神经网络，得到第一输出张量；将所述最优收发波束序列输入至所述第二子神经网络，得到第二输出张量；对所述第一输出张量和所述第二输出张量进行融合处理，得到相应的融合张量；将所述融合张量输入至若干池化层和二维卷积层，得到目标热图；
其中，所述第一输出张量与所述第二输出张量的维度相同，所述目标热图表征所述目标用户的位置概率分布。6.根据权利要求5所述的基于目标检测的用户视觉信号与通信信号的匹配方法，其特征在于，所述第一子神经网络包括若干二维卷积层，所述第二子神经网络包括嵌入层、长短期记忆层、全连接层、重塑层以及二维卷积层。7.根据权利要求6所述的基于目标检测的用户视觉信号与通信信号的匹配方法，其特征在于，所述基于所述目标用户的位置概率分布，确定所述目标用户对应的边界框，包括：根据所述目标用户的位...

【专利技术属性】
技术研发人员：高飞飞，许伟华，
申请(专利权)人：清华大学，
类型：发明
国别省市：