使用强化学习的高效3D移动性支持制造技术

根据一些实施例，一种由网络节点执行的用于移动性管理的方法包括：获得用于对包括多个小区的无线网络环境建模的数据样本，以及使用所获得的数据样本来构建无线网络的机器学习模型。机器学习模型被训练以确定无线装置在多个小区中间的切换序列，以使无线装置从源小区穿越到目的地小区。该方法进一步包括：接收无线装置的移动性信息，基于该移动性信息来确定无线装置的一个或多个切换操作，以及向该无线装置传送一个或多个切换操作。装置传送一个或多个切换操作。装置传送一个或多个切换操作。

【技术实现步骤摘要】
【国外来华专利技术】使用强化学习的高效3D移动性支持


[0001]本公开的实施例针对无线通信，并且更特别地，针对使用强化学习的高效（efficient）三维（3D）移动性支持。

技术介绍

[0002]一般来说，除非从其中使用它的上下文中明确给出和/或暗示了不同的含义，否则本文中使用的所有术语都要根据它们在相关
中的普通含义来解释。除非另有明确声明，否则对一（a/an）/该（the）元件、设备、组件、部件、步骤等的所有提及都要开放式地解释为指代该元件、设备、组件、部件、步骤等的至少一个实例。除非一步骤被明确描述为跟随或先于另一步骤，和/或其中暗示一步骤必须跟随或先于另一步骤，否则本文中公开的任何方法的步骤不必按照公开的确切顺序来执行。在任何适当的情况下，本文中公开的实施例中的任何实施例的任何特征都可应用于任何其它实施例。同样，实施例中的任何实施例的任何优点都可应用于任何其它实施例，并且反之亦然。根据以下描述，所附实施例的其它目的、特征和优点将显而易见。
[0003]第三代合作伙伴计划（3GPP）版本8指定了演进的分组系统（EPS）。EPS基于长期演进（LTE）无线电网络和演进的分组核心（EPC）。它最初旨在提供语音和移动宽带（MBB）服务，但已经不断演进以拓宽其功能性。自版本13以来，窄带物联网（NB
‑
IoT）和用于机器类型通信的LTE（LTE
‑
M）成为LTE规范的一部分，并提供到大规模机器类型通信（mMTC）服务的连接性。
[0004]3GPP版本15开发了第五代（5G）无线网络系统的第一个版本。5G是旨在服务于诸如增强型移动宽带（eMBB）、超可靠低时延通信（URLLC）和mMTC之类的用例的新一代无线电接入技术。5G包括新空口（NR）接入层接口和5G核心网络（5GC）。NR物理层和更高层重新使用LTE规范的部分，并在新用例的推动下向其添加所需的组件。
[0005]移动网络传统上服务于地上装置（device on the ground），但使用移动网络（包括现有的LTE网络和新兴的5G网络两者）提供到低空无人机（low altitude drone）的连接性的兴趣和商业案例已经在快速增长。凭借它们的移动性、敏捷性和灵活性，无人机被广泛用于各种应用中。特别是，无人机用户设备（UE）在诸如包裹递送、遥感和监控应用之类的多个场景中扮演着关键角色。为了正确操作，飞行无人机需要经由蜂窝网络（称为蜂窝连接无人机）得到有效支持，以确保无缝连接性和低时延通信。在这方面，需要用于无人机移动性管理的高效切换（handover，HO）机制，以在基站（BS）和无人机之间提供可靠的通信。
[0006]切换是一个过程，在该过程中，蜂窝网络中的用户基站关联改变，使得用户在移动通过不同的小区时维持它们的连接性。UE处于空闲/不活动或连接模式。在空闲模式下，UE驻留在小区上，并且没有到网络的任何活动信令或数据承载。然而，当处于连接模式时，网络向UE分配资源，并且切换涉及用户和BS之间的数据和控制信道上的活动信令以及源小区和目标小区之间的信令，从而引起蜂窝网络中的开销。
[0007]原则上，切换次数取决于各种因素，诸如BS的数量、移动用户的位置、速度和轨迹、
参考信号接收功率（RSRP）变化、参考信号接收质量（RSRQ）变化以及切换机制。在评估移动性性能和切换机制时，除了切换次数之外，还可考虑几个关键度量，诸如：信号质量、信令开销、无线电链路失败（RLF）数量和乒乓切换速率。
[0008]LTE中的以下切换过程被用作示例来说明连接模式移动性通常如何工作。网络例如基于无线电状况和负载来触发切换过程。为了促进这一点，网络可将UE配置成执行测量报告。网络也可盲目地发起切换，即没有从UE接收到测量报告。
[0009]在向UE发送切换消息之前，源eNB准备一个或多个目标小区。源eNB选择目标PCell。
[0010]目标eNB生成用于执行切换的消息，即包括将在（一个或多个）目标小区中使用的AS配置的消息。源eNB透明地将从目标接收到的切换消息/信息转发给UE。在接收到切换消息之后，UE尝试在第一可用随机接入信道（RACH）时机接入目标PCell，即，切换是异步的，或者如果配置了rach
‑
Skip，则在第一可用物理上行链路共享信道（PUSCH）时机接入目标PCell。
[0011]在成功完成切换时，UE发送用于确认切换的消息。在已经检测到切换失败时，UE尝试使用RRC重建过程在源PCell中或另一个小区中恢复无线电资源控制（RRC）连接。
[0012]与地上用户相比，因为以下原因，对空中用户（例如，无人机）的移动性支持更具挑战性。不像地上用户，无人机能在三维（3D）中的任何方向上移动，可具有任意轨迹，并且通常比地上用户移动得更快。
[0013]此外，BS主要被设计为服务于地上用户，并且从而它们的天线是向下倾斜的。从而，BS天线的主瓣覆盖了小区表面区域的大部分，以改进陆地UE的性能。因此，在地平面，最强的站点通常是最靠近的站点。另一方面，无人机UE可能频繁地由具有较低天线增益的BS天线的旁瓣服务。旁瓣的覆盖区域可能很小，并且边缘处的信号可能由于深天线零点（antenna null）而急剧下降。在给定位置，如果更靠近无人机UE的BS的旁瓣增益更加弱，最强的信号可能来自远处的BS。此外，BS的旁瓣可能不会完全覆盖天空，并且天空中可能存在覆盖漏洞（coverage hole）（没有覆盖服务的空间），覆盖漏洞可能引起无人机连接性失败。
[0014]在图1中可看到上述影响中的一些影响的图示，其图示了在地平面和在50m、100m和300m高度的基于最大接收功率的小区关联方向图（pattern）。在更高的高度，覆盖区域变得碎片化，并且碎片化方向图由BS天线的瓣结构确定。由不同BS提供的这种碎片化覆盖区域使得天空中的移动性支持更加困难，并且可能导致频繁切换。
[0015]天空中的另一个问题是干扰。随着高度增加，更多的BS具有了对无人机UE的视线传播条件（line of sight propagation condition）。结果，无人机UE可能对邻居小区生成更多上行链路干扰，同时经历来自邻居小区的更多下行链路干扰。由于干扰的增加，信号干扰噪声比（SINR）在某些高度可能变得相当差。降级的SINR可能导致更多的RLF。它可能还导致更多的切换失败，因为测量报告、切换命令等可能在切换执行过程期间丢失。
[0016]鉴于蜂窝连接无人机的重要性，3GPP版本15 TR 36.777研究了LTE用于为无人机提供连接性的潜在支持。该研究的主要目标之一是分析无人机移动性性能，并标识高效的切换信令/机制。这项研究的结果显示，对无人机的移动性支持是LTE到无人机通信中具有挑战性的方面之一。
[0017]当前存在某些挑战。例如，现有的移动性管理过程难以为无处不在的3D覆盖、特别
是为提供到低空无人机的连接性提供鲁棒的移动性支持。为了说明对无人机UE本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种由网络节点执行的用于移动性管理的方法，所述方法包括：获得（912）用于对包括多个小区的无线网络环境建模的数据样本；使用所获得的数据样本构建（914）无线网络的机器学习模型，其中，所述机器学习模型被训练以确定无线装置在所述多个小区中间的切换序列，以使所述无线装置从源小区穿越到目的地小区；接收（916）无线装置的移动性信息；基于所述移动性信息来确定（918）所述无线装置的一个或多个切换操作；以及向所述无线装置传送（920）所述一个或多个切换操作。2.如权利要求1所述的方法，其中，获得用于对所述无线网络环境建模的数据样本包括获得基站位置和基站天线方向图中的一个或多个。3.如权利要求1
‑
2中任一项所述的方法，其中，获得用于对所述无线网络环境建模的数据样本包括获得包括传播环境中障碍物的位置的传播环境信息。4.如权利要求1
‑
2中任一项所述的方法，其中，获得用于对所述无线网络环境建模的数据样本包括获得所述无线网络环境中多个位置的无线信号特性。5.如权利要求4所述的方法，其中，所述无线信号特性包括以下项中的一个或多个：参考信号接收功率（RSRP）、参考信号接收质量（RSRQ）和信号干扰噪声比（SINR）。6.如权利要求1
‑
5中任一项所述的方法，其中，获得用于对所述无线网络环境建模的数据样本包括从一个或多个无线装置获得数据样本。7.如权利要求1
‑
6中任一项所述的方法，其中，所述机器学习模型被训练以通过最小化以下项中的一个或多个来确定无线装置在所述多个小区中间的切换序列，以使所述无线装置从源小区穿越到目的地小区：切换次数、无线电链路失败（RLF）、信令开销和乒乓切换。8.如权利要求1
‑
7中任一项所述的方法，其中，所述机器学习模型包括强化学习模型。9.如权利要求1
‑
8中任一项所述的方法，其中，所述移动性信息包括以下项中的一个或多个：所述无线装置的位置、所述无线装置的速度、所述无线装置的移动性模式、所述无线装置的服务小区的无线信号质量以及所述无线装置的邻居小区的无线信号质量。10.如权利要求1
‑
9中任一项所述的方法，其中，所述移动性信息包括目的地，并且确定所述无线装置的一个或多个切换操作包括确定所述无线装置导航到所述目的地的切换操作序列。11.如权利要求10所述的方法，其中，在所述无线装置导航到所述目的地之前，所述网络节点向所述无线装置传送所述切换操作序列。12.如权利要求10所述的方法，其中，当所述无线装置导航到所述目的地时，所述网络节点向所述无线装置传送所述切换操作序列。13.如权利要求1
‑
12中任一项所述的方法，其中，所述网络节点包括基站和核心网络节点之一。14.一种能够执行移动性管理的网络节点（160），所述网络节点包括处理电路（170），所述处理电路可操作以：获得用于对包括多个小区的无线网络环境建模的数据样本；使用所获得的数据样本构建无线网络的机器学习模型，其中，所述机器学习模型被训练以确定无线装置（110）在所述多个小区中间的切换序列，以使所述无线装置从源小区穿
越到目的地小区；接收无线装置的移动性信息；基于所述移动性信息来确定所述无线装置的一个或多个切换操作；以及向所述无线装置传送所述一个或多个切换操作。15.如权利要求14所述的网络节点，其中，所述处理电路可操作以通过获得基站位置和基站天线方向图中的一个或多个来获得用于对所述无线网络环境建模的数据样本。16.如权利要求14
‑
15中任一项所述的网络节点，其中，所述处理电路可操作以通过获得包括传播环境中障碍物的位置的传播环境信息来获得用于对所述无线网络环境建模的数据样本。17.如权利要求14
‑
15中任一项所述的网络节点，其中，所述处理电路可操作以通过获得所述无线网络环境中多个位置的无线信号特性来获得用于对所述无线网络环境建模的数据样本。18.如权利要求17所述的网络节点，其中，所述无线信号特性包括以下项中的一个或多个：参考信号接收功率（RSRP）、参考信号接收质量（RSRQ）和信号干扰噪声比（SINR）。19.如权利要求14
‑
15中任一项所述的网络节点，其中，所述处理电路可操作以通过从一个或多个无线装置获得数据样本来获得用于对所述无线网络环境建模的数据样本。20.如权利要求14
‑
19中任一项所述的网络节点，其中，所述机器学习模型...

【专利技术属性】
技术研发人员：林兴钦，陈赟，T，
申请(专利权)人：瑞典爱立信有限公司，
类型：发明
国别省市：