一种网络优化方法和装置制造方法及图纸

本发明专利技术实施例公开了一种网络优化方法和装置，所述方法包括：对第一区域中的小区的存在的问题进行建模得到N个智能体、建模方法和训练方法；其中，所述第一区域包括的小区中存在的问题属于相同的问题种类的小区所占的比例大于或等于预设阈值，且包含的小区的地理位置连续，且第一区域的轮廓为外凸图形；对于每一个智能体，根据建模方法和训练方法确定所述智能体的初始模型，使用强化学习方法对智能体的初始模型进行训练；或者，根据智能体的训练后的模型对智能体对应的小区进行网络优化；或者，根据建模方法和训练方法确定智能体的初始模型，根据建模方法和训练方法使用强化学习方法对智能体的初始模型进行训练，对智能体对应的小区进行网络优化。

【技术实现步骤摘要】
一种网络优化方法和装置
本专利技术实施例涉及但不限于移动通信领域，尤指一种网络优化方法和装置。
技术介绍
目前长期演进(LTE，LongTermEvolution)中自组织网络(SON，Self-OrgnizingNetwork)实际应用的自优化方法，大多是基于人为设定的专家规则的。当网络中小区的性能指标符合某一条件时，则自动进行某调整动作，修改小区的参数，达到网络自优化的目的。目前已有的无线网络自优化算法可以分为两类，分别是传统的网络自优化算法和基于人工智能的网络自优化算法。其中，传统的网络自优化算法主要是依靠人工制定的规则表进行网络自优化，即在开启自优化时，查询各种网络状态，根据专家制定的规则表应作出何种调整。这种自优化方法将同一套规则用于所有参与自由化的设备，而实际上各个基站所处的环境、基站性能等条件都可能存在很大区别，这导致不同设备上的自优化效果良莠不齐。例如，专利号为CN106714239A的专利中公开的负载均衡算法中，使用固定的门限、规则和阈值，对于性能、所处环境不同的小区无法做到个性化的调整，导致所处环境比较特殊或设备性能不足的小区或基站的自优化调整效果不佳。基于人工智能的网络自优化算法将人工智能算法引入到网络自优化领域，但是目前大多仅限于实验室环境，无法对现网负载环境进行有效的建模，或无法解决现网庞大的设备数量导致的多智能体收敛问题，只能使用单智能体模型，这导致所有设备共用同一个智能体，无法做到个性化调整。例如，名称为“FuzzyRule-BasedReinforcementLearningforLoadBalancingTechniquesinEnterpriseLTEFemtocells”的论文提出的使用强化学习进行负载均衡的自优化方法，在模拟环境的3层建筑中6个微小区上达到了算法收敛，并取得了呼阻率(CDR，CallDroppingRatio)下降的收益。但其仅限于完全排除了干扰、设备性能完全相同的实验室场景，而且该论文仅使用单智能体的模型，所有参与自优化的设备共用单智能体模型，无法进行个性化的训练和调整。
技术实现思路
本专利技术实施例提供了一种网络优化方法和装置，能够对不同的设备进行个性化的训练和/或自优化调整，从而提高自优化效果。本专利技术实施例提供了一种网络优化方法，包括：对第一区域中的小区的存在的问题进行建模得到N个智能体、建模方法和训练方法；其中，所述第一区域包括的小区中存在的问题属于相同的问题种类的小区所占的比例大于或等于预设阈值，且包含的小区的地理位置连续，且第一区域的轮廓为外凸图形，N为大于或等于1的整数；对于每一个智能体，根据建模方法和训练方法确定所述智能体的初始模型，根据建模方法和训练方法使用强化学习方法对智能体的初始模型进行训练；或者，根据智能体的训练后的模型对智能体对应的小区进行网络优化；或者，根据建模方法和训练方法确定所述智能体的初始模型，根据建模方法和训练方法使用强化学习方法对智能体的初始模型进行训练，根据智能体的训练后的模型对智能体对应的小区进行网络优化。本专利技术实施例提供了一种网络优化装置，包括处理器和计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令被所述处理器执行时，实现上述任一种网络优化方法。本专利技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本专利技术实施例提供了网络优化方法的步骤。本专利技术实施例提供了一种网络优化装置，包括：建模模块，用于对第一区域中的小区的存在的问题进行建模得到N个智能体、建模方法和训练方法；其中，所述第一区域包括的小区中存在的问题属于相同的问题种类的小区所占的比例大于或等于预设阈值，且包含的小区的地理位置连续，且第一区域的轮廓为外凸图形，N为大于或等于1的整数；训练优化模块，用于对于每一个智能体，根据建模方法和训练方法确定所述智能体的初始模型，根据建模方法和训练方法使用强化学习方法对智能体的初始模型进行训练；或者，根据智能体的训练后的模型对智能体对应的小区进行网络优化；或者，根据建模方法和训练方法确定所述智能体的初始模型，根据建模方法和训练方法使用强化学习方法对智能体的初始模型进行训练，根据智能体的训练后的模型对智能体对应的小区进行网络优化。本专利技术实施例包括：对第一区域中的小区的存在的问题进行建模得到N个智能体、建模方法和训练方法；其中，所述第一区域包括的小区中存在的问题属于相同的问题种类的小区所占的比例大于或等于预设阈值，且包含的小区的地理位置连续，且第一区域的轮廓为外凸图形，N为大于或等于1的整数；对于每一个智能体，根据建模方法和训练方法确定所述智能体的初始模型，根据建模方法和训练方法使用强化学习方法对智能体的初始模型进行训练；或者，根据智能体的训练后的模型对智能体对应的小区进行网络优化；或者，根据建模方法和训练方法确定所述智能体的初始模型，根据建模方法和训练方法使用强化学习方法对智能体的初始模型进行训练，根据智能体的训练后的模型对智能体对应的小区进行网络优化。本专利技术实施例通过建模得到N个智能体，对不同智能体分别进行不同的训练和/或网络优化，采用多智能体实现了不同小区(也即不同设备)的训练和/或网络优化，使得每个智能体在各种情况下都能做出最符合自身实际情况的自优化调整，从而提高了整体的自优化效果。本专利技术实施例的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术实施例而了解。本专利技术实施例的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。附图说明附图用来提供对本专利技术实施例技术方案的进一步理解，并且构成说明书的一部分，与本专利技术实施例的实施例一起用于解释本专利技术实施例的技术方案，并不构成对本专利技术实施例技术方案的限制。图1为本专利技术一个实施例提出的网络优化方法的流程图；图2(a)为本专利技术实施例将第一区域中的小区作为智能体的示意图；图2(b)为本专利技术实施例将第一区域中的小区对作为智能体的示意图；图3为本专利技术实施例相邻智能体的示意图；图4为本专利技术实施例奖励分配示意图；图5(a)为本专利技术实施例将问题小区中存在的问题所属的问题种类相同的小区划分为同一个第二区域的示意图；图5(b)为本专利技术实施例根据图2(a)中的第二区域确定的第一区域的示意图；图6为本专利技术另一个实施例提出的网络优化方法的流程图；图7为本专利技术另一个实施例提出的网络优化方法的流程图；图8为本专利技术实施例使用深度Q学习(DQN，DeepQ-Learning)算法进行模型训练的流程示意图；图9为本专利技术实施例的网络优化装置的部署结构示意图；图10为本专利技术另一个实施例提出的网络优化装置的结构组成示意图；图11为本专利技术实施例提出的网络优化装置的一个示例性实例的结构组成示意图；图12为本专利技术实施例多智能体强化学习场景中一轮迭代的示意图；图13为本专利技术实施例单个智能体在本文档来自技高网...

【技术保护点】
1.一种网络优化方法，包括：/n对第一区域中的小区的存在的问题进行建模得到N个智能体、建模方法和训练方法；其中，所述第一区域包括的小区中存在的问题属于相同的问题种类的小区所占的比例大于或等于预设阈值，且包含的小区的地理位置连续，且第一区域的轮廓为外凸图形，N为大于或等于1的整数；/n对于每一个智能体，根据建模方法和训练方法确定所述智能体的初始模型，根据建模方法和训练方法使用强化学习方法对智能体的初始模型进行训练；或者，根据智能体的训练后的模型对智能体对应的小区进行网络优化；或者，根据建模方法和训练方法确定所述智能体的初始模型，根据建模方法和训练方法使用强化学习方法对智能体的初始模型进行训练，根据智能体的训练后的模型对智能体对应的小区进行网络优化。/n

【技术特征摘要】
1.一种网络优化方法，包括：
对第一区域中的小区的存在的问题进行建模得到N个智能体、建模方法和训练方法；其中，所述第一区域包括的小区中存在的问题属于相同的问题种类的小区所占的比例大于或等于预设阈值，且包含的小区的地理位置连续，且第一区域的轮廓为外凸图形，N为大于或等于1的整数；
对于每一个智能体，根据建模方法和训练方法确定所述智能体的初始模型，根据建模方法和训练方法使用强化学习方法对智能体的初始模型进行训练；或者，根据智能体的训练后的模型对智能体对应的小区进行网络优化；或者，根据建模方法和训练方法确定所述智能体的初始模型，根据建模方法和训练方法使用强化学习方法对智能体的初始模型进行训练，根据智能体的训练后的模型对智能体对应的小区进行网络优化。


2.根据权利要求1所述的方法，其特征在于，其中，所述对第一区域中的小区的存在的问题进行建模得到N个智能体、建模方法和训练方法包括：
在预先设置的问题种类、建模方法和训练方法之间的对应关系中，查找所述第一区域中包括的小区存在的问题所属的问题种类对应的建模方法和训练方法；其中，所述建模方法包括：所述智能体的生成方法、所述智能体的状态的定义方法、所述智能体的动作的定义方法、所述智能体的奖励函数的定义方法和所述智能体的用于选择动作的初始策略的定义方法；所述训练方法包括：使用强化学习方法调整用于选择动作的初始策略的方法；
根据所述智能体的生成方法生成N个所述智能体。


3.根据权利要求2所述的方法，其特征在于，其中，所述根据智能体的生成方法生成N个所述智能体包括以下任意一个或多个：
当所述第一区域中的小区存在的问题不涉及多个小区之间的协同工作时，将所述第一区域中的一个所述小区作为一个所述智能体，不同所述小区对应不同的所述智能体；
当所述第一区域中的小区存在的问题涉及多个小区之间的协同工作时，将所述第一区域中的一个具有邻接关系的小区对作为一个所述智能体，不同具有邻接关系的小区对对应不同所述智能体。


4.根据权利要求1所述的方法，其特征在于，其中，所述第一区域的确定包括：
获取网络中所有小区的历史性能数据；
对于每一个所述小区，根据所述小区的历史性能数据确定所述小区为正常小区还是问题小区；
将问题小区中存在的问题所属的问题种类相同的小区划分为同一个第二区域；
对于每一个所述第二区域，根据所述第二区域中包括的小区的地理位置关系和所述第二区域的轮廓确定所述第一区域。


5.根据权利要求4所述的方法，其特征在于，其中，所述根据第二区域中包括的小区的地理位置关系和所述第二区域的轮廓确定所述第一区域包括以下任意一个或多个：
当所述第二区域中包括的小区的地理位置连续，且所述第二区域的轮廓为外凸图形时，将所述第二区域作为所述第一区域；
当所述第二区域中包括的小区的地理位置不连续，或所述第二区域的轮廓不是外凸图形时，将所述第二区域和除所述第二区域中包括的小区之外的最少数量的其他小区加入所述第一区域中，使得所述第一区域中包括的小区的地理位置连续，且所述第一区域的轮廓为外凸图形。


6.根据权利要求1所述的方法，其特征在于，其中，所述建模方法包括：所述智能体的生成方法、所述智能体的状态的定义方法、所述智能体的动作的定义方法、所述智能体的奖励函数的定义方法和所述智能体的用于选择动作的策略的定义方法；所述训练方法包括：使用强化学习方法调整用于选择动作的策略的方法；
所述根据建模方法和训练方法确定所述智能体的初始模型包括：
根据所述智能体的用于选择动作的初始策略的定义方法确定所述智能体的用于选择动作的初始策略，将所述智能体的用于选择动作的初始策略作为所述智能体的初始模型；
所述采用强化学习方法对智能体的初始模型的训练包括：
在第i轮迭代中，当不满足收敛条件时，
在第一概率下选择随机动作，下发所述随机动作，使得所述随机动作在所述智能体对应的小区中生效；
在第二概率下根据所述智能体的第i轮迭代对应的性能数据和所述智能体的状态的定义方法确定所述智能体的第i轮迭代对应的状态，根据所述智能体的第(i－1)轮迭代对应的状态、第i轮迭代对应的状态和所述训练方法调整所述智能体的在第(i－1)轮迭中调整后的策略，根据所述智能体的第i轮迭代对应的状态、所述智能体的第一数据和所述智能体的动作的定义方法计算智能体的第i轮迭代对应的最优动作，下发智能体的第i轮迭代对应的最优动作，使得所述智能体的第i轮迭代对应的最优动作在所述智能体对应的...

【专利技术属性】
技术研发人员：谢勤政，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：广东;44