网元日志提取方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种网元日志提取方法、装置、电子设备及存储介质，涉及通信技术领域。该方案为：接收网元适配器NEA发送的目标网元的日志上报消息，其中日志上报消息中携带日志文件分片的存储地址；为日志上报消息生成有序递增的消息标识；基于负载均衡策略，从服务器集群中选取目标服务器，其中，目标服务器中部署有日志服务，服务器集群和目标代理服务器组成组播网络；基于消息标识、日志文件分片的存储地址和目标服务器的IP地址，生成日志处理请求并在组播网络中进行广播。本公开基于日志代理服务器实现日志服务的动态集群部署，解决了集群服务间消息乱序问题，极大提高了网元日志提取效率。取效率。取效率。

【技术实现步骤摘要】
网元日志提取方法、装置、电子设备及存储介质


[0001]本公开涉及通信
，尤其涉及一种网元日志提取方法、装置、电子设备及存储介质。

技术介绍

[0002]相关技术中，为了解决集群服务间消息乱序问题和多文件传输协议(File Transfer Protocol，FTP)地址导致的文件分片散乱存放问题，日志服务只能单点部署。而在单点部署的情况下，日志服务性能上限较低，且无法动态水平扩展，极大影响网元日志的提取效率。而且如果日志服务单点发生故障，网管所有日志业务功能将不可用。因此，如何实现日志服务的集群部署，是现在需要急迫解决的事情。

技术实现思路

[0003]本公开提供了一种网元日志提取方法、装置、电子设备及存储介质。
[0004]根据本公开的一方面，提供了一种网元日志提取方法，包括：
[0005]接收网元适配器NEA发送的目标网元的日志上报消息，其中日志上报消息中携带日志文件分片的存储地址；
[0006]为日志上报消息生成有序递增的消息标识；
[0007]基于负载均衡策略，从服务器集群中选取目标服务器，其中，目标服务器中部署有日志服务，服务器集群和目标代理服务器组成组播网络；
[0008]基于消息标识、日志文件分片的存储地址和目标服务器的IP地址，生成日志处理请求并在组播网络中进行广播。
[0009]本公开实施例中基于日志代理服务器的反向代理、组播消息和信号量编排技术实现了日志服务的动态集群部署，解决了集群服务间消息乱序问题，极大提高了网元日志提取效率，并通过负载均衡策略避免了服务器忙闲不均的情况，提高了服务器资源利用率。
[0010]根据本公开的另一方面，提供了一种网元日志提取装置，包括：
[0011]接收模块，用于接收网元适配器NEA发送的目标网元的日志上报消息，其中日志上报消息中携带日志文件分片的存储地址；
[0012]消息标识模块，用于为日志上报消息生成有序递增的消息标识；
[0013]选取模块，用于基于负载均衡策略，从服务器集群中选取目标服务器，其中，目标服务器中部署有日志服务，服务器集群和目标代理服务器组成组播网络；
[0014]广播模块，用于基于消息标识、日志文件分片的存储地址和目标服务器的IP地址，生成日志处理请求并在组播网络中进行广播。
[0015]根据本公开的另一方面，提供了一种电子设备，包括存储器、处理器；
[0016]其中，处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于实现本公开第一个方面实施例的网元日志提取方法。
[0017]根据本公开的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程
序，该程序被处理器执行时实现本公开第一个方面实施例的网元日志提取方法。
[0018]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现本公开第一个方面实施例的网元日志提取方法。
[0019]本公开中基于日志代理服务器的反向代理、组播消息和信号量编排技术实现了日志服务的动态集群部署，解决了集群服务间消息乱序问题，极大提高了网元日志提取效率，并通过负载均衡策略避免了服务器忙闲不均的情况，提高了服务器资源利用率。
[0020]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0021]图1是根据本公开一个实施例的网元日志提取方法的流程图；
[0022]图2是日志服务器集群架构图；
[0023]图3是根据本公开一个实施例的网元日志提取方法的流程图；
[0024]图4是根据本公开一个实施例的网元日志提取方法的流程图；
[0025]图5是根据本公开一个实施例的网元日志提取方法的流程图；
[0026]图6是根据本公开一个实施例的网元日志提取方法的流程图；
[0027]图7是根据本公开一个实施例的网元日志提取方法的流程图；
[0028]图8是根据本公开一个实施例的网元日志提取装置的结构图；
[0029]图9是根据本公开一个实施例的网元日志提取装置的结构图；
[0030]图10是用来实现本公开实施例的网元日志提取方法的电子设备的框图；
[0031]图11是用来实现本公开实施例的网元日志提取方法的电子设备的框图。
具体实施方式
[0032]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。
[0033]下面结合参考附图描述本公开的网元日志提取方法、装置、电子设备及存储介质。
[0034]图1是根据本公开一个实施例的网元日志提取方法的流程图，如图1所示，适用于目标代理服务器，该方法包括以下步骤：
[0035]S101，接收网元适配器NEA发送的目标网元的日志上报消息，其中日志上报消息中携带日志文件分片的存储地址。
[0036]网元日志是无线网络设备记录其配置参数、运行状态及各项指标的主要手段，是网络维护人员排查、定位、解决网元问题及优化网络的主要依据之一。
[0037]用户可以通过客户端的用户界面发起网元日志的提取，在接收到网元日志提取指令后，目标网元将日志文件分片上传到FTP服务的文件系统下，并向网元适配器(Network Equipment Adaptor，NEA)发送日志上报消息，每一个日志文件分片对应一条日志上报消息。
[0038]NEA向目标代理服务器进行日志上报消息的适配转发。其中，日志上报消息中携带日志文件分片的存储地址，即分片存储的FTP地址，基于存储地址可以在FTP服务中找到对
应的日志文件分片。
[0039]S102，为日志上报消息生成有序递增的消息标识。
[0040]在本公开中，有多个服务器同时进行消息的处理，为了防止集群服务间消息乱序，需要对日志上报消息进行排序，生成有序递增的消息标识，并将当前生成的日志上报消息的消息标识按顺序缓存至目标网元的标识缓存中。
[0041]使用哈希排序算法，为不同网元日志消息分配一个有序递增的消息标识。可选地，也可以使用基数排序、计数排序等排序算法或者计数器对日志上报消息进行排序。
[0042]哈希就是哈希表，也叫散列表，我们常用的字典和集合都属于哈希表。哈希表在存储的时候使用的是哈希函数，可以将任意长度的消息映射为一个长度较短且固定的内存地址，然后以索引的方式返回给我们，再把值保存到对应的内存中。
[0043]S103，基于负载均衡策略，从服务器集群中选取目标服务器，其中，目标服务器中部署有日志服务，服务器集群和目标代理服务器组成组播网络。
[0044]负载均衡策略是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网元日志提取方法，其特征在于，适用于目标代理服务器，所述方法包括：接收网元适配器NEA发送的目标网元的日志上报消息，其中所述日志上报消息中携带日志文件分片的存储地址；为所述日志上报消息生成有序递增的消息标识；基于负载均衡策略，从服务器集群中选取目标服务器，其中，所述目标服务器中部署有日志服务，所述服务器集群和所述目标代理服务器组成组播网络；基于所述消息标识、所述日志文件分片的存储地址和所述目标服务器的IP地址，生成日志处理请求并在所述组播网络中进行广播。2.根据权利要求1所述的方法，其特征在于，所述为所述日志上报消息生成有序递增的消息标识，包括：获取所述目标网元的网元标识；根据所述网元标识和所述日志上报消息在所述目标网元内的上报顺序，生成所述消息标识。3.根据权利要求1所述的方法，其特征在于，所述为所述日志上报消息生成有序递增的消息标识之后，还包括：将当前生成的所述日志上报消息的消息标识按顺序缓存至所述目标网元的标识缓存中。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述生成日志处理请求并在所述组播网络中进行广播之后，还包括：接收所述NEA发送所述目标网元的第一日志上传结束消息；接收所述目标服务器广播发送的请求清除消息，其中，所述请求清除消息携带待清除日志处理请求的消息标识；在所述待清除日志处理请求的消息标识为所述目标网元对应的最大消息标识时，则确定所述目标网元的日志文件上传结束；根据所述目标服务器的IP地址生成第二日志上传结束消息，并在所述组播网络中广播所述第二日志上传结束消息。5.根据权利要求4所述的方法，其特征在于，所述接收所述目标服务器广播发送的请求清除消息之后，还包括：将所述待清除日志处理请求的消息标识从所述目标网元的标识缓存中进行清除。6.一种网元日志提取方法，其特征在于，适用于服务器集群中的任一服务器，所述方法包括：接收请求清除消息，其中，所述请求清除消息包括待清除日志处理请求对应的第一日志文件的第一存储地址；从消息缓存中按顺序获取未处理的最小消息标识对应的目标日志处理请求，其中，所述目标日志处理请求包括对应的第二日志文件的第二存储地址和对应的目标服务器的第一IP地址；在所述任一服务器自身的第二IP地址与所述第一IP地址一致时，分别根据所述第一存储地址和所述第二存储地址下载所述第一日志文件和所述第二日志文件，将两个日志文件合并得到第三日志文件，并存储至目标存储地址。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：接收日志代理服务器广播发送的日志处理请求，每当接收到所述日志处理请求后，根据所述日志处理请求的消息标识，将接收到的所述日志处理请求按顺序缓存至所述消息缓存中；其中，所述日志处理请求包括来自网元的日志上报消息的消息标识和对应的日志文件分片的存储地址，以及所述日志处理请求的所述目标服务器的IP地址。8.根据权利要求6所述的方法，其特征在于，接收到所述请求清除消息之后，还包括：将所述消息缓存中缓存的所述待清除日志处理请求进行清除。9.根据权利要求6
‑
8任一项所述的方法，其特征在于，所述将两个日志文件合并得到第三日志文件，并存储至目标存储地址之后，还包括：生成所述目标日志处理请求的请求清除消息，并在组播网络中进行广播，其中，所述组播网络包括所述服务器集群和目标代理服务器。10.根据权利要求9所述的方法，其特征在于，所述方法还包括：接收所述目标代理服务器在所述组播网络中广播的第二日志上传结束消息，其中，所述第二日志上传结束消息携带用于执行最大消息标识对应的日志处理请求的末位服务器的第一IP地址；在所述末位服务器的第一IP地址与所述第二IP地址一致时，根据所述末位服务器对应的所述目标存储地址，生成下载消息发送给客户端。11.根据权利要求10所述的方法，其特征在于，所述接收所述目标代理服务器在所述组播网络中广播的第二日志上传结束消息之后，还包括：清空所述消息缓存中的日志处理请求。12.一种网元日志提取装置，其特征在于，适用于目标代理服务器包括：接收模块，用于接收网元适配器NEA发送的目标网元的日志上报消息，其中所述日志上报消息中携带日志文件分片的存储地址；消息标识模块，用于为所述日志上报消息生成有序递增的消息标识；选取模块，用于基于负载均衡策略，从服务器集群中选取目标服务器，其中，所述目标服务器中部署有日志服务，所述服务器集群和所述目标代理服务器组成组播网络；广播模块，用于基于所述消息标识、所述日志文件分片的存储地址和所述目标服务器的IP地址，生成日志处理请求并在所述组播网络中进...

【专利技术属性】
技术研发人员：田山，吴乐，贺治国，
申请(专利权)人：大唐移动通信设备有限公司，
类型：发明
国别省市：