处理日志信息的方法、装置、设备及存储介质制造方法及图纸

本申请涉及大数据领域，提供一种处理日志信息的方法、装置、设备及存储介质，方法包括：分析待处理信息的大小确定调用局域网中的目标空闲资源，以目标空闲资源对应的设备作为新增节点；获取分类信息，分布式缓存所述分类信息和创建索引，以及连接具备千兆位速率的区域存储网络SAN，并建立SAN城域网；基于所述SAN城域网通过确定的运行通道将所述经过分布式缓存的分类信息同步存储至所述灾备中心；根据所述索引创建映射接口表，将存储至所述灾备中心的所述分类信息分装到所述映射接口表，并根据所选中的预设统计分析条件对所述映射接口表中的分类信息进行统计与分析，以获得分析结果。采用本方案，能够提高日志信息管理系统的可用性。

Methods, devices, equipment and storage media for processing log information

【技术实现步骤摘要】
处理日志信息的方法、装置、设备及存储介质
本申请涉及数据处理领域，尤其涉及处理日志信息的方法、装置、设备及存储介质。
技术介绍
目前的数据处理中，通过应用平台框架获取日志信息，将所述日志信息发送到数据库中，对所述日志信息进行数据清洗处理，对经过数据清洗处理的日志信息进行分析，获得分析结果，将所述分析结果存储在所述数据库中。由于将采集的日志信息直接存储在运行系统的数据库中，一方面，致使数据库存储压力随着坐席访问量的增加而急速增大；另一方面，致使系统的并行处理效率低；导致数据库中的日志信息丢失或者日志信息管理系统的宕机，从而，导致日志信息管理系统的可用性低。
技术实现思路
本申请提供了一种处理日志信息的方法、装置、设备及存储介质，能够解决现有技术中日志信息管理系统的可用性低的问题。第一方面，本申请提供一种处理日志信息的方法，所述方法包括：获取待处理信息的大小，根据所述待处理信息的大小确定调用的局域网中的目标空闲资源，以所述目标空闲资源对应的设备作为新增节点，所述待处理信息包括日志信息和坐席操作信息；对所述待处理信息进行分类得到分类信息，通过所述新增节点将所述分类信息存储至分布式文件系统中的数据库并进行分布式缓存，以及调用已编写的索引脚本创建索引；将已创建的灾备中心与多个具备千兆位速率的区域存储网络SAN连接，以建立SAN城域网；根据预置的连接外部设备的字节传送速率确定运行通道，所述运行通道用于指示字节多路通道、选择通道或数组多路通道；基于通过所述SAN城域网通过所述运行通道将经过分布式缓存的所述分类信息同步存储至所述灾备中心；启动已创建的信息处理脚本对所述灾备中心中的所述分类信息进行数据清洗处理；根据所述索引创建映射接口表，将经过数据清洗处理的所述分类信息分装到所述映射接口表中，并根据预设统计分析条件对所述映射接口表中的所述分类信息进行统计与分析，以获得分析结果；将所述分析结果输入到可视化数据库，调用可视化图表处理工具对所述分析结果进行统计与分析以生成可视化图表。一种可能的设计中，所述根据所述待处理信息的大小确定调用的局域网中的目标空闲资源，以所述目标空闲资源对应的设备作为新增节点，包括：获取局域网中的空闲资源，并获取所述空闲资源的大小；分析和预测所述空闲资源的待空闲时间，以及分析和预测所述空闲资源对应的设备的可承载能力，获得多个评估值，并按照值从大到小的顺序对所述评估值进行排序；通过计算所述空闲资源的大小总和是否等于或者约等于所述待处理信息的大小，以确定调用的目标空闲资源和所述目标空闲资源的目标数量；将排序在前且数量为所述目标数量的目标空闲资源对应的设备作为新增节点；实时监控所述新增节点的资源情况，并在预设时段内更新和反馈所述新增节点的资源；当监控到所述新增节点的资源占比达到预设阈值时，获取满足预设条件的预设移动节点，并通过基于微移动协议的平滑切换方式将所述新增节点切换到所述预设移动节点，以所述移动节点对应的设备作为更新后的新增节点，所述预设条件包括所述预设移动节点的资源信息与所述新增节点的资源信息相近，所述资源信息包括资源的类型、资源总量和资源占比。一种可能的设计中，所述通过所述新增节点将所述分类信息存储至分布式文件系统中的数据库并进行分布式缓存，包括：通过所述新增节点中的文件哈希值计算工具计算输入所述新增节点的文件和字符串，获得第一哈希值，以及通过所述文件哈希值计算工具计算所述分类信息中的文件和字符串，获得第二哈希值；根据所述第一哈希值和所述第二哈希值确定分布式文件系统中的数据库中的值空间；创建所述分类信息与所述新增节点的映射关系，通过所述映射关系将所述分类信息映射到所述值空间中；通过预置的分布式一致性协议将映射到所述值空间中的分类信息写入缓存，以将所述分类信息更新到所述分布式文件系统中的数据库中。一种可能的设计中，所述方法包括运行系统和服务器，所述根据所述索引创建映射接口表，将经过数据清洗处理的所述分类信息分装到所述映射接口表，并根据所选中的预设统计分析条件对所述映射接口表中的所述分类信息进行统计与分析，以获得分析结果之后，所述方法还包括：创建备份系统，并建立数据链路层以连接所述备份系统和所述运行系统；通过已编辑的Sql语句从所述运行系统中读取数据信息，并将所述数据信息更新到所述备份系统中，更新后的所述备份系统进入休眠状态，所述数据信息包括所述分类信息，获取所述分析结果的分析过程的数据和所述分析结果；创建每隔预设时段执行一次的死循环脚本，通过所述死循环脚本对所述服务器的存活状态进行实时监测；若监测到所述服务器的存活状态即将处于宕机状态，则将当前的运行系统切换为更新后的所述备份系统，更新后的所述备份系统的休眠状态转换为工作状态；重启被切换的所述运行系统，将重启后的所述运行系统的状态转换为休眠状态。一种可能的设计中，所述启动已创建的信息处理脚本对所述容灾中心中的所述分类信息进行数据清洗处理，包括：调用已创建的编程模型MapReduce中存储的信息处理脚本对所述容灾中心中的所述分类信息进行检测与处理；若检测到所述容灾中心中的所述分类信息存在删除信息，则删除所述删除信息对应的所述分类信息，所述删除信息包括GET开头的访问记录信息、staticsource开头的访问记录信息、GET字符串和POST字符串；若检测到所述容灾中心中的所述分类信息的数据格式不符合预设要求，则转换不符合所述预设要求的所述分类信息的数据格式；若检测到所述容灾中心中的所述分类信息不符合逻辑性，则删除不符合逻辑性的分类信息；当检测到经过所述信息处理脚本处理的待处理信息符合预设数据清洗要求，以及检测到所述信息处理脚本停止运行时，服务器接收客户端发送的HTTP协议请求；调用开源数据库HBase的应用程序接口，将经过所述信息处理脚本处理的所述分类信息存储到所述HBase中，所述预设数据清洗要求包括不存在所述删除信息、所述数据格式符合所述预设要求和符合逻辑性。一种可能的设计中，所述根据所述索引创建映射接口表，将经过数据清洗处理的所述分类信息分装到所述映射接口表中，并根据所选中的预设统计分析条件对所述映射接口表中的所述分类信息进行统计与分析，以获得分析结果，包括：调用MySQL数据库，并启动所述MySQL数据库中的存储引擎federated，根据所述索引建立Map接口的映射接口表，将所述分类信息映射到所述映射接口表；接收用户输入的业务需求，根据所述业务需求匹配统计分析条件，所述统计分析条件包括根据所述业务需要而进行对应的运行状态或运行结果或其他的一系列的分析方案；根据所述统计分析条件创建多线程，在所述多线程的类中创建线程程序ThreadLocal对象，根据所述ThreadLocal对象，创建函数get()，函数方法get()用于获取要隔离访问的数据，所述多线程包括多线程本文档来自技高网...

【技术保护点】
1.一种处理日志信息的方法，其特征在于，包括：/n获取待处理信息的大小，根据所述待处理信息的大小确定调用的局域网中的目标空闲资源，以所述目标空闲资源对应的设备作为新增节点，所述待处理信息包括日志信息和坐席操作信息；/n对所述待处理信息进行分类得到分类信息，通过所述新增节点将所述分类信息存储至分布式文件系统中的数据库并进行分布式缓存，以及调用已编写的索引脚本创建索引；/n将已创建的灾备中心与多个具备千兆位速率的区域存储网络SAN连接，以建立SAN城域网；/n根据预置的连接外部设备的字节传送速率确定运行通道，所述运行通道用于指示字节多路通道、选择通道或数组多路通道；/n基于所述SAN城域网通过所述运行通道将经过分布式缓存的所述分类信息同步存储至所述灾备中心；/n启动已创建的信息处理脚本对所述灾备中心中的所述分类信息进行数据清洗处理；/n根据所述索引创建映射接口表，将经过数据清洗处理的所述分类信息分装到所述映射接口表中，并根据预设统计分析条件对所述映射接口表中的所述分类信息进行统计与分析，以获得分析结果；/n将所述分析结果输入到可视化数据库，调用可视化图表处理工具对所述分析结果进行统计与分析以生成可视化图表。/n...

【技术特征摘要】
1.一种处理日志信息的方法，其特征在于，包括：
获取待处理信息的大小，根据所述待处理信息的大小确定调用的局域网中的目标空闲资源，以所述目标空闲资源对应的设备作为新增节点，所述待处理信息包括日志信息和坐席操作信息；
对所述待处理信息进行分类得到分类信息，通过所述新增节点将所述分类信息存储至分布式文件系统中的数据库并进行分布式缓存，以及调用已编写的索引脚本创建索引；
将已创建的灾备中心与多个具备千兆位速率的区域存储网络SAN连接，以建立SAN城域网；
根据预置的连接外部设备的字节传送速率确定运行通道，所述运行通道用于指示字节多路通道、选择通道或数组多路通道；
基于所述SAN城域网通过所述运行通道将经过分布式缓存的所述分类信息同步存储至所述灾备中心；
启动已创建的信息处理脚本对所述灾备中心中的所述分类信息进行数据清洗处理；
根据所述索引创建映射接口表，将经过数据清洗处理的所述分类信息分装到所述映射接口表中，并根据预设统计分析条件对所述映射接口表中的所述分类信息进行统计与分析，以获得分析结果；
将所述分析结果输入到可视化数据库，调用可视化图表处理工具对所述分析结果进行统计与分析以生成可视化图表。


2.根据权利要求1所述的方法，其特征在于，所述根据所述待处理信息的大小确定调用的局域网中的目标空闲资源，以所述目标空闲资源对应的设备作为新增节点，包括：
获取局域网中的空闲资源，并获取所述空闲资源的大小；
分析和预测所述空闲资源的待空闲时间，以及分析和预测所述空闲资源对应的设备的可承载能力，获得多个评估值，并按照值从大到小的顺序对所述评估值进行排序；
通过计算所述空闲资源的大小总和是否等于或者约等于所述待处理信息的大小，以确定调用的目标空闲资源和所述目标空闲资源的目标数量；
将排序在前且数量为所述目标数量的目标空闲资源对应的设备作为新增节点；
实时监控所述新增节点的资源情况，并在预设时段内更新和反馈所述新增节点的资源；
当监控到所述新增节点的资源占比达到预设阈值时，获取满足预设条件的预设移动节点，并通过基于微移动协议的平滑切换方式将所述新增节点切换到所述预设移动节点，以所述移动节点对应的设备作为更新后的新增节点，所述预设条件包括所述预设移动节点的资源信息与所述新增节点的资源信息相近，所述资源信息包括资源的类型、资源总量和资源占比。


3.根据权利要求1所述的方法，其特征在于，所述通过所述新增节点将所述分类信息存储至分布式文件系统中的数据库并进行分布式缓存，包括：
通过所述新增节点中的文件哈希值计算工具计算输入所述新增节点的文件和字符串，获得第一哈希值，以及通过所述文件哈希值计算工具计算输入所述分类信息中的文件和字符串，获得第二哈希值；
根据所述第一哈希值和所述第二哈希值确定分布式文件系统中的数据库中的值空间；
创建所述分类信息与所述新增节点的映射关系，通过所述映射关系将所述分类信息映射到所述值空间中；
通过预置的分布式一致性协议将映射到所述值空间中的分类信息写入缓存，以将所述分类信息更新到所述分布式文件系统中的数据库中。


4.根据权利要求1所述的方法，其特征在于，所述方法包括运行系统和服务器，所述根据所述索引创建映射接口表，将经过数据清洗处理的所述分类信息分装到所述映射接口表，并根据所选中的预设统计分析条件对所述映射接口表中的所述分类信息进行统计与分析，以获得分析结果之后，所述方法还包括：
创建备份系统，并建立数据链路层以连接所述备份系统和所述运行系统；
通过已编辑的SQL语句从所述运行系统中读取数据信息，并将所述数据信息更新到所述备份系统中，更新后的所述备份系统进入休眠状态，所述数据信息包括所述分类信息、获取所述分析结果的分析过程的数据和所述分析结果；
创建每隔预设时段执行一次的死循环脚本，通过所述死循环脚本对所述服务器的存活状态进行实时监测；
若监测到所述服务器的存活状态即将处于宕机状态，则将当前的运行系统切换为更新后的所述备份系统，更新后的所述备份系统的休眠状态转换为工作状态；
重启被切换的所述运行系统，将重启后的所述运行系统的状态转换为休眠状态。


5.根据权利要求1所述的方法，其特征在于，所述启动已创建的信息处理脚本对所述容灾中心中的所述分类信息进行数据清洗处理，包括：
调用已创建的编程模型MapReduce中存储的信息处理脚本对所述容灾中心中的所述分类信息进行检测与处理；
若检测到所述容灾中心中的所述分类信息存在删除信息，则删除所述删除信息对应的所述分类信息，所述删除信息包括GET开头的访问记录信息、staticsource开头的访问记录信息、GET字符串和POST字符串；
若检测到所述容灾中心中的所述分类信息的数据格式不符合预设要求，则转换不符合所述预设要求的所述分类信息的数据格式；
若...

【专利技术属性】
技术研发人员：卢显锋，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：广东;44