电子装置、监控数据缓存的方法及存储介质制造方法及图纸

本发明专利技术涉及数据缓存，提出了一种监控数据缓存方法，包括：接收实时监控数据信息，将实时监控数据信息进行递归处理，得到结构化监控数据；对所述结构化监控数据进行分类，得到监控数据的主题；根据监控数据的主题，将监控数据分别保存在分布式消息中间件的消息队列中；在配置文件中配置主题和所述监控数据中的分隔符、过滤规则、入库规则的对应关系，根据所述对应关系生成序列化的监控数据；读取所述配置文件中的配置信息，创建与influxdb数据库的连接，将所述序列化的监控数据按照序列入库到所述influxdb数据库。能够解决存储空间使用效率低的问题，并且保证了系统的高可用性。本发明专利技术还提出一种电子装置及存储介质。

【技术实现步骤摘要】
电子装置、监控数据缓存的方法及存储介质
本专利技术涉及数据监控领域，尤其涉及一种电子装置、监控数据缓存的方法及存储介质。
技术介绍
随着云计算的技术的飞速发展，计算资源的分布越来越集中，计算集群的规模也越来越大。为了保证大规模集群的可靠、稳定、高效运行，就要求我们对计算集群进行实时高效、准确可靠的监控。由于这些由机器采集的数据数量极其巨大，同时具有很明显的时间序列的特征，传统的关系型数据库处理起来已经力不从心，且成本高昂。如何高效廉价的存储、处理这些监控数据成为了当务之急。
技术实现思路
有鉴于此，本专利技术提出一种电子装置、监控数据缓存的方法及存储介质，能够解决存储空间使用效率低的问题，并且保证了系统的高可用性。首先，为实现上述目的，本专利技术提出一种电子装置，所述电子装置包括存储器、及与所述存储器连接的处理器，所述处理器用于执行所述存储器上存储的监控数据缓存程序，所述监控数据缓存程序被所述处理器执行时实现如下步骤：A1、接收实时监控数据信息，将接收的实时监控数据信息根据预定义的数据结构进行递归处理，得到结构化监控数据；A2、对所述结构化监控数据进行分类，得到每类监控数据的主题；A3、根据每类监控数据的主题，将每类监控数据分别保存在分布式消息中间件kafka的消息队列中；A4、在配置文件中配置主题和所述监控数据中的分隔符、过滤规则、入库规则的对应关系，根据所述对应关系生成序列化的监控数据；A5、读取所述配置文件中的配置信息，创建与influxdb数据库的连接，将所述序列化的监控数据按照序列入库到所述influxdb数据库。优选地，在所述步骤A1中，所述结构化监控数据包括监控对象、监控时间以及监控项构成的序列。优选地，每个所述监控项都具有对应的数据类型，所述步骤A2包括：对所述结构化监控数据根据监控项对应的数据类型进行分类，得到每类监控数据的主题。优选地，在所述步骤A4中，根据所述对应关系生成序列化的监控数据的步骤，包括：根据所述对应关系，将所述监控数据经过序列化程序，序列化为LIST数组；读取配置文件中的主体和相关过滤规则的对应关系，对LIST数组中的数据进行过滤，得到序列化的监控数据。优选地，所述步骤A5包括：读取配置文件中的配置信息，topic与表名，rowkey行键规则，列族相关配置信息，创建与influxdb数据库的连接，将序列化的监控数据构建成put对象；将put对象批量入库influxdb数据库。此外，为了实现上述目的，本专利技术还提出一种监控数据缓存的方法，所述方法包括如下步骤：S1、接收实时监控数据信息，将接收的实时监控数据信息根据预定义的数据结构进行递归处理，得到结构化监控数据；S2、对所述结构化监控数据进行分类，得到每类监控数据的主题；S3、根据每类监控数据的主题，将每类监控数据分别保存在分布式消息中间件kafka的消息队列中；S4、在配置文件中配置主题和所述监控数据中的分隔符、过滤规则、入库规则的对应关系，根据所述对应关系生成序列化的监控数据；S5、读取所述配置文件中的配置信息，创建与influxdb数据库的连接，将所述序列化的监控数据按照序列入库到所述influxdb数据库。优选地，在所述步骤S1中，所述结构化监控数据包括监控对象、监控时间以及监控项构成的序列。优选地，每个所述监控项都具有对应的数据类型，所述步骤S2包括：对所述结构化监控数据根据监控项对应的数据类型进行分类，得到每类监控数据的主题。优选地，在所述步骤S4中，根据所述对应关系生成序列化的监控数据的步骤，包括：根据所述对应关系，将所述监控数据经过序列化程序，序列化为LIST数组；读取配置文件中的主体和相关过滤规则的对应关系，对LIST数组中的数据进行过滤，得到序列化的监控数据。此外，为实现上述目的，本专利技术还提出一种计算机可读存储介质，所述计算机可读存储介质存储有监控数据缓存的程序，所述监控数据缓存的程序可被至少一个处理器执行，以使所述至少一个处理器执行如上所述的监控数据缓存的方法的步骤。本专利技术所提出的电子装置、监控数据缓存方法及存储介质，通过接收实时监控数据信息，将接收的实时监控数据信息根据预定义的数据结构进行递归处理，得到结构化监控数据；对所述结构化监控数据进行分类，得到每类监控数据的主题；根据每类监控数据的主题，将每类监控数据分别保存在分布式消息中间件kafka的消息队列中；在配置文件中配置主题和所述监控数据中的分隔符、过滤规则、入库规则的对应关系，根据所述对应关系生成序列化的监控数据；读取所述配置文件中的配置信息，创建与influxdb数据库的连接，将所述序列化的监控数据按照序列入库到所述influxdb数据库。能够解决存储空间使用效率低的问题，并且保证了系统的高可用性。附图说明图1是本专利技术提出的电子装置一可选的硬件架构的示意图；图2是本专利技术电子装置一实施例中监控数据缓存的程序的程序模块示意图；图3是本专利技术监控数据缓存的方法较佳实施例的实施流程图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要说明的是，在本专利技术中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本专利技术要求的保护范围之内。参阅图1所示，是本专利技术提出的电子装置一可选的硬件架构示意图。本实施例中，电子装置10可包括，但不仅限于，可通过通信总线14相互通信连接存储器11、处理器12、网络接口13。需要指出的是，图1仅示出了具有组件11-14的电子装置10，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，存储器11至少包括一种类型的计算机可读存储介质，计算机可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器11可以是电子装置10的内部存储单元，例如电子装置10的硬盘或内存。在另一些实施例中，存储器11也可以是电子装置10的外包存储设备，例如电子装置10上配备的插接式硬盘，智能存储卡(SmartMediaCard,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(FlashCard)等。当然，存储器11还可以既包括电子装置10的内部存储单元也包括其外包存储设备。本实施例中，存储器11通常用于存储安装于电子装置10的操作系统和各类应用软件，例如监控数据缓存的程序等。此本文档来自技高网...

【技术保护点】
1.一种电子装置，其特征在于，所述电子装置包括存储器、及与所述存储器连接的处理器，所述处理器用于执行所述存储器上存储的监控数据缓存程序，所述监控数据缓存程序被所述处理器执行时实现如下步骤：A1、接收实时监控数据信息，将接收的实时监控数据信息根据预定义的数据结构进行递归处理，得到结构化监控数据；A2、对所述结构化监控数据进行分类，得到每类监控数据的主题；A3、根据每类监控数据的主题，将每类监控数据分别保存在分布式消息中间件kafka的消息队列中；A4、在配置文件中配置主题和所述监控数据中的分隔符、过滤规则、入库规则的对应关系，根据所述对应关系生成序列化的监控数据；A5、读取所述配置文件中的配置信息，创建与influxdb数据库的连接，将所述序列化的监控数据按照序列入库到所述influxdb数据库。

【技术特征摘要】
1.一种电子装置，其特征在于，所述电子装置包括存储器、及与所述存储器连接的处理器，所述处理器用于执行所述存储器上存储的监控数据缓存程序，所述监控数据缓存程序被所述处理器执行时实现如下步骤：A1、接收实时监控数据信息，将接收的实时监控数据信息根据预定义的数据结构进行递归处理，得到结构化监控数据；A2、对所述结构化监控数据进行分类，得到每类监控数据的主题；A3、根据每类监控数据的主题，将每类监控数据分别保存在分布式消息中间件kafka的消息队列中；A4、在配置文件中配置主题和所述监控数据中的分隔符、过滤规则、入库规则的对应关系，根据所述对应关系生成序列化的监控数据；A5、读取所述配置文件中的配置信息，创建与influxdb数据库的连接，将所述序列化的监控数据按照序列入库到所述influxdb数据库。2.如权利要求1所述的电子装置，其特征在于，在所述步骤A1中，所述结构化监控数据包括监控对象、监控时间以及监控项构成的序列。3.如权利要求1所述的电子装置，其特征在于，每个所述监控项都具有对应的数据类型，所述步骤A2包括：对所述结构化监控数据根据监控项对应的数据类型进行分类，得到每类监控数据的主题。4.如权利要求1所述的电子装置，其特征在于，在所述步骤A4中，根据所述对应关系生成序列化的监控数据的步骤，包括：根据所述对应关系，将所述监控数据经过序列化程序，序列化为LIST数组；读取配置文件中的主体和相关过滤规则的对应关系，对LIST数组中的数据进行过滤，得到序列化的监控数据。5.如权利要求1所述的电子装置，其特征在于，所述步骤A5包括：读取配置文件中的配置信息，topic与表名，rowkey行键规则，列族相关配置信息，创建与influxdb数据库的连接，将序...

【专利技术属性】
技术研发人员：林水明，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44