日志数据的存储方法、装置、终端及计算机存储介质制造方法及图纸

本发明专利技术适用于计算机应用技术领域，提供了一种日志数据的存储方法、装置、终端及计算机存储介质，该方法包括：获取应用运行时产生的日志数据，并将所述日志数据采用异步处理的方式存储到消息系统RocketMQ的消息队列；读取所述消息队列中的日志数据，并对所述日志数据进行转换，得到包含多个字段的日志记录；将所述包含多个字段的日志记录存储到数据库MongoDB；提高了日志数据的写入效率，有效地避免了日志数据量大且并发性高导致业务运行受到影响的问题；同时，还提高了日志的查询效率和分析效率。

Storage method, device, terminal and computer storage medium of log data

【技术实现步骤摘要】
日志数据的存储方法、装置、终端及计算机存储介质
本专利技术属于计算机
，尤其涉及一种日志数据的存储方法、装置、终端及计算机存储介质。
技术介绍
日志数据记录的是程序行为数据，可以用于分析各应用的运行状态，并且对系统的稳定运行也起着至关重要的作用。目前，通常将日志数据存储在本地文件或数据库中，在日志数据量大且并发性高的情况下，对日志数据进行实时存储有可能会影响业务的正常运行，并且，这种日志的存储方式也不利于对日志进行分析。
技术实现思路
有鉴于此，本专利技术实施例提供了一种日志数据的存储方法、装置、终端及计算机存储介质，能够解决日志数据量巨大、并发性高的情况下，对日志数据进行实时存储导致业务运行受到影响的技术问题。本专利技术实施例的第一方面提供了一种日志数据的存储方法，包括：获取应用运行时产生的日志数据，并将所述日志数据采用异步处理的方式存储到消息系统RocketMQ的消息队列；读取所述消息队列中的日志数据，并对所述日志数据进行转换，得到包含多个字段的日志记录；将所述包含多个字段的本文档来自技高网...

【技术保护点】
1.一种日志数据的存储方法，其特征在于，包括：/n获取应用运行时产生的日志数据，并将所述日志数据采用异步处理的方式存储到消息系统RocketMQ的消息队列；/n读取所述消息队列中的日志数据，并对所述日志数据进行转换，得到包含多个字段的日志记录；/n将所述包含多个字段的日志记录存储到数据库MongoDB。/n

【技术特征摘要】
1.一种日志数据的存储方法，其特征在于，包括：
获取应用运行时产生的日志数据，并将所述日志数据采用异步处理的方式存储到消息系统RocketMQ的消息队列；
读取所述消息队列中的日志数据，并对所述日志数据进行转换，得到包含多个字段的日志记录；
将所述包含多个字段的日志记录存储到数据库MongoDB。


2.如权利要求1所述的存储方法，其特征在于，所述将所述日志数据采用异步处理的方式存储到消息系统RocketMQ的消息队列包括：
获取所述日志数据的主题信息；所述主题信息携带有应用名称信息和/或日志数据的类型信息；
将所述日志数据采用异步处理的方式存储到与所述主题信息对应的消息队列；
所述将所述包含多个字段的日志记录存储到数据库MongoDB包括：
将所述包含多个字段的日志记录存储到所述MongoDB中与所述主题信息对应的存储节点。


3.如权利要求2所述的存储方法，其特征在于，
所述主题信息携带有应用名称信息和日志数据的类型信息；
所述日志数据的类型信息包括操作类和非操作类；
所述将所述包含多个字段的日志记录存储到所述MongoDB中与所述主题信息对应的存储节点，包括：
将所述操作类的日志数据的存储到所述MongoDB中与所述应用名称信息对应的存储节点，将所述非操作类的日志数据存储至文本中。


4.如权利要求1所述的存储方法，其特征在于，所述将所述包含多个字段的日志记录存储到数据库MongoDB，包括：
动态生成随机数；
将所述包含多个字段的日志记录存储到MongoDB中与所述随机数对应的存储节点。


5.如权利要求1-4任意一项所述的存储方法，其特征在...

【专利技术属性】
技术研发人员：熊友军，贾亮亮，罗小虎，
申请(专利权)人：深圳市优必选科技有限公司，
类型：发明
国别省市：广东;44