一种数据处理方法、装置及计算机存储介质制造方法及图纸

本发明专利技术实施例公开了一种数据处理方法、装置及计算机存储介质，方法包括：根据数据属性对日志数据进行命名；将命名后的日志数据根据所述数据属性发送至日志检索组件中对应的目录中；所述日志检索组件用于根据所述目录对日志数据进行检索，通过设定格式显示所述日志数据。通过对日志数据进行命名，以实现分类日志数据，日志检索组件对分类后的日志数据进行检索，避免在海量日志数据的场景下，直接检索日志数据，解决了检索效率慢，用户体验感差等问题。

A data processing method, device and computer storage medium

【技术实现步骤摘要】
一种数据处理方法、装置及计算机存储介质
本专利技术涉及软件工程
，尤其涉及一种数据处理方法、装置及计算机存储介质。
技术介绍
传统的统一待办系统需要与很多的子系统对接，产生大量的待办数据和日志数据，其中，待办数据用于统一门户检索个人待办数据，日志数据用于核查子系统的同步状况。在传统的统一待办系统中，通常直接登录Linux或者Windows服务器查看日志数据，以核查子系统是否同步成功。当生成一个待办数据时，待办系统的门户页面上将显示该条待办数据的相关信息，当用户办结某条待办数据时，将该条待办数据的待办状态设置为已办状态，待办系统中的门户页面上将显示该条待办数据的办结信息。目前，日志数据最终要以界面的形式呈现给相关运维人员，因此在海量日志数据的场景下，直接进行日志数据的检索、筛选、分析，会产生性能上的瓶颈问题，比如检索效率很慢，用户体验感很差。另外，由于统一待办系统对接的子系统较多，同步数据量较大，如果将日志数据都写入数据库，则日志数据必然会非常频繁地写入数据库，导致数据库服务器压力过大，为了解决此类问题，可以部署多个数据库服务器节点，但是又会大大地增加经济成本。并且，在技术方面，传统的日志采集和分析存在诸多缺陷，例如在并行计算、集群计算、分布式计算、网格计算和云计算的环境下，日志文件数量多，采集日志困难，海量日志的查询和分析耗时长、效率低，无法满足系统运维人员的日志分析需求。在待办数据量较大的情况下，由于业务场景要求待办数据需要每隔5秒就刷新一次，其刷新频率较高，查询数据库的次数将对数据库服务器造成很大的压力。
技术实现思路
有鉴于此，本专利技术实施例为解决现有技术中存在的至少一个问题而提供一种数据处理方法、装置及计算机存储介质，解决日志数据查询、检索速度慢的问题。为达到上述目的，本专利技术实施例的技术方案是这样实现的：第一方面，本专利技术实施例提供一种数据处理方法，所述方法包括：根据数据属性对日志数据进行命名；将命名后的日志数据根据所述数据属性发送至日志检索组件中对应的目录中；所述日志检索组件用于根据所述目录对日志数据进行检索，通过设定格式显示所述日志数据。上述技术方案中，在所述根据数据属性对日志数据进行命名之前，所述方法还包括：周期性地监听日志组件中写入日志数据的文件大小，当所述文件的大小产生变化，获取当前写入所述日志组件的日志数据；所述日志组件用于写入服务器产生的日志数据。上述技术方案中，所述将命名后的日志数据根据所述数据属性发送至日志检索组件中对应的目录中，包括：根据命名格式筛选日志数据，获得符合命名格式的日志数据；将符合命名格式的日志数据根据所述数据属性发送至日志检索组件中对应的目录中。上述技术方案中，所述方法还包括：根据待办数据的唯一标识确定缓存组件中是否存在所需的待办数据，得到判断结果；根据所述判断结果确定所述缓存组件存在所述所需的待办数据，从所述缓存组件中获取所述所需的待办数据。上述技术方案中，所述方法还包括：根据所述判断结果确定所述缓存组件不存在所述所需的待办数据，根据所述待办数据的唯一标识确定数据库中存在所述所需的待办数据，从所述数据库中获取所述所需的待办数据。上述技术方案中，所述方法还包括：将所述所需的待办数据保存至所述缓存组件。第二方面，本专利技术实施例提供一种数据处理装置，所述装置包括：命名单元，用于根据数据属性对日志数据进行命名；发送单元，用于将命名后的日志数据根据所述数据属性发送至日志检索组件中对应的目录中；所述日志检索组件用于根据所述目录对日志数据进行检索，通过设定格式显示所述日志数据。上述技术方案中，所述装置还包括：监听单元，用于周期性地监听日志组件中写入日志数据的文件大小，当所述文件的大小产生变化，获取当前写入所述日志组件的日志数据；所述日志组件用于写入服务器产生的日志数据。第三方面，本专利技术实施例提供一种数据处理装置，所述装置包括网络接口、存储器和处理器；其中，所述网络接口，配置为实现组件之间的连接通信；所述存储器，配置为存储能够在所述处理器上运行的计算机程序；所述处理器，配置为在运行所述计算机程序时，执行第一方面所述方法。第四方面，本专利技术实施例提供一种计算机存储介质，所述计算机存储介质存储有计算机程序，当所述计算机程序被至少一个处理器执行时实现第一方面所述任一方法。本专利技术实施例所提供的一种数据处理方法、装置及计算机存储介质，通过根据数据属性对日志数据进行命名；将命名后的日志数据根据所述数据属性发送至日志检索组件中对应的目录中；所述日志检索组件用于根据所述目录对日志数据进行检索，通过设定格式显示所述日志数据，即对日志数据进行命名，以实现分类日志数据，日志检索组件对分类后的日志数据进行检索，可以避免在海量日志数据的场景下，直接检索日志数据，解决了检索效率慢，用户体验感差等问题。附图说明图1为本专利技术实施例提供的一种数据处理方法的实现流程示意图一；图2为本专利技术实施例提供的一种数据处理方法的实现流程示意图二；图3为现有的待办系统的结构示意图；图4为本专利技术实施例提供的待办系统的结构示意图；图5为本专利技术实施例提供的ElasticSearch对分类后的日志数据进行检索的部分代码示意图；图6为本专利技术实施例提供的一种数据处理方法的实现流程示意图三；图7为本专利技术实施例提供的一种数据处理装置的结构示意图；图8为本专利技术实施例提供的一种数据处理装置的具体硬件结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对专利技术的具体技术方案做进一步详细描述。以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。本专利技术实施例提供一种数据处理方法，图1为本专利技术实施例提供的一种数据处理方法的实现流程示意图一，如图1所示，该方法主要包括以下步骤：步骤101、根据数据属性对日志数据进行命名。需要说明的是，所述数据属性可以是数据类型，还可以是数据生成时间等信息。日志搜集组件可以根据数据类型对日志数据进行命名，还可以根据数据类型以及时间对日志数据进行命名，日志搜集组件用于搜集、分类日志数据。需要说明的是，在所述根据数据属性对日志数据进行命名之前，还包括：周期性地监听日志组件中写入日志数据的文件大小，当所述文件的大小产生变化，则获取当前写入所述日志组件的日志数据，其中，所述日志组件用于写入服务器产生的日志数据。日志搜集组件通过周期性地监听日志组件中写入日志数据的文件大小是否发生变化，来获取日志数据，其中，所述周期可以是预设的时间间隔，例如时间间隔是1天，则日志搜集组件每隔1天监听日志组件中写入日志数据的文件大小，只要文件中写入日志数据，则日志搜集组件将会监听到文件的大小发生变化，从而获取日志数据。步骤102、将命名后的日志数据根据所述数据属性发本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：/n根据数据属性对日志数据进行命名；/n将命名后的日志数据根据所述数据属性发送至日志检索组件中对应的目录中；所述日志检索组件用于根据所述目录对日志数据进行检索，通过设定格式显示所述日志数据。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
根据数据属性对日志数据进行命名；
将命名后的日志数据根据所述数据属性发送至日志检索组件中对应的目录中；所述日志检索组件用于根据所述目录对日志数据进行检索，通过设定格式显示所述日志数据。


2.根据权利要求1所述的方法，其特征在于，在所述根据数据属性对日志数据进行命名之前，所述方法还包括：
周期性地监听日志组件中写入日志数据的文件大小，当所述文件的大小产生变化，获取当前写入所述日志组件的日志数据；所述日志组件用于写入服务器产生的日志数据。


3.根据权利要求1所述的方法，其特征在于，所述将命名后的日志数据根据所述数据属性发送至日志检索组件中对应的目录中，包括：
根据命名格式筛选日志数据，获得符合命名格式的日志数据；
将符合命名格式的日志数据根据所述数据属性发送至日志检索组件中对应的目录中。


4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
根据待办数据的唯一标识确定缓存组件中是否存在所需的待办数据，得到判断结果；
根据所述判断结果确定所述缓存组件存在所述所需的待办数据，从所述缓存组件中获取所述所需的待办数据。


5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
根据所述判断结果确定所述缓存组件不存在所述所需的待办数据，根据所述待办数...

【专利技术属性】
技术研发人员：张航海，
申请(专利权)人：中移苏州软件技术有限公司，中国移动通信集团有限公司，
类型：发明
国别省市：江苏;32