一种面向日志大数据分析的业务服务系统技术方案
【技术实现步骤摘要】
一种面向日志大数据分析的业务服务系统
本专利技术涉及日志数据分析的
，尤其是指一种面向日志大数据分析的业务服务系统，结合大数据分析技术对指标类型日志数据进行流程化处理，最终提供通用化业务服务。
技术介绍
随着信息行业的蓬勃发展，用户、联网设备带来了流量的井喷式增长，“大数据”一词在数据挖掘和商业智能等行业逐步升温。各领域针对实际的业务需求，设计合理的数据处理框架，包括计算框架、存储框架以及以二者为核心的架构解决方案。伴随着各种分布式云平台的逐步发展和完善，与分布式计算相结合的业务形成的功能产品更受青睐，其优势主要体现在更佳的时效性和更廉价的资源。在基于分布式计算的大数据服务系统中，MapReduce计算模式在数据的并行处理上具有极大的优势，基于该数据计算模式实现的计算框架通常将数据处理拆分为map、shuffle、reduce三个阶段，并为用户提供面向数据的抽象化接口，由此可为用户应用开发提供友好的编程接口，促进模型原型的快速构建。在当前开源的计算引擎中，发展较成熟且为业界普遍认可的开源计算框架繁多，主要有：Hadoop、Storm、Spark、Flink等...
【技术保护点】
一种面向日志大数据分析的业务服务系统，其特征在于，包括：日志获取模块，从相关应用的运营平台获取采集到的日志，得到的是原始日志，数据格式具有规范性；数据预处理模块，基于配置对原始日志数据提供预处理服务，采用Agent程序根据用户选定的预处理方案，对数据进行清洗或转换操作，经过预处理后的日志具有数值有效性；数据管道模块，连接Agent程序和流式计算程序，通过提供高可用、高吞吐量的管道系统，提供数据缓冲功能和多样化的数据消费处理模型；计算处理模块，提供数据的相关逻辑操作，通过对计算任务的管理和调度，为数据提供流式处理和批处理；存储查询模块，在数据经过计算处理后，将根据业务需求持久...
【技术特征摘要】
1.一种面向日志大数据分析的业务服务系统，其特征在于，包括：日志获取模块，从相关应用的运营平台获取采集到的日志，得到的是原始日志，数据格式具有规范性；数据预处理模块，基于配置对原始日志数据提供预处理服务，采用Agent程序根据用户选定的预处理方案，对数据进行清洗或转换操作，经过预处理后的日志具有数值有效性；数据管道模块，连接Agent程序和流式计算程序，通过提供高可用、高吞吐量的管道系统，提供数据缓冲功能和多样化的数据消费处理模型；计算处理模块，提供数据的相关逻辑操作，通过对计算任务的管理和调度，为数据提供流式处理和批处理；存储查询模块，在数据经过计算处理后，将根据业务需求持久化到指定存储，对于不同的存储介质对外提供对应数据响应能力的数据查询接口；系统管理模块，为业务服务系统对外的功能模块，通过可视化操作，为项目、业务以及对应的数据和任务提供管理能力，包括数据接入、任务管理、信息展示和权限控制。2.根据权利要求1所述的一种面向日志大数据分析的业务服务系统，其特征在于，所述日志获取模块的具体情况如下：从应用的运营平台采集指标数据，数据类型为用户行为数据、应用状态数据或设备状态数据，数据以日志规范的形式存储；其中，数据以行为基本单位，每一行需具有数据时间以及字段值，用逗号隔开；日志文件按照基于项目的配置要求，传输到业务服务系统的指定原始日志消费区，最终由数据预处理模块进行处理；数据被采集到本地或网络文件系统，由json格式的配置文件对目录结构进行规范。3.根据权利要求1所述的一种面向日志大数据分析的业务服务系统，其特征在于，所述数据预处理模块的具体情况如下：当数据通过日志获取模块产生并进行分类归档后，形成基于业务分类的数据集，由Agent程序对获取到的日志进行预处理，系统中预处理的过程实际是将常见的预处理方式进行固化形成的预处理工具，经过预处理后的日志具有数值有效性；其中，在可视化操作上，系统为日志数据提供备选的数据预处理方案或自定义方式，用户通过在线方式进行业务数据的接入、处理和管理，后台解析请求，下发具体的清洗程序，由调度组件DSService进行统一调度和管理。4.根据权利要求1所述的一种面向日志大数据分析的业务服务系统，其特征在于，所述数据管道模块的具体情况如下：日志经过预处理后，将通过网络传输到数据管道进行缓存，该数据管道模块实际上提供多数据队列的功能，并保证服务的高可用性，支持数据的实时消费和保证吞吐量；在业务相关的逻辑处理前，数据将以分业务分队列的形式进行暂存，从而支持多队列分主题的数据消费模式，在应用场景...
【专利技术属性】
技术研发人员：董守斌，辜家伟，胡金龙，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。