一种用于业务数据标准化的方法与设备技术

本申请的目的是提出了一种用于业务数据标准化的方法与设备，通过获取运维基础数据及其对应的至少一个数据维度；获取业务原始日志，基于所述运维基础数据及其对应的所述数据维度对所述业务原始日志进行标准化分析处理，以建立标准化业务数据仓库，实现了基于运维基础数据对业务原始日志进行标准化分析处理，从而建立了标准化业务数据仓库，以待有效地基于建立的所述标准化业务数据仓库开发和实现用户设备自定义的业务数据需求，降低了开发和运维成本，并有效地提高了开发和运维效率。

A method and equipment for standardization of business data

The aim of this application is a method and apparatus for business data standardization is proposed, by at least one of the data dimensions to obtain basic data and the corresponding operation and maintenance; the original business access log, data dimension and the maintenance of basic data and the corresponding standard of the original business process based on the log analysis, to the establishment of standardized business data warehouse, the realization of the original business log standardization of basic data processing operation based on, so as to establish a standardized business data warehouse, to be effectively based on the standard business data needs standardized business data warehouse development and implementation of custom user equipment, reduce the cost of development and maintenance. And effectively improves the efficiency of development and maintenance.

【技术实现步骤摘要】
一种用于业务数据标准化的方法与设备
本申请涉及计算机领域，尤其涉及一种用于业务数据标准化的技术。
技术介绍
随着电子商务的快速发展，弹性计算平台上相关业务数据会根据自己的数据分析和统计方法进行各种规范化处理，目前运维数据例如CPU、网络、运维、控制系统等调用相关业务数据虽有各自的统计方法，但由于这些相关业务数据都是以文本形式存在，没有格式，图表(schema)以及数据规范等，难以形成标准化业务数据，从而难以迎来对这些相关业务数据进行数据分析等数据二次加工。现有技术中，传统的弹性计算平台上的运维数据处理链路包括运维前端、数据处理以及数据收集。数据收集是用来收集业务数据来源，主要通过日志收集工具收集业务日志，但部分的业务数据查询工作也会直接下探到业务数据库进行数据收集；数据处理从部署结构上与运维前端属于一体，也就是数据处理和运维前端同属一个模块，数据处理模块包括磁盘类数据、网络类数据、健康维度统计、物理机故障类、物理机异常类、输入输出(IO)异常类以及系统调用统计类等处理的数据；运维前端为现有监控平台及弹性计算平台专有运维系统(例如异常数据分析)，用于日常报警、统计及故障跟踪等工作，其中本文档来自技高网...

【技术保护点】
一种用于业务数据标准化的方法，其中，所述方法包括：获取运维基础数据及其对应的至少一个数据维度；获取业务原始日志，基于所述运维基础数据及其对应的所述数据维度对所述业务原始日志进行标准化分析处理，以建立标准化业务数据仓库。

【技术特征摘要】
1.一种用于业务数据标准化的方法，其中，所述方法包括：获取运维基础数据及其对应的至少一个数据维度；获取业务原始日志，基于所述运维基础数据及其对应的所述数据维度对所述业务原始日志进行标准化分析处理，以建立标准化业务数据仓库。2.根据权利要求1所述的方法，其中，所述获取业务原始日志，基于所述运维基础数据及其对应的所述数据维度对所述业务原始日志进行标准化分析处理，以建立标准化业务数据仓库包括：基于所述运维基础数据及其对应的所述数据维度生成数据处理任务；获取业务原始日志，基于所述数据处理任务对所述业务原始日志进行标准化分析处理，以建立标准化业务数据仓库。3.根据权利要求2所述的方法，其中，所述获取业务原始日志包括：通过日志收集工具获取所述业务原始日志。4.根据权利要求2所述的方法，其中，所述获取业务原始日志，基于所述数据处理任务对所述业务原始日志进行标准化分析处理，以建立标准化业务数据仓库包括：基于所述数据处理任务，将所述业务原始日志依照所述数据维度标准化分析处理至对应的所述运维基础数据中，确定所述运维基础数据中对应的所有所述数据维度的相关数据信息；基于所述运维基础数据及其对应的所有所述数据维度的相关数据信息，建立标准化业务数据仓库。5.根据权利要求4所述的方法，其中，所述基于所述运维基础数据及其对应的所有所述数据维度的相关数据信息，建立标准化业务数据仓库还包括：获取数据调度周期，基于所述数据调度周期将对所述业务原始日志进行标准化分析处理后的所有所述数据维度的相关数据信息写入至相应地所述运维基础数据中，以更新所述标准化业务数据仓库。6.根据权利要求1所述的方法，其中，所述方法还包括：获取用户设备自定义的业务数据需求，基于所述业务数据需求确定所述标准化业务数据仓库中相应的所述数据维度，并确定相应的所述数据维度及其对应的所述相关数据信息。7.根据权利要求6所述的方法，其中，所述确定相应的所述数据维度及其对应的所述相关数据信息包括：对相应的所述数据维度及其对应的所述相关数据信息进行分析处理，以确定与所述业务数据需求对应的需求分析结果信息。8.根据权利要求1所述的方法，其中，所述方法还包括：获取来自用户设备自定义的业务数据查询请求，基于所述业务数据查询请求确定所述标准化数据仓库中相应的所述运维基础数据，并确定相应的所述运维基础数据对应的所述相关数据信息。9.根据权利要求1至8中所述的方法，其...

【专利技术属性】
技术研发人员：周宇，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY