【技术实现步骤摘要】
本申请涉及大数据处理，特别是涉及一种基于clickhouse的实时业务数据流分析处理方法和系统。
技术介绍
1、随着大数据处理技术的发展，以及各类应用、平台或者业务的广泛应用，出现了海量实时业务数据，为实现对各业务数据的有效利用，比如根据各业务数据，对相应的应用或者业务进行更新和改进，需要对海量实时业务数据进行入库处理以进行存储，以便后续供应用或者平台所有方进行数据分析或数据查询。
2、传统上，针对所出现的海量实时业务数据进行入库时，通常需要消耗大量消息队列来完成入库操作，在入库后为其他用户提供数据分析或查询功能时，需要针对海量数据进行数据分析，需要占据大量内存资源，开发成本较高，查询和分析速度慢，而因为存在错误的源数据或不同入库环节中的数据偏差，容易出现数据分析结果不准确的问题。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种能够降低海量数据分析处理过程中的开发成本，同时保证数据分析结果准确性的基于clickhouse的实时业务数据流分析处理方法、系统、计算机设备...
【技术保护点】
1.一种基于clickhouse的实时业务数据流分析处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在所述利用与所述结构化实时数据匹配的目标处理引擎，对所述clickhouse集群中结构化实时数据进行数据分析处理，生成对应的数据分析结果之前，还包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所述结构化实时数据匹配的目标处理引擎，对所述clickhouse集群中的所述结构化实时数据进行数据分析处理，生成对应的数据分析结果，包括：
4.根据权利要求2或3所述的方法，其特征在于，在所述将各所述数据...
【技术特征摘要】
1.一种基于clickhouse的实时业务数据流分析处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在所述利用与所述结构化实时数据匹配的目标处理引擎，对所述clickhouse集群中结构化实时数据进行数据分析处理，生成对应的数据分析结果之前，还包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所述结构化实时数据匹配的目标处理引擎，对所述clickhouse集群中的所述结构化实时数据进行数据分析处理，生成对应的数据分析结果，包括：
4.根据权利要求2或3所述的方法，其特征在于，在所述将各所述数据分析结果，按照所述数据应用场景，分别存储至与所述clickhouse集群对应的各目标缓存中之后，还包括：
5.根据权利要求1至3任意一项所述的方法，其特征在于，将所述结构化实时数据导入自构建的clickhouse集群的库表中，包括：
6.根据权利要求1至3任意一项所述的方法，其特征在于，对所述结构化数据，进行数据准确性校验和数据属性校验，获得校验通过的结构化实时...
【专利技术属性】
技术研发人员：陈均，黎君，李宁波，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。