一种数据的处理方法和装置、计算机设备制造方法及图纸

本申请公开了一种数据的处理方法和装置、计算机设备。其中，该方法包括：利用分布式处理引擎Flink的监测组件CDC监听数据管理平台上发生变更的业务数据，利用所述分布式处理引擎Flink的技术栈将所述业务数据清洗后同步至数据库ClickHouse，在查询平台中接收对所述数据库ClickHouse的数据查询请求，通过FlinkCDC可以监测并捕获数据库的所有变动，包括数据或数据表的插入、更新以及删除等，进而完整的将数据同步至数据库ClickHouse，可以解决了相关技术中产生的数据不一致的技术问题，进而保证了数据管理平台和数据库ClickHouse的数据一致性的技术效果。性的技术效果。性的技术效果。

【技术实现步骤摘要】
一种数据的处理方法和装置、计算机设备


[0001]本专利技术涉及数据处理
，尤其涉及一种数据的处理方法、装置、计算机设备和计算机可读存储介质。

技术介绍

[0002]现有技术方案中，使用ElasticSearch(Elasticsearch是一个分布式、高扩展、高实时的搜索与数据分析引擎，它能很方便的使大量数据具有搜索、分析和探索的能力，充分利用Elasticsearch的水平伸缩性能使数据在生产环境变得更有价值，Elasticsearch的实现原理主要分为以下几个步骤，首先用户将数据提交到Elasticsearch数据库中，再通过分词控制器去将对应的语句分词，将其权重和分词结果一并存入数据，当用户搜索数据时候，再根据权重将结果排名、打分，再将返回结果呈现给用户)作为OLAP(全称为OnlineAnalyticalProcessing，联机分析处理OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果，联机分析处理的用户是企业中的专业分析人员及管理决策人员，他们在分析业务经营的数据时，从不同的角度来本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据的处理方法，其特征在于，包括：利用分布式处理引擎Flink的监测组件CDC监听数据管理平台上发生变更的业务数据；利用所述分布式处理引擎Flink的技术栈将所述业务数据清洗后同步至数据库ClickHouse；在查询平台中接收对所述数据库ClickHouse的数据查询请求。2.根据权利要求1所述的方法，其特征在于，利用所述分布式处理引擎Flink的技术栈将所述业务数据清洗后同步至数据库ClickHouse，包括：使用所述分布式处理引擎Flink中的filter()函数，从所述业务数据中过滤掉与所监听业务主题不相关的数据；使用所述分布式处理引擎Flink中的map()函数，从所述业务数据中清洗掉不需要的数据字段；利用所述分布式处理引擎Flink的流Join能力，对所述业务数据按照数据维度进行数据预聚合。3.根据权利要求1所述的方法，其特征在于，在查询平台中接收对所述数据库ClickHouse的数据查询请求之前，所述方法还包括：构建所述查询平台，其中，所述查询平台支持使用SQL查询语句在所述数据库ClickHouse中进行数据查询、并支持对待查询数据的数据量进行分析。4.根据权利要求3所述的方法，其特征在于，在查询平台中接收对所述数据库ClickHouse的数据查询请求之后，所述方法还包括：利用解析器ApacheCalciteSQL对所述数据查询请求中的SQL语句进行解析和验证；在所述SQL语句通过解析和验证之后，使用selectcount(1)form子查询包装语句的方法，统计所述数据查询请求的数据查询量；在所述数据查询量超过指定阈值的情况下，过滤掉所述数据查询请求，其中，所述指定阈值为允许的最大数据查询量。5.根据权利要求3所述的方法，其特征在于，在查询平台中接收对所述数据库ClickHouse的数据查询请求之后，所述方法还包括：监听所述数据库ClickHouse的服务器的CPU负载和内存负载；根据所述服务器的CPU负载和内存负载...

【专利技术属性】
技术研发人员：叶阳，
申请(专利权)人：江苏研码科技有限公司，
类型：发明
国别省市：