一种基于Clickhouse的数据处理方法、设备及介质技术

本申请提供了一种基于Clickhouse的数据处理方法、设备及介质，通过确定业务数据的标签，其中，业务数据为若干终端设备采集的数据，根据业务数据的标签，将各业务数据进行分类。将分类后的各业务数据进行相应的数据格式转换，得到待存储数据。根据待存储数据的标签，将待存储数据存储至Clickhouse数据仓库，以得到仓储数据。其中，待存储数据的标签根据业务数据的标签得到。基于用户的操作，确定Clickhouse数据仓库中，用户的需求数据。其中，需求数据根据仓储数据生成。通过上述方法，及时满足用户的数据需求，提供给用户良好的服务体验。体验。体验。

【技术实现步骤摘要】
一种基于Clickhouse的数据处理方法、设备及介质


[0001]本申请涉及数据库
，尤其涉及一种基于Clickhouse的数据处理方法、设备及介质。

技术介绍

[0002]随着数据中心的发展，各行业的项目中数据不断增多，相对应的用户需求的数据、开发人员所利用的数据，也在不断增加。数据的日益增多，对于开发人员来说，无疑增加了开发时的工作量。并且在数据的堆叠下，开发人员的开发速度，远不如用户需求的更迭速度。
[0003]若开发人员不能在第一时间满足用户需求，将造成用户体验感差，不能认可开发人员提供的服务，同时开发人员的工作积极性也可能变差。因此，亟需一种能够及时地为用户提供服务、满足用户的数据需求的技术方案，来提高有数据需求的用户对数据服务的体验。

技术实现思路

[0004]本申请实施例提供了一种基于Clickhouse的数据处理方法、设备及介质，用于及时地为提供用户数据服务，满足用户的数据需求。
[0005]一方面，本申请提供了一种基于Clickhouse的数据处理方法，该方法包括：<br/>[0006]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Clickhouse的数据处理方法，其特征在于，所述方法包括：确定业务数据的标签；其中，所述业务数据为若干终端设备采集的数据；根据所述业务数据的标签，将各所述业务数据进行分类；将分类后的各所述业务数据进行相应的数据格式转换，得到待存储数据；根据所述待存储数据的标签，将所述待存储数据存储至Clickhouse数据仓库，以得到仓储数据；其中，所述待存储数据的标签根据所述业务数据的标签得到；基于用户的操作，确定所述Clickhouse数据仓库中，所述用户的需求数据；其中，所述需求数据根据所述仓储数据生成。2.根据权利要求1所述方法，其特征在于，将分类后的所述业务数据进行数据格式转换，得到待存储数据，具体包括：确定所述业务数据的数据格式；根据所述业务数据的数据格式，匹配预设的数据转换标准；根据匹配的所述数据转换标准，将所述业务数据进行数据格式转换，以得到待存储数据；其中，所述待存储数据为轻量级的数据交换JSON格式。3.根据权利要求1所述方法，其特征在于，根据所述待存储数据的标签，将所述待存储数据写入Clickhouse数据仓库之前，所述方法还包括：按照所述待存储数据的标签，对所述待存储数据进行数据压缩；以及根据RSA加密算法，将数据压缩后的所述待存储数据进行加密；在将所述待存储数据写入Clickhouse数据仓库之前，将加密后的所述待存储数据进行解密操作。4.根据权利要求1所述方法，其特征在于，基于用户的操作，确定所述Clickhouse数据仓库中，所述用户的需求数据，具体包括：向用户终端展示查询界面；其中，所述查询界面包括用于查询所述Clickhouse数据仓库中的所述仓储数据的若干应用程序编程接口API；基于所述用户对所述查询界面的操作，生成查询API；其中，所述查询API至少包括一个所述API；根据所述查询API，确定所述Clickhouse数据仓库中，与所述查询API中的信息相对应的所述仓储数据，作为所述用户的所述需求数据。5.根据权利要求1所述方法，其特征在于，基于用户的操作，确定所述Clickhouse数据仓库中，所述用户的需求数据，具体包括：向用户终端展示查询界面；其中，所述查询界面用于输入结构化查询语言SQL；在所述用户终端发送输入完成信息的情况下，根据所述用户终端输入的所述SQL，生成查询API；根据所述查询API，确定所述Clickhouse数据仓库中，与所述查询API中的信息相对...

【专利技术属性】
技术研发人员：孙宗亮，董晨晨，黄浩，韩志凯，李照川，邵帅，孙腾飞，
申请(专利权)人：浪潮卓数大数据产业发展有限公司，
类型：发明
国别省市：