基于ClickHouse字典表的大数据查询方法、系统和介质技术方案

本发明专利技术公开一种基于ClickHouse字典表的大数据查询方法、系统和介质，属于大数据技术领域。针对现有技术中存在的应用ID和名称对应在遇到应用名称更新时无法对应，影响数据查询性能等问题，本发明专利技术提供一种基于ClickHouse字典表的数据分析方法，构建外部字典表，并对字典表实时更新，在大数据查询时可直接调用字典表ID对应映射值进行数据查询，不需要扫描全表，极大降低了数据的处理量，本发明专利技术字典表保存在内存中，有效解决多表关联的性能损耗，并且支持动态更新，提高数据分析效率，提升系统整体性能。整体性能。整体性能。

【技术实现步骤摘要】
基于ClickHouse字典表的大数据查询方法、系统和介质


[0001]本专利技术涉及大数据
，更具体地说，涉及一种基于ClickHouse字典表的大数据查询方法、系统和介质。

技术介绍

[0002]在进行数据分析时，会需要对数据的各种维度进行查找，分类，统计等操作，用于发现和分析数据之间的差异。各种维度的数据在使用和传输中考虑到编码和安全性等问题通常使用数字编号进行命名，即我们常说的ID。在进行数据分析时，纯数字的ID结果，对于没有经过专业培训的用户而言，难以理解其中的含义，因此产生键
‑
值映射问题。
[0003]例如，一张包含m行财务数据的表A，表中包括货币字段，财务通常处理多种货币，货币用数字代码表示，其中156代表人民币，840 代表美元，在对表A分析时，需将货币字段时关联额外的货币属性，例如货币名称和国家，用于更好的分析数据，这时会存在以下问题：1、如果表A中没有国家和货币名称，需要再创建一张包含货币数字代码，以及对应国家和货币名称的表B，此类方法称为多表连接法。假设表B有n行，在查询时通过JOIN （本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于ClickHouse字典表的大数据查询方法，其特征在于，（1）创建字典表：根据键
‑
值映射要求，设置需要同步到字典表的字段；从指定数据源同步相应字段的数据至字典表；（2）配置dataCube：针对dataCube配置中需要以键
‑
值映射方式显示的dimension字段，在dimension字段的配置信息中添加字典表名称，以及该字典表中与dimension字段对应的字段名、需要以映射值方式显示的字段名，生成与该dimension字段关联的字典结构；（3）大数据查询：接收查询指令，所述查询指令包括查询的字段A，读取dataCube配置信息，如果字段A匹配有dimension字段，且该dimension字段配置有字典表，构建从数据库获取字段A的SQL查询语句，该SQL查询语句还包括从字典表获取字段A所对应的以映射值方式显示的字段的语句；然后返回查询结果。2.根据权利要求1所述的基于ClickHouse字典表的大数据查询方法，其特征在于，所述查询指令还包括对需要以映射值方式显示的字段的限缩性查询条件，所述SQL查询语句包括利用限缩性查询条件进行查询的语句。3.根据权利要求1所述的基于ClickHouse字典表的大数据查询方法，其特征在于，创建字典表时，配置有端口、账号和密码，自动从指定数据源同步数据。4.根据权利要求1所述的基于ClickHouse字典表的大数据查询方法，其特征在于，创建字典表时，配置有更新周期，自动根据更新周期从指定数据源同步数据。5.根据权利要求1所述的基于ClickHouse字典表的大数据查询方法，其特征在于，字段A为数据型数据且由其他字段计算得到时，设置measure字段获得字段A的计算公式，所述SQL查询语句包括从数据库获取计算字段A所需要的其他字段的语句。6.一种基于ClickHouse字典表的大数据查询系统，其特征在于，包括字典表创建模块、dataCube配置模块、SQL语句生成与执行模块；所述字典表创建模块根据...

【专利技术属性】
技术研发人员：张杰，徐健，任翔，袁有雷，朱宏峰，闵克东，支萌萌，曹荣，
申请(专利权)人：南京网觉软件有限公司，
类型：发明
国别省市：