大数据处理方法、装置、存储介质及处理器制造方法及图纸

本发明专利技术实施例提供一种大数据处理方法、装置、处理器及存储介质。方法包括：创建列式数据库集群，列式数据库为clickhouse；启动列式数据库的服务，并对集群进行部署配置；将产生的业务数据通过列式数据库集群的预设通道发送至对应的服务器；获取各个列式数据库的地址；根据预设业务规则在列式数据库中分别建立对应的数据表；根据地址将服务器上的业务数据分别存储至与地址对应的列式数据库的数据表中，能够实现动态的，实时的秒级别查询海量数据，同时保证大数据量分析不影响各类服务设备的正常运行，并能够及时的进行数据监控。并能够及时的进行数据监控。并能够及时的进行数据监控。

【技术实现步骤摘要】
大数据处理方法、装置、存储介质及处理器


[0001]本专利技术涉及计算机
，具体地涉及一种大数据处理方法、装置、存储介质及处理器。

技术介绍

[0002]目前各行各业数据量日益剧增，数据存储的格式、设备等多种多样。然而，传统的数据管理存储方式已无法满足现在海量数据的读取和分析要求，也无法对海量数据进行数据分析。

技术实现思路

[0003]本专利技术实施例的目的是提供一种大数据处理方法、装置、存储介质及处理器。
[0004]为了实现上述目的，本专利技术第一方面提供一种大数据处理方法，包括：
[0005]创建列式数据库集群，所述列式数据库为clickhouse；
[0006]启动所述列式数据库的服务，并对所述集群进行部署配置；
[0007]将产生的业务数据通过所述列式数据库集群的预设通道发送至对应的服务器；
[0008]获取各个列式数据库的地址；
[0009]根据预设业务规则在所述列式数据库中分别建立对应的数据表；
[0010]根据所述地址将所述服务器上的业务数据分别存储至与所述地址对应的列式数据库的数据表中。
[0011]在本专利技术的实施例中，创建列式数据库集群包括：获取多个集群节点的节点信息；根据所述节点信息搭建完全分布式系统和分布式消息系统；对所述完全分布式系统和分布式消息系统进行环境配置。
[0012]在本专利技术的实施例中，将产生的业务数据通过所述列式数据库集群的预设通道发送至对应的服务器包括：获取所述业务数据的数量；根据所述业务数据的数量确定所述预设通道的开启数量。
[0013]在本专利技术的实施例中，方法还包括：在所述启动所述列式数据库的服务，并对所述集群进行部署配置之后，通过分布式处理引擎对所述业务数据进行数据消费，所述数据消费包括过滤算子、数据加工算子和写入算子中的至少一种。
[0014]在本专利技术的实施例中，获取各个列式数据库的地址包括：获取域名链接分布式表以获取到各个列式数据库的地址；或通过Nginx进程获取所述列式数据库集群的IP列表，以获取到各个列式数据库的地址。
[0015]在本专利技术的实施例中，根据所述地址分别将所述服务器上的业务数据存储至与所述地址对应的列式数据库的数据表中包括：将所述服务器上的业务数据存储至临时分区目录；将所述业务数据从所述临时分区目录中批量写入与所述地址对应的列式数据库的数据表中。
[0016]在本专利技术的实施例中，方法还包括：根据业务流程确定所述业务数据的查询规则；
根据所述查询规则设置所述业务数据的排序字段；所述根据所述地址将所述服务器上的业务数据分别存储至与所述地址对应的列式数据库的数据表中包括：根据所述地址分别将所述服务器上的业务数据按照所述排序字段的先后顺序存储至与所述地址对应的列式数据库的数据表中。
[0017]本专利技术第二方面提供一种大数据处理装置，包括：
[0018]集群创建模块，用于创建列式数据库集群，所述列式数据库为clickhouse；启动所述列式数据库的服务，并对所述集群进行部署配置；
[0019]第一数据模块，用于将产生的业务数据通过所述列式数据库集群的预设通道发送至对应的服务器；获取各个列式数据库的地址；
[0020]数据表建立模块，用于根据预设业务规则在所述列式数据库中分别建立对应的数据表；
[0021]第二数据模块，用于根据所述地址分别将所述服务器上的业务数据存储至与所述地址对应的列式数据库的数据表中。
[0022]本专利技术第三方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令在被处理器执行时使得所述处理器被配置成执行上述的大数据处理方法。
[0023]本专利技术第四方面提供一种处理器，被配置成执行上述的大数据处理方法。
[0024]上述大数据处理方法，通过创建列式数据库集群，列式数据库为clickhouse；启动列式数据库的服务，并对集群进行部署配置；将产生的业务数据通过列式数据库集群的预设通道发送至对应的服务器；获取各个列式数据库的地址；根据预设业务规则在列式数据库中分别建立对应的数据表；根据地址将服务器上的业务数据分别存储至与地址对应的列式数据库的数据表中。能够在企业适合的场景下能够实现动态的，实时的秒级别查询海量数据，同时保证大数据量分析不影响各类服务设备的正常运行，并能够及时的进行数据监控。
[0025]本专利技术实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0026]附图是用来提供对本专利技术实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本专利技术实施例，但并不构成对本专利技术实施例的限制。在附图中：
[0027]图1示意性示出了根据本专利技术实施例的大数据处理方法的流程示意图；
[0028]图2示意性示出了根据本专利技术实施例的大数据处理装置的结构框图；
[0029]图3示意性示出了根据本专利技术实施例的计算机设备的内部结构图。
具体实施方式
[0030]以下结合附图对本专利技术实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本专利技术实施例，并不用于限制本专利技术实施例。
[0031]图1示意性示出了根据本专利技术实施例的大数据处理方法的流程示意图。如图1所示，在本专利技术一实施例中，提供了一种大数据处理方法，包括以下步骤：
[0032]步骤101，创建列式数据库集群，列式数据库为clickhouse。
[0033]步骤102，启动列式数据库的服务，并对集群进行部署配置。
[0034]步骤103，将产生的业务数据通过列式数据库集群的预设通道发送至对应的服务器。
[0035]步骤104，获取各个列式数据库的地址。
[0036]步骤105，根据预设业务规则在列式数据库中分别建立对应的数据表。
[0037]步骤106，根据地址将服务器上的业务数据分别存储至与地址对应的列式数据库的数据表中。
[0038]在本实施例中，可以先创建列式数据库集群，列式数据库集群可以为clickhouse集群。ClickHouse是一个快速的开源OLAP数据库管理系统,它是面向列的，并允许使用SQL查询实时生成分析报告，ClickHouse也是一个新的开源列式数据库。
[0039]在一个实施例中，创建列式数据库集群包括：获取多个集群节点的节点信息；根据节点信息搭建完全分布式系统和分布式消息系统；对完全分布式系统和分布式消息系统进行环境配置。
[0040]创建Clickhouse集群需要至少准备三台机器设备搭建三个集群节点。首先，可以先获取到集群节点信息，即获取到至少三个集群节点的节点信息。例如，三个集群节点分别为ch201、ch202、ch203。可以在三个集群节点搭建分布式系统和分布式消息系统。其中，分布式系统可以是zookeeper，分布式消息系统可以是kafka。ZooKeeper是一个分布式的，开放源码的分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据处理方法，其特征在于，包括：创建列式数据库集群，所述列式数据库为clickhouse；启动所述列式数据库的服务，并对所述集群进行部署配置；将产生的业务数据通过所述列式数据库集群的预设通道发送至对应的服务器；获取各个列式数据库的地址；根据预设业务规则在所述列式数据库中分别建立对应的数据表；根据所述地址将所述服务器上的业务数据分别存储至与所述地址对应的列式数据库的数据表中。2.根据权利要求1所述的大数据处理方法，其特征在于，所述创建列式数据库集群包括：获取多个集群节点的节点信息；根据所述节点信息搭建完全分布式系统和分布式消息系统；对所述完全分布式系统和分布式消息系统进行环境配置。3.根据权利要求1所述的大数据处理方法，其特征在于，所述将产生的业务数据通过所述列式数据库集群的预设通道发送至对应的服务器包括：获取所述业务数据的数量；根据所述业务数据的数量确定所述预设通道的开启数量。4.根据权利要求1所述的大数据处理方法，其特征在于，所述方法还包括：在所述启动所述列式数据库的服务，并对所述集群进行部署配置之后，通过分布式处理引擎对所述业务数据进行数据消费，所述数据消费包括过滤算子、数据加工算子和写入算子中的至少一种。5.根据权利要求1所述的大数据处理方法，其特征在于，所述获取各个列式数据库的地址包括：获取域名链接分布式表以获取到各个列式数据库的地址；或通过Nginx进程获取所述列式数据库集群的IP列表，以获取到各个列式数据库的地址。6.根据权利要求1所述的大数据处理方法，其特征在于，所述...

【专利技术属性】
技术研发人员：万人俊，
申请(专利权)人：湖北卓铸网络科技有限公司，
类型：发明
国别省市：