一种提高大数据处理架构输入输出性能的方法及装置制造方法及图纸

本申请提供了一种提高大数据处理架构输入输出性能的方法及装置，其中方法，包括：接收需要写入数据库的待写入数据对应的写入信息，并存储，其中，写入信息包括：主题名、字段名、数据格式、数据库名、序列化器名、订阅类型和数据库表名中的至少一项；根据写入信息对待写入数据进行序列化处理，得到目标数据库需求的目标数据，目标数据库为与数据库名对应的数据库；通过与目标数据库对应的连接池，将序列化处理后的目标数据写入目标数据库中。本实施例中的方法可实现对大数据处理架构中任意数据库的写入，有利于提高计算和存储效率，显著的满足了物联网情境下的大量输入输出的需求。了物联网情境下的大量输入输出的需求。了物联网情境下的大量输入输出的需求。

【技术实现步骤摘要】
一种提高大数据处理架构输入输出性能的方法及装置


[0001]本申请涉及大数据处理
，特别涉及一种提高大数据处理架构输入输出性能的方法及装置。

技术介绍

[0002]科学数据处理、商业智能数据分析等具有海量数据需求的应用变得越来越普遍，传统的技术架构已不能满足大数据处理要求。典型的基于提取、转换、加载(Extract
‑
Transform
‑
Load，简称ETL)的数据仓库使用暂存、数据集成和访问层来容纳其关键功能。暂存层或暂存数据库存储从每个不同的源数据系统提取的原始数据。集成层通过转换来自暂存层的数据来集成不同的数据集，暂存层通常将这些转换后的数据存储在操作数据存储(Operational Data Store，简称ODS)数据库中。然后将具有维度性质的信息筛选和聚合，集成的数据移动到另一个数据库，通常称为数据仓库数据库，并排列成维度层(Dimension，简称DIM)，供用户检索数据。
[0003]但，在物联网为背景的情境下，作为数据产生点设备具有许多特点：分布范围广，连接端和连接地址多；全时段工作，产生数据量大；部分设备实时性要求高等特点，使得在基于物联网背景的大数据情境下，数据在设备输入输出I/O阶段，有更大量级的数据请求，并且对数据处理的实时性和通信质量有一定的要求，而传统的数据写入数据库时，以主题为准申请线程资源，随着申请资源的增加，用于信息的占用率也会增加，从而导致数据库的写入效率逐渐降低，且维护成本较高，且存在因两个节点间无原生支持需要中继的情况，例如：业务型数据由流处理框架Flink嗅探结构化查询语言(My Structured Query Language)数据库的二进制日志，并提取数据到高吞吐分布式流平台Kafka中，进而再存储至分析性数据库ClickHouse中，使得流程冗长，无法有效满足物联网情境下的大数据处理需求。

技术实现思路

[0004]本申请实施例要达到的技术目的是提供一种提高大数据处理架构输入输出性能的方法及装置，用以解决当前的大数据处理架构无法有效满足物联网下的大数据处理需求的问题；
[0005]为解决上述技术问题，本申请实施例提供了一种提高大数据处理架构输入输出性能的方法，包括：
[0006]接收需要写入数据库的待写入数据对应的写入信息，并存储，其中，所述写入信息包括：主题名、字段名、数据格式、数据库名、序列化器名、订阅类型和数据库表名中的至少一项；
[0007]根据所述写入信息对所述待写入数据进行序列化处理，得到目标数据库需求的目标数据，所述目标数据库为与所述数据库名对应的数据库；
[0008]通过与所述目标数据库对应的连接池，将序列化处理后的所述目标数据写入所述
目标数据库中。
[0009]优选地，如上所述的方法，在所述接收需要写入数据库的待写入数据对应的写入信息，并通过哈希表的方式存储所述写入信息之前，还包括：
[0010]接收信息注册请求，所述信息注册请求中的信息与所述写入信息对应；
[0011]根据所述注册请求中的所述订阅类型，订阅配置中的数据源，并生成与所述主题名对应的订阅器，所述订阅器用于接收所述注册请求中的所述数据格式的数据。
[0012]具体地，如上所述的方法，所述根据所述写入信息对所述待写入数据进行序列化处理，得到目标数据库需求的目标数据格式，包括：
[0013]根据所述写入信息中的所述订阅类型、所述数据格式和/或所述序列化器名，从多个已配置的序列化器中确定对应的目标序列化器，其中，多个预配置的序列化器至少包括：所述订阅类型为消息队列传输探测(Message Queuing Telemetry Transport，简称MQTT)，且所述数据格式分别为逗号分隔值(Comma
‑
Separated Values，简称CSV)和JS对象简谱(Java Script Object Notation，简称JSON)的序列化器，以及所述订阅类型为分布式发布订阅消息系统Kafka，且所述数据格式分别为所述CSV和所述JSON的序列化器；
[0014]通过所述目标序列化器对所述待写入数据进行序列化处理，得到所述目标数据。
[0015]优选地，如上所述的方法，还包括：
[0016]当接收一预设数据格式的序列化器请求时，根据所述序列化器请求，配置对应的所述序列化器。
[0017]具体地，如上所述的方法，所述通过与所述目标数据库对应的连接池，将所述序列化处理后的所述目标数据写入所述目标数据库中，包括：
[0018]从所述连接池的数据库连接中请求一个可用资源，其中，所述连接池中具有多个支持java数据库连接(Java Data Base Connectivity，简称JDBC)的所述数据库连接；
[0019]当存在所述可用资源时，通过所述可用资源将所述目标数据写入所述目标数据库中；
[0020]当无可用资源时，将所述目标数据存入等待队列中。
[0021]进一步的，如上所述的方法，还包括：
[0022]当所述等待队列中的等待数据大于预设数量时，向所述目标数据库发起增加所述数据库连接的连接请求；
[0023]当接收到所述目标数据库关于所述连接请求的应答时，与所述目标数据库建立新的数据库连接。
[0024]具体地，如上所述的方法，还包括：
[0025]当所述写入信息的主题名称为预设主题名称时，还将所述待写入数据发送至计算引擎Spark中，通过所述Spark中配置的管道任务进行预警，其中，所述管道任务中结合有所述Spark的状态更新updateStateByKey算子。
[0026]进一步的，如上所述的方法，还包括：
[0027]当接收到对所述管道任务进行增加或修改的修改信息时，对所述管道任务中对应的管道阀门进行增加或修改。
[0028]本申请的另一实施例还提供了一种控制装置，包括：
[0029]订阅消费模块，用于接收需要写入数据库的待写入数据对应的写入信息，并存储，
其中，所述写入信息包括：主题名、字段名、数据格式、数据库名、序列化器名、订阅类型和数据库表名中的至少一项；
[0030]消费处理模块，用于根据所述写入信息对所述待写入数据进行序列化处理，得到目标数据库需求的目标数据，所述目标数据库为与所述数据库名对应的数据库；
[0031]数据写入模块，用于通过与所述目标数据库对应的连接池，将序列化处理后的所述目标数据写入所述目标数据库中。
[0032]本申请的再一实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序在被处理器执行时实现如上所述的提高大数据处理架构输入输出性能的方法的步骤。
[0033]与现有技术相比，本申请实施例提供的一种提高大数据处理架构输入输出性能的方法及装置，至少具有以下有益效果：
[0034]本实施例中的方法可实现对大数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种提高大数据处理架构输入输出性能的方法，其特征在于，包括：接收需要写入数据库的待写入数据对应的写入信息，并存储，其中，所述写入信息包括：主题名、字段名、数据格式、数据库名、序列化器名、订阅类型和数据库表名中的至少一项；根据所述写入信息对所述待写入数据进行序列化处理，得到目标数据库需求的目标数据，所述目标数据库为与所述数据库名对应的数据库；通过与所述目标数据库对应的连接池，将序列化处理后的所述目标数据写入所述目标数据库中。2.根据权利要求1所述的方法，其特征在于，在所述接收需要写入数据库的待写入数据对应的写入信息，并通过哈希表的方式存储所述写入信息之前，还包括：接收信息注册请求，所述信息注册请求中的信息与所述写入信息对应；根据所述注册请求中的所述订阅类型，订阅配置中的数据源，并生成与所述主题名对应的订阅器，所述订阅器用于接收所述注册请求中的所述数据格式的数据。3.根据权利要求1所述的方法，其特征在于，所述根据所述写入信息对所述待写入数据进行序列化处理，得到目标数据库需求的目标数据格式，包括：根据所述写入信息中的所述订阅类型、所述数据格式和/或所述序列化器名，从多个已配置的序列化器中确定对应的目标序列化器，其中，多个预配置的序列化器至少包括：所述订阅类型为消息队列传输探测MQTT，且所述数据格式分别为逗号分隔值CSV和JS对象简谱JSON的序列化器，以及所述订阅类型为分布式发布订阅消息系统Kafka，且所述数据格式分别为所述CSV和所述JSON的序列化器；通过所述目标序列化器对所述待写入数据进行序列化处理，得到所述目标数据。4.根据权利要求3所述的方法，其特征在于，还包括：当接收一预设数据格式的序列化器请求时，根据所述序列化器请求，配置对应的所述序列化器。5.根据权利要求1所述的方法，其特征在于，所述通过与所述目标数据库对应的连接池，将所述序列化处理后的所述目...

【专利技术属性】
技术研发人员：毛凌霄，张寅，路名，樊劲松，
申请(专利权)人：大唐融合通信股份有限公司，
类型：发明
国别省市：