多数据库处理数据的方法、系统及装置制造方法及图纸

本申请公开了一种多数据库处理数据的方法、系统及装置。其中，该方法包括：接收目标对象的数据查询请求，其中，数据查询请求至少携带待查询数据的标识信息；根据标识信息确定待查询数据所属的目标数据类型，其中，数据类型包括以下之一：热数据，冷数据；确定目标数据类型对应的数据查询接口，将数据查询接口查询到的结果数据以统一的数据格式返回至目标对象，其中，目标数据类型与数据查询接口一一对应。本申请解决了由于相关技术中传统的关系型数据库的吞吐量较差，可扩展性较低，造成的数据查询效率较低，查询响应速度较慢的技术问题。查询响应速度较慢的技术问题。查询响应速度较慢的技术问题。

【技术实现步骤摘要】
多数据库处理数据的方法、系统及装置


[0001]本申请涉及数据处理领域，具体而言，涉及一种多数据库处理数据的方法、系统及装置。

技术介绍

[0002]电信运营商网络中，网络设备运行产生的性能数据通常具有数据量大、并发性高、实时性强的特点，数据增长的速度极快，此类数据存储和处理时，对数据库的吞吐量和可扩展性有较高的要求，传统的关系型数据库很难满足。但随着设备纳管的范围增大，数据库的读写压力与日俱增，单纯依赖OpenTSDB的存储方式逐渐到达了性能瓶颈，主要存在以下问题：
[0003]1、现网设备规模庞大，端口、子接口、管理域等逻辑资源众多，每日产生的数据量超过数十亿，同时兼顾高并发的数据写入和查询，服务器CPU处理速度达到性能瓶颈，QPS只能达到几十，查询响应速度变慢；
[0004]2、在OpenTSDB中，设备IP和端口名称是作为tagv存储在元数据中的，但是由于tagv中无法存储设备和端口的关联关系，查询指定设备的指定端口时，程序会从所有设备IP和端口名称的笛卡尔积中逐条匹配合适的数据，查询范围指数级增长，极大的影响了数据查询本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多数据库处理数据的方法，其特征在于，包括：接收目标对象的数据查询请求，其中，所述数据查询请求至少携带有待查询数据的标识信息；根据所述标识信息确定所述待查询数据所属的目标数据类型，其中，数据类型包括以下之一：热数据，冷数据；确定所述目标数据类型对应的数据查询接口，将所述数据查询接口查询到的结果数据以统一的数据格式返回至所述目标对象，其中，所述目标数据类型与所述数据查询接口一一对应。2.根据权利要求1所述的方法，其特征在于，根据所述标识信息确定所述待查询数据所属的目标数据类型，包括：确定所述标识信息对应的所述待查询数据在历史时段的查询频率或时间范围，其中，所述时间范围用于指示上次接收所述待查询数据的历史数据查询请求与本次接收到数据查询请求之间的间隔时长；在所述查询频率大于预定频率，或者所述时间范围小于预设时长的情况下，确定所述待查询数据为所述热数据；在所述查询频率小于所述预定频率，或者所述时间范围大于所述预设时长的情况下，确定所述待查询数据为所述冷数据。3.根据权利要求1所述的方法，其特征在于，确定所述目标数据类型对应的数据查询接口，将所述数据查询接口查询到的数据返回至所述目标对象，包括：在所述目标数据类型为所述冷数据的情况下，调用OpenTSDB数据库的数据查询接口；根据所述目标对象传入的指标，以及所选中的时间范围，从所述OpenTSDB数据库中，获取该指标在所述时间范围内的所有分表信息，其中，所述OpenTSDB数据库中的scan函数用于向起始时间start参数和结束时间end参数中赋值目标对象对应的设备IP；判断来自所述目标对象输入的参数中是否存在函数计算要求，根据所述计算要求进行逻辑运算，将计算结果返回至所述目标对象。4.根据权利要求3所述的方法，其特征在于，在获取该指标在所述时间范围内的所有分表信息之前，所述方法还包括：将设备IP利用filter的正则匹配进行查询赋值，改为在start参数和end参数中赋值，其中，filter只用于匹配端口名称。5.根据权利要求1所述的方法，其特征在于，确定所述目标数据类型对应的数据查询接口，将所述数据查询接口查询到的数据返回至所述目标对象，包括：在所述目标数据为所述热数据的情况下，调用Redis数据库的数据查询接口；判断来自所述目标对象输入的参数中是否存在函数计算要求，根据所述计算要求进行逻辑运算，将计算结果返回至所述目...

【专利技术属性】
技术研发人员：张永潘，王凯，程青松，俞晓芬，包佳佳，王兵，杜政霖，张传宇，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：