一种数据读取方法及系统技术方案

本发明专利技术实施例公开了一种数据读取方法及系统，能够提高数据读取的效率，满足数据读取的实时性，方法包括利用分布式数据传输通道采集至少一个客户端存储的数据；将数据存储到分布式文件管理单元，分布式文件管理单元基于分布式数据库集群；在接收到读取指令时，读取分布式文件管理单元中存储的与读取指令对应的第一数据。

A method and system for data reading

The embodiment of the invention discloses a data reading method and system, to improve the efficiency of data reading, real-time data reading methods, including the use of distributed data acquisition transmission channel at least one client stored data; the data stored in the distributed file management unit, distributed file management unit based on distributed database cluster in receiving; to read the instructions, first read data stored in the distributed file management unit and read the instructions corresponding to the.

【技术实现步骤摘要】
一种数据读取方法及系统
本专利技术涉及通信领域，尤其涉及一种数据读取方法及系统。
技术介绍
随着大数据时代的到来，在各领域会产生大量的数据，例如，通信运营商的信令日志数据、日志文件的数据、分布式数据库集群产生的数据等，因此，需要对大量的数据进行实时的数据统计分析。由于数据的产生大多是跨网元的，而各个网元产生的数据通常是不统一的，比如，信令系统的用户基站切换数据、通话信令通常是以国际移动用户识别码(IMSI，InternationalMobileSubscriberIdentificationNumber)为基础进行分类记录；B域数据即业务域数据，例如，话单、客户资料、账单等数据是以电话号码为基础进行分类记录；数据网络的数据是以网络互连协议(IP，InternetProtocol)地址为基础进行分类记录，因此，在对数据进行统计分析时，需要将各个客户端产生的数据进行读取。现有的数据读取方法包括：采用关系型数据库，例如，Oracle、DB2、MYSQL等，通过将来自各客户端的数据分别输入到对应的数据库表中，利用数据库读取操作的SQL语句对各个客户端的数据进行读取。然而，由于SQL语句的执行过程是单次读取数据库，随着数据量的增长，采用现有的数据读取方法会降低数据读取的效率、无法满足数据读取的实时性。
技术实现思路
为解决上述技术问题，本专利技术实施例期望提供一种数据读取方法及系统，能够提高数据读取的效率，满足数据读取的实时性。本专利技术的技术方案是这样实现的：第一方面，本专利技术实施例提供一种数据读取方法，方法包括：利用分布式数据传输通道采集至少一个客户端存储的数据；将数据存储到分布式文件管理单元，分布式文件管理单元基于分布式数据库集群；在接收到读取指令时，读取分布式文件管理单元中存储的与读取指令对应的第一数据。进一步的，分布式数据传输通道包括至少一个数据传输链路，利用分布式数据传输通道采集至少一个客户端存储的数据，具体包括：根据预设规则在分布式数据传输通道中确定至少一个第一数据传输链路；利用至少一个第一数据传输链路采集对应的客户端存储的数据，第一数据传输链路与客户端一一对应。进一步的，分布式数据库集群包括N个数据库节点，将数据存储到分布式文件管理单元中，具体包括：根据分布式数据库集群的数据库节点个数N将数据进行分片处理，获得N个分片数据和与分片数据一一对应的N个数据标识；根据N个数据标识将N个分片数据存储到对应的N个数据库节点，N个数据标识与N个数据库节点一一对应。进一步的，在接收到读取指令时，读取分布式文件管理单元中存储的与读取指令对应的第一数据，具体包括：在接收到读取指令时，对读取指令进行解析获得N个数据标识；根据N个数据标识分别从N个数据库节点中读取N个分片数据；根据N个数据标识将N个分片数据进行合并处理，获得第一数据。进一步的，分布式文件管理单元包括Hadoop分布式文件管理单元HDFS，分布式数据库集群包括Redis集群。第二方面，本专利技术实施例提供一种数据读取系统，包括：分布式采集装置、分布式文件管理单元和数据读取装置，其中：分布式采集装置，用于利用分布式数据传输通道采集至少一个客户端存储的数据；分布式文件管理单元，用于存储分布式采集装置采集的数据，分布式文件管理单元基于分布式数据库集群；数据读取装置，用于在接收到读取指令时，读取分布式文件管理单元中存储的与读取指令对应的第一数据。进一步的，分布式采集装置，具体用于：根据预设规则在分布式数据传输通道中确定至少一个第一数据传输链路；利用至少一个第一数据传输链路采集对应的客户端存储的数据，第一数据传输链路与客户端一一对应。进一步的，分布式数据库集群包括N个数据库节点，分布式文件管理单元，具体用于：根据分布式数据库集群的数据库节点个数N将数据进行分片处理，获得N个分片数据和与分片数据一一对应的N个数据标识；根据N个数据标识将N个分片数据存储到对应的N个数据库节点，N个数据标识与N个数据库节点一一对应。进一步的，数据读取装置具体用于：在接收到读取指令时，对读取指令进行解析获得N个数据标识；根据N个数据标识分别从N个数据库节点中读取N个分片数据；根据N个数据标识将N个分片数据进行合并处理，获得第一数据。进一步的，分布式文件管理单元包括Hadoop分布式文件管理单元HDFS，分布式数据库集群包括Redis集群。本专利技术实施例提供了一种数据读取方法及系统，包括利用分布式数据传输通道采集至少一个客户端存储的数据；将数据存储到分布式文件管理单元，分布式文件管理单元基于分布式数据库集群；在接收到读取指令时，读取分布式文件管理单元中存储的与读取指令对应的第一数据。采用上述技术实现方案，由于利用分布式文件管理单元实现数据读入与读出，提高了数据读取的效率，也满足了数据读取的实时性。附图说明图1为本专利技术实施例提供的一种数据读取方法的流程示意图一；图2为本专利技术实施例提供的一种数据读取方法的流程示意图二；图3为本专利技术实施例提供的一种数据读取系统的结构示意图一；图4为本专利技术实施例提供的一种分布式采集装置的结构示意图；图5为本专利技术实施例提供的一种数据读取装置的逻辑运算层的示意图；图6为本专利技术实施例提供的一种数据读取系统的结构示意图二；图7为本专利技术实施例提供的一种分布式内存集群模块的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。实施例一图1为本专利技术实施例提供的一种数据读取方法的流程示意图一，该方法应用于数据读取系统，数据读取方法包括：步骤101：利用分布式数据传输通道采集至少一个客户端存储的数据；其中，数据包括不同的客户端，即客户端系统存储的数据。其中，客户端系统可以包括信令系统、深度报文解析(DPI，deeppacketinspection)系统、业务运营支撑系统(BOSS，Business&OperationSupportSystem)等。其中，各客户端系统如信令系统、DPI、BOSS系统等构成异构数据库系统。举例来说，BOSS系统产生的数据包括接口文件及信令消息等。实际中，获取BOSS系统产生的数据，具体可以通过对接口文件及信令消息等进行字段识别来获得IMSI信息、电话号码、客户资料等数据；在实际应用中，由于数据是实时更新的，因此需要实时从各产生大数据的客户端系统采集包括信令、上网日志、及消息等数据。需要说明的是，各个网元数据的流量如每天达到PB级数量(1024TB＝1PB)，那么采用现有技术中的利用单个服务器的单个数据传输链路采集数据是无法满足大量的数据传输的要求。因此，本专利技术实施例通过一个分布式的数据传输通道来实现高速海量数据的跨域传输。具体的，分布式数据传输通道包括至少一个数据传输链路，步骤101具体包括：根据预设规则在分布式数据传输通道中确定至少一个第一数据传输链路；利用至少一个第一数据传输链路采集对应的客户端存储的数据，第一数据传输链路与客户端一一对应。实际中，一个数据传输链路为一个数据传输进程，用于数据的检测、管理、错误重传、路由管理等功能。通过将至少一个数据传输链路构成分布式的数据传输通道，实现分布式处理数据的传输，增加数据的网络传送能力。需要说明的是，分式数据传输通道包括至少一个数据传输链路，而数据读取系统本文档来自技高网...

【技术保护点】
一种数据读取方法，其特征在于，所述方法包括：利用分布式数据传输通道采集至少一个客户端存储的数据；将所述数据存储到分布式文件管理单元，所述分布式文件管理单元基于分布式数据库集群；在接收到读取指令时，读取所述分布式文件管理单元中存储的与所述读取指令对应的第一数据。

【技术特征摘要】
1.一种数据读取方法，其特征在于，所述方法包括：利用分布式数据传输通道采集至少一个客户端存储的数据；将所述数据存储到分布式文件管理单元，所述分布式文件管理单元基于分布式数据库集群；在接收到读取指令时，读取所述分布式文件管理单元中存储的与所述读取指令对应的第一数据。2.根据权利要求1所述的方法，其特征在于，所述分布式数据传输通道包括至少一个数据传输链路，所述利用分布式数据传输通道采集至少一个客户端存储的数据，具体包括：根据预设规则在所述分布式数据传输通道中确定至少一个第一数据传输链路；利用所述至少一个第一数据传输链路采集对应的客户端存储的数据，所述第一数据传输链路与所述客户端一一对应。3.根据权利要求1所述的方法，其特征在于，所述分布式数据库集群包括N个数据库节点，所述N大于等于二，所述将所述数据存储到分布式文件管理单元中，具体包括：根据所述分布式数据库集群的数据库节点个数N将所述数据进行分片处理，获得N个分片数据和与所述分片数据一一对应的N个数据标识；根据所述N个数据标识将所述N个分片数据存储到对应的所述N个数据库节点，所述N个数据标识与所述N个数据库节点一一对应。4.根据权利要求3所述的方法，其特征在于，所述在接收到读取指令时，读取所述分布式文件管理单元中存储的与所述读取指令对应的第一数据，具体包括：在接收到读取指令时，对所述读取指令进行解析获得N个所述数据标识；根据N个所述数据标识分别从N个数据库节点中读取N个分片数据；根据N个所述数据标识将所述N个分片数据进行合并处理，获得第一数据。5.根据权利要求1所述的方法，其特征在于，所述分布式文件管理单元包括Hadoop分布式文件管理单元HDFS，所述分布式数据库集...

【专利技术属性】
技术研发人员：钟全龙，赵奇勇，林星锦，
申请(专利权)人：中国移动通信集团重庆有限公司，
类型：发明
国别省市：重庆,50