通信数据同步及处理方法和系统技术方案

本发明专利技术公开了一种通信数据同步及处理方法和系统。方法包括：通过Hadoop的ZEUS工具主动拉取通信系统数据并直接同步至Hive，或，通过HTTP接口被动接收通信系统数据并存储到消息中间件，再通过ZEUS工具将消息中间件中的通信系统数据同步至Hive；将不同类型的通信系统数据分别存储到Hive中不同的表中；通过Spark对Hive中的通信系统数据进行分布式计算处理。本发明专利技术采用分布式非关系型数据库和分布式计算框架，突破常规关系型数据库的同步、存储和数据处理瓶颈，可以轻松应对几个千万级别表的关联查询及其他运算，提升了在海量数据的场景下系统的处理能力和效率。

Communication data synchronization and processing method and system

【技术实现步骤摘要】
通信数据同步及处理方法和系统
本专利技术属于大数据
，尤其涉及一种通信数据同步及处理方法和系统。
技术介绍
在当前的通信领域，通信系统每时每刻都在产生大量的通信数据，特别是拥有呼叫中心系统的企业，每天产生的通信数据是巨大的。例如话务记录、短信记录等。这就对后续数据处理带来很大的挑战。常规关系型数据库在达到千万级别记录时，查询性能就开始大幅下降，严重影响了调用方的使用效率，在同步、存储和数据处理方面均存在瓶颈。
技术实现思路
本专利技术要解决的技术问题是为了克服现有技术中使用关系型数据库在同步、存储和数据处理方面存在的瓶颈，提供一种通信数据同步及处理方法和系统。本专利技术是通过下述技术方案来解决上述技术问题：一种通信数据同步及处理方法，包括：通过Hadoop(一种分布式系统基础架构)的ZEUS工具(一种调度工具)主动拉取通信系统数据并直接同步至Hive(基于Hadoop的一个数据仓库)，或，通过HTTP接口被动接收通信系统数据并存储到消息中间件，再通过ZEUS工具将所述消息中间件中的通信系本文档来自技高网...

【技术保护点】
1.一种通信数据同步及处理方法，其特征在于，包括：/n通过Hadoop的ZEUS工具主动拉取通信系统数据并直接同步至Hive，或，通过HTTP接口被动接收通信系统数据并存储到消息中间件，再通过ZEUS工具将所述消息中间件中的通信系统数据同步至Hive；/n将不同类型的通信系统数据分别存储到Hive中不同的表中；/n通过Spark对Hive中的通信系统数据进行分布式计算处理，将处理结果保存至MySQL中。/n

【技术特征摘要】
1.一种通信数据同步及处理方法，其特征在于，包括：
通过Hadoop的ZEUS工具主动拉取通信系统数据并直接同步至Hive，或，通过HTTP接口被动接收通信系统数据并存储到消息中间件，再通过ZEUS工具将所述消息中间件中的通信系统数据同步至Hive；
将不同类型的通信系统数据分别存储到Hive中不同的表中；
通过Spark对Hive中的通信系统数据进行分布式计算处理，将处理结果保存至MySQL中。


2.如权利要求1所述的通信数据同步及处理方法，其特征在于，Hive按时间进行分片存储。


3.如权利要求1所述的通信数据同步及处理方法，其特征在于，所述不同类型的通信系统数据至少包括中继类数据和业务类数据；Hive中不同的表至少包括用于存储所述中继类数据的中继记录表和用于存储所述业务类数据的业务记录表。


4.如权利要求1所述通信数据同步及处理方法，其特征在于，所述通信系统数据由呼叫中心系统产生。


5.一种通信数据同步及处理系统，其特征在于，包括...

【专利技术属性】
技术研发人员：唐炼锋，
申请(专利权)人：携程旅游信息技术上海有限公司，
类型：发明
国别省市：上海;31