一种海量开票数据实时存储和大规模并行访问方法及系统技术方案

本发明专利技术公开了一种海量开票数据实时存储和大规模并行访问方法及系统，所述方法包括获取MySQL数据库中海量开票数据；根据Canal实时同步所述海量开票数据至crateDB数据库；通过所述crateDB数据库实现所述海量开票数据实时存储、相关发票查询、明细导出等高并行访问。本发明专利技术所公开的方法，使用crateDB数据库集群提高了数据存储量，支持大规模并行访问快速查询，与开票系统代码的兼容性强；使用Canal既能确保数据的一致性、及时性，也能做到代码无侵入的方式；配合Zookeeper集群，开启多个Canal的server端、client端，支持高可用部署，提升了服务的稳定性；所述发明专利技术能够满足云开票系统存储海量数据和高并行访问并且实时数据查询的需求。

【技术实现步骤摘要】
一种海量开票数据实时存储和大规模并行访问方法及系统
本专利技术涉及数据存储和访问领域，更具体地，涉及一种海量开票数据实时存储和大规模并行访问方法及系统。
技术介绍
随着互联网技术的高速发展，越来越多的业务采用云处理的方式进行。目前，云开票系统中的用户和开票量十分庞大，开票系统中需要保存大量的客户信息、商品信息，还要实现海量发票数据实时存储，并支持大规模并行访问快速查询。现在的系统中多使用传统的数据库比如MySQL，虽然有性能卓越、服务稳定、支持多种开发语言等特点，但是随着数据量的快速增长，从GB到TB到PB，对数据的各种操作也是愈加的困难，无法满足快速查询与插入数据的需求。后来出现的noSQL数据库，放弃了传统SQL的强事务保证和关系模型，重点放在数据库的高可用性和可扩展性，不保证强一致性，对于普通应用没问题，但还是有不少像金融一样的企业级应用有强一致性的需求，而且noSQL不支持SQL语句，代码的兼容性是个大问题，不同的noSQL数据库都有自己的api操作数据，比较复杂。因此，如何实现海量发票数据实时存储，并支持大规模并行访问本文档来自技高网...

【技术保护点】
1.一种海量开票数据实时存储和大规模并行访问方法，其特征在于，所述方法包括：/n获取MySQL数据库中所述海量开票数据；/n根据Canal实时同步所述海量开票数据至crateDB数据库；/n通过所述crateDB数据库实现所述海量开票数据实时存储和大规模并行访问。/n

【技术特征摘要】
1.一种海量开票数据实时存储和大规模并行访问方法，其特征在于，所述方法包括：
获取MySQL数据库中所述海量开票数据；
根据Canal实时同步所述海量开票数据至crateDB数据库；
通过所述crateDB数据库实现所述海量开票数据实时存储和大规模并行访问。


2.根据权利要求1所述的方法，其特征在于，所述获取MySQL数据库中的海量开票数据包括：
通过监听MySQL的binlog日志获取所述海量开票数据。


3.根据权利要求1所述的方法，其特征在于，在获取MySQL数据库中所述海量开票数据前还包括：
建立Zookeeper集群，所述Canal在所述Zookeeper集群下运行。


4.根据权利要求3所述的方法，其特征在于：
包括M个所述Canal、N个所述crateDB数据库；所述M、N为正整数。


5.根据权利要求1所述的方法，其特征在于，在获取MySQL数据库中所述海量开票数据之后，根据Canal实时同步所述海量开票数据至crateDB数据库前，还包括：
通过所述Canal对所述海量开票数据进行清洗、转换以及聚合。


6.一种海量开票数据实时存储和大规模并行访问系统，其特征在于，所述系统包括：
数据获取单元，所述数据获取单元一...

【专利技术属性】
技术研发人员：王东，戴晓栋，何凯，赵国庆，董志勇，龚永浩，尹春天，
申请(专利权)人：航天信息股份有限公司，
类型：发明
国别省市：北京;11