【技术实现步骤摘要】
一种基于大数据的分布式非结构化数据库关联查询方法
本专利技术涉及数据处理
，更具体的说，本专利技术涉及一种基于大数据的分布式非结构化数据库关联查询方法。
技术介绍
关系数据库，是建立在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据。现实世界中的各种实体以及实体之间的各种联系均用关系模型来表示。标准数据查询语言SQL就是一种基于关系数据库的语言，这种语言执行对关系数据库中数据的检索和操作。关系模型由关系数据结构、关系操作集合、关系完整性约束三部分组成。传统关系型数据库，涉及表与表之间的关联查询，可通过视图实现。但随着业务的快速增长，关系型数据库的瓶颈逐渐凸显，如：(1)数据量急剧增加，查询性能瓶颈严重；(2)传统关系型数据库查询瓶颈影响交易过程中的写入性能，急需考虑读写分离；(3)传统关系型数据库难以解决海量数据存储问题。
技术实现思路
为了克服现有技术的不足，本专利技术提供一种基于大数据的分布式非结构化数据库关联查询方法，该方法可实现结构化数据库与非结构化数据库的...
【技术保护点】
1.一种基于大数据的分布式非结构化数据库关联查询方法，其特征在于，该方法包括以下的步骤：/nS1、数据表的生成，结合业务需求，采用mapping设计多表关联的数据表实例，以获得多张数据表；/nS2、数据表监控，通过Ogg监控各数据表变化，以适应业务数据的实时变化；/nS3、数据同步，利用Ogg同步原理，实现Oracle数据库与kafka集群中多表增量数据的实时同步；/nS4、ETL处理及数据聚合，通过kafka集群，对步骤S3中经过数据同步的数据进行清洗及预处理，并聚合后落地存储至非结构化数据库中；/nS5、分片算法的选择，当数据达到Tb级别数据量时，通过结合查询场景设计分...
【技术特征摘要】
1.一种基于大数据的分布式非结构化数据库关联查询方法，其特征在于，该方法包括以下的步骤：
S1、数据表的生成，结合业务需求，采用mapping设计多表关联的数据表实例，以获得多张数据表；
S2、数据表监控，通过Ogg监控各数据表变化，以适应业务数据的实时变化；
S3、数据同步，利用Ogg同步原理，实现Oracle数据库与kafka集群中多表增量数据的实时同步；
S4、ETL处理及数据聚合，通过kafka集群，对步骤S3中经过数据同步的数据进行清洗及预处理，并聚合后落地存储至非结构化数据库中；
S5、分片算法的选择，当数据达到Tb级别数据量时，通过结合查询场景设计分片算法，实现数据的分布式海量存储。
2.根据权利要求1所述的一种基于大数据的分布式非结构化数据库关联查询方法，其特征在于，在所述的步骤S1中,所述的业务需求包括但不限于支付领域中的扫码预授权、聚合码、直连以及间联业务。
3.根据权利要求1所述的一种基于大数据的分布式非结构化数据库关联查询方法，其特征在于，在所述的步骤S1中：
在mapping设计多表关联的表实例时，需设计源端至目标端的落地规则，实现非结构化数据库关联查询表的实现原型。
4.根据权利要求3所述的一种基于大数据的分布式非结构化数据库关联查询方法，其特征在于，所述的落地规则包括但不限于分布式数据据库的数据分片键的设计和预先设置频繁查询的索引。
5.根据权利要求1所述一种基于大数据的分布式非结构化数据库关联查询方法，其特征在于，所述的步骤S5中，所述的查询场景包括但不限于：
第一场景，数据写入频繁且读取较少的场景，具体是指，写入的数据有1000万条以上，而读取的数据有1-2万条；
第二场景，数据读取频繁且写入较少的场景，具体是指，写入的数据有1-2万条,而读取的数据有1000万条以上。
6.根据权利要求5所述的一种基于大数据的分布式非结构化数据库关联查询方法，其特征在于，对于第一场景，采用hash分片算法，将指定的keyhash散列分布在不同的分布式非结构性数据库集群的节点上，在数据落地时将数据做到了平衡，提升写入性能。
7.根据权利要求5所述的一种基于大数据的分布式非结构化数据库关联查询方法，其特征在于，对于第二场景，采用range分片算法，以提升扫描和排序数据方面的性能。
...
【专利技术属性】
技术研发人员：刘跃红，曹浩，曾国江，郭倩，
申请(专利权)人：银盛支付服务股份有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。