一种海量数据异步存取处理方法、系统、装置和存储介质制造方法及图纸

本发明专利技术涉及数据的存取处理技术领域，具体涉及一种海量数据异步存取处理方法、系统、装置和存储介质，本发明专利技术根据存储单元的分布信息和哈希值对数据进行分流，并将分流信息记录到分流数据库中并存储，其中，哈希值通过数据的特征值进行哈希计算得到；分流数据库至少包括：分流后的数据和数据存储单元的地址，根据所述哈希值查找到相应的分流数据库并获取数据，本发明专利技术的技术方案在存储数据时通过哈希值的方式对数据进行分类，并确定数据的存储位置，在获取数据库时，采用哈希值的方式获取，本发明专利技术的方案摆脱了对于PostgreSQL的依赖，对于其他数据库本发明专利技术的方案也适用。其他数据库本发明专利技术的方案也适用。其他数据库本发明专利技术的方案也适用。

【技术实现步骤摘要】
一种海量数据异步存取处理方法、系统、装置和存储介质


[0001]本专利技术涉及数据的存取处理
，具体涉及一种海量数据异步存取处理方法、系统、装置和存储介质。

技术介绍

[0002]水的流动汇成江河大海，孕育生命，形成大自然生态。数据流动，推进社会进步，拓展业务边界。
[0003]目前，利用阿里云RDS PostgreSQL，HybridDB for PostgreSQL，海量对象存储OSS，打造一个从流计算到在线业务，再到数据分析和挖掘的业务，发挥数据的价值，在银行、证券交易、保险公司、游戏、电商等机构应用广泛。其中，实时数据写入采用RDS PostgreSQL，准实时数据写入采用HybridDB for PostgreSQL，但此方法需要使用定制版的PostgreSQL，无法拓展到其他类型的数据库中使用，若是在金融、政府等机构中，要求基于原系统的应用进行改造，改造成适用于Oracle数据库或者DB2数据库，这个时候就没发实现。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种海量数据异步存取处理方法、系统、装置和存储介质，以解决现有技术中原系统依赖PostgreSQL，在对其进行升级改造时，无法适用于其他数据库的技术问题。
[0005]根据本专利技术实施例的第一方面，提供一种海量数据异步存取处理方法，包括：
[0006]根据存储单元的分布信息和哈希值对数据进行分流，并将分流信息记录到分流数据库中并存储；其中，所述哈希值通过数据的特征值进行哈希计算得到；所述分流数据库至少包括：分流后的数据和数据存储单元的地址；
[0007]根据所述哈希值查找到相应的分流数据库并获取数据。
[0008]优选地，所述根据存储单元的分布信息和哈希值对数据进行分流并将分流信息记录到分流数据库中并存储，包括：
[0009]将结构化数据和非结构化数据进行分流后，需要将分流信息记录到分流数据库，并由异步线程推送至存储单元。
[0010]优选地，所述由异步线程推送至存储单元，包括：
[0011]结构化数据通过异步线程推送至存储单元集群中的Write数据库；
[0012]或者，非结构化数据通过异步线程推送至FIFO队列并按照分流规则存储在不同的存储单元。
[0013]优选地，所述结构化数据通过异步线程推送至存储单元集群中的Write数据库之后，包括：
[0014]数据自动将Write数据库中的内容同步至Read数据库。
[0015]优选地，所述根据所述哈希值查找到相应的分流数据库并获取数据，包括：
[0016]若获取的数据为结构化数据，根据获取数据的哈希值在分流数据库的缓存集群Redis中查找，若有，则查找结束；若无，则在所述存储单元集群中的Read数据库中查找；
[0017]若获取的数据为非结构化数据，根据获取数据的哈希值在分流数据库中找到所述数据存储单元的地址并获取。
[0018]优选地，所述分流数据库为本地数据库，且为关系型数据库。
[0019]根据本专利技术实施例的第二方面，提供一种海量数据异步存取处理方法系统，包括：
[0020]数据存储模块，用于根据存储单元的分布信息和哈希值对数据进行分流，并将分流信息记录到分流数据库中并存储；其中，所述哈希值通过数据的特征值进行哈希计算得到；所述分流数据库至少包括：分流后的数据和数据存储单元的地址；
[0021]数据获取模块，用于根据所述哈希值查找到相应的分流数据库并获取数据。
[0022]优选地，所述系统的处理终端为WEB应用或作为SDK嵌入式供第三方软件调用。
[0023]根据本专利技术实施例的第三方面，提供一种执行海量数据异步存取处理装置，包括上述的方法。
[0024]根据本专利技术实施例的第四方面，提供一种计算机可读存储介质，其上存储有可擦写的计算机程序；
[0025]当所述计算机程序在计算机设备上运行时，使得所述计算机设备执行上述的方法。
[0026]本专利技术的实施例提供的技术方案可以包括以下有益效果：
[0027]本专利技术根据存储单元的分布信息和哈希值对数据进行分流，并将分流信息记录到分流数据库中并存储，其中，哈希值通过数据的特征值进行哈希计算得到；分流数据库至少包括：分流后的数据和数据存储单元的地址，根据所述哈希值查找到相应的分流数据库并获取数据，本专利技术的技术方案在存储数据时通过哈希值的方式对数据进行分类，并确定数据的存储位置，在获取数据库时，采用哈希值的方式获取，本专利技术的方案摆脱了对于PostgreSQL的依赖，对于其他数据库本专利技术的方案也适用。
[0028]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术。
附图说明
[0029]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。
[0030]图1是根据一示例性实施例示出的一种海量数据异步存取处理方法的流程图；
[0031]图2是根据一示例性实施例示出的一种海量数据异步存取处理系统图。
具体实施方式
[0032]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本专利技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本专利技术的一些方面相一致的装置和方法的例子。
[0033]实施例一
[0034]在一个实施例中，请参阅图1，图1是根据一示例性实施例示出的一种海量数据异步存取处理流程图，如图1所示，该方法包括：
[0035]S01、根据存储单元的分布信息和哈希值对数据进行分流，并将分流信息记录到分流数据库中并存储；其中，所述哈希值通过数据的特征值进行哈希计算得到；所述分流数据库至少包括：分流后的数据和数据存储单元的地址；
[0036]S02、根据所述哈希值查找到相应的分流数据库并获取数据。
[0037]需要说明的是，本实施例提供的技术方案适用的应用场景为银行、证券公司、保险公司、物联网、互联网、电商等原系统使用PostgreSQL，后期需要进行升级改造为其他数据库(Oracle数据库、DB2数据库)的场合。
[0038]需要说明的是，本实施例提供的技术方案，根据存储单元的分布信息和哈希值对数据进行分流，并将分流信息记录到分流数据库中并存储，其中，哈希值通过数据的特征值进行哈希计算得到；分流数据库至少包括：分流后的数据和数据存储单元的地址，根据所述哈希值查找到相应的分流数据库并获取数据，本专利技术的技术方案在存储数据时通过哈希值的方式对数据进行分类，并确定数据的存储位置，在获取数据库时，采用哈希值的方式获取，本专利技术的方案摆脱了对于PostgreSQL的依赖，对于其他数据库本专利技术的方案也适用。
[0039]需要说明的是，存储单元的分布信息指本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种海量数据异步存取处理方法，其特征在于，包括：根据存储单元的分布信息和哈希值对数据进行分流，并将分流信息记录到分流数据库中并存储；其中，所述哈希值通过数据的特征值进行哈希计算得到；所述分流数据库至少包括：分流后的数据和数据存储单元的地址；根据所述哈希值查找到相应的分流数据库并获取数据。2.根据权利要求1所述的方法，其特征在于，所述根据存储单元的分布信息和哈希值对数据进行分流并将分流信息记录到分流数据库中并存储，包括：将结构化数据和非结构化数据进行分流后，需要将分流信息记录到分流数据库，并由异步线程推送至存储单元。3.根据权利要求2所述的方法，其特征在于，所述由异步线程推送至存储单元，包括：结构化数据通过异步线程推送至存储单元集群中的Write数据库；或者，非结构化数据通过异步线程推送至FIFO队列并按照分流规则存储在不同的存储单元。4.根据权利要求3所述的方法，其特征在于，所述结构化数据通过异步线程推送至存储单元集群中的Write数据库之后，包括：数据自动将Write数据库中的内容同步至Read数据库。5.根据权利要求3所述的方法，其特征在于，所述根据所述哈希值查找到相应的分流数据库并获取数据，包括：若获取的数据为结构化数据，根据获取数据的哈希值在分流数据库的...

【专利技术属性】
技术研发人员：肖云鹤，刘亚军，贺欢庆，代庆国，
申请(专利权)人：北京信格科技有限公司，
类型：发明
国别省市：