JDBC制造技术

本申请涉及金融科技领域，公开了一种

【技术实现步骤摘要】
JDBC层数据的存储方法、系统、装置、设备及介质


[0001]本申请涉及数据库及金融科技
，尤其涉及一种
JDBC
层数据的存储方法
、
系统
、
装置
、
设备及介质
。

技术介绍

[0002]当今的数据处理主要集中于空间占用，单次查询量
、
降低
IO
频次等
。
由于开发者水平不一，导致数据的使用和管理不能得到一致性较好解决
。
目前，对于量大的查询，习惯性会采用语言内置的存储结构进行存储
。
而原生内置的存储结构在存储上并未考虑数据对内存的占用以及
IO
使用次数
。
大量数据查询时必然会多次使用
IO
来获取数据，严重时可能带来内存溢出的风险
。
[0003]虽然有着一些优秀数据处理程序的出现，但这些程序并未从源头解决问题，而是从使用层和通讯层来解决问题，但本质上都是使用原生内置的数据结构，因此依然还是避免不了大量数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种
JDBC
层数据的存储方法，其特征在于，所述方法包括：响应待查询语句，从数据库中读取数据；对从数据库中读取到的目标数据进行拦截；若检测到数据读取完成，则断开与数据库的连接；若读取到的目标数据的数据总量超过第一数量阈值，则对所述目标数据进行压缩重组后
、
以可供应用层使用的存储形式存储
。2.
根据权利要求1所述的方法，其特征在于，在断开与数据库的连接之前，所述方法还包括：对拦截到的目标数据进行初步分析，得到初步分析结果，其中，所述初步分析结果用于指示所述目标数据中是否存在可压缩数据和
/
或重复数据；所述对所述目标数据进行压缩重组后
、
以可供应用层使用的存储形式存储，包括：根据所述目标数据的字节序和所述初步分析结果，对所述目标数据的关键属性进行分析，确定所述目标数据中可高效压缩的数据
、
可普通压缩的数据
、
不可压缩的数据，其中，所述关键属性包括数据是否重复
、
顺序数据的正反顺序
、
数据相似度；对所述目标数据中可高效压缩的数据进行第一数据处理后进行压缩保存，并记录第一数据处理详情，其中，所述第一数据处理包括合并
、
去重
、
拆分重组
、
数据类型转换中的至少一种；对所述目标数据中可普通压缩的数据进行压缩保存
。3.
根据权利要求2所述的方法，其特征在于，所述可高效压缩的数据包括高相似度数据
、
重复数据
、
特殊类型数据和顺序数据；所述对所述目标数据中可高效压缩的数据进行第一数据处理后进行压缩保存，并记录第一数据处理详情，包括：记录高相似度数据中行数据相同的重复行号
、
列数据相同的重复列号以及字段类型，对所述高相似度数据去重
、
合并
、
重组后对不重复数据进行压缩存储；记录重复数据中值相同的重复数据的行号和列号以及字段类型，对所述重复数据去重
、
合并
、
重组后对不重复数据进行压缩存储；将特殊类型数据转换为占用内存更小的其他数据类型数据后存储；记录顺序数据的起始值
、
终止值和长度后进行重组保存，将重组保存后的数据以
List
结构或
ZipList
结构进行保存
。4.
根据权利要求1所述的方法，其特征在于，若检测到数据读取完成，则断开与数据库的连接，包括：统计响应所述待查询语句之后获取到的目标数据的累计数据量；若所述累计数据量超过第二数量阈值，则判定数据读取完成，断开与...

【专利技术属性】
技术研发人员：杜杨，
申请(专利权)人：平安银行股份有限公司，
类型：发明
国别省市：