一种特大LOB数据高并发低延迟的更新访问方法技术

本发明专利技术提供了一种特大LOB数据高并发低延迟的更新访问方法，包括如下内容：1)创建用户表时，为每个LOB列创建至少一个HDFS文件,用于存储LOB数据；2)针对每个LOB列，创建一个SQL分区表；3)当LOB值小于等于预设的第一阀值时，分割成多行直接存储到SQL分区表中以及相关的元信息；当LOB值大于第一阀值时则存储到HDFS文件中，SQL分区表则用于保存LOB数据存储在HDFS文件中产生的元数据。本发明专利技术将分布式文件系统的高吞吐特性和分布式SQL表的低延迟以及ACID特性巧妙的结合起来，采用记录少量Delta数据以及SQL表常驻内存特性来提高更新的性能，并把耗时的操作比如I/O等从用户发起的事务中剥离出来。

【技术实现步骤摘要】
一种特大LOB数据高并发低延迟的更新访问方法
本专利技术属于分布式数据库
，尤其是涉及一种特大LOB数据高并发低延迟的更新访问方法。
技术介绍
数据库技术主要是指(1)关系型数据库，从早期的单机数据库(Oracle、MySQL)到分布式数据库,再到现在成为发展主流的HTAP数据库，即NewSQL数据库。(2)NoSQL数据库，比如：文档数据库(MongoDB)、XML数据库(BaseX)、RedisKey-Value数据库和图数据库等。LOB是关系型数据库中大对象字段类型，应用于数据量非常大的业务领域，如图像档案等半结构和非结构数据。LOB又分为BLOB和CLOB两种：(1)CLOB，即字符型大对象，与字符集相关适用于存储文档和大部头著作等文本型数据以及XML数据。(2)CLOB，即二进制大对象，适用于存储如图像音频等字节流数据。特大LOB数据包括两层含义：1.表中具体一行上某个LOB字段值巨大；2.LOB字段值本身不太大，但表中行数巨多从而LOB字段上总数据量巨大。以关系型数据库Oracle为例，其LOB数据支持ACID本文档来自技高网...

【技术保护点】
1.一种特大LOB数据高并发低延迟的更新访问方法，其特征在于，包括如下内容：/n1)创建用户表时，为每个LOB列创建至少一个HDFS文件,用于存储LOB数据；/n2)针对每个LOB列，创建一个SQL分区表；/n3)当LOB值小于等于预设的第一阀值时，分割成多行的LOB数据和相关元信息都直接存储到SQL分区表中；当LOB值大于第一阀值时则存储到HDFS文件中，SQL分区表则用于保存LOB数据存储在HDFS文件中产生的元数据；其中，/n针对插入的LOB数据写入HDFS文件后，其作为基准数据，后续的局部Update和Append操作只产生Delta数据并存储在SQL分区表中；对基准数据进行分片和编号...

【技术特征摘要】
1.一种特大LOB数据高并发低延迟的更新访问方法，其特征在于，包括如下内容：
1)创建用户表时，为每个LOB列创建至少一个HDFS文件,用于存储LOB数据；
2)针对每个LOB列，创建一个SQL分区表；
3)当LOB值小于等于预设的第一阀值时，分割成多行的LOB数据和相关元信息都直接存储到SQL分区表中；当LOB值大于第一阀值时则存储到HDFS文件中，SQL分区表则用于保存LOB数据存储在HDFS文件中产生的元数据；其中，
针对插入的LOB数据写入HDFS文件后，其作为基准数据，后续的局部Update和Append操作只产生Delta数据并存储在SQL分区表中；对基准数据进行分片和编号，SQL分区表通过编号记录对应分片的Delta数据，且数据在HDFS文件中是连续存储。


2.根据权利要求1所述的方法，其特征在于：所述SQL分区表的字段包括：data_inline字段，用于存储数据；flag字段，用于标记此记录是元数据、缓存数据或者Delta数据；COLUMNS系统表中data_inline_size字段值表示data_inline字段的大小。
当LOB值小于等于预设的第一阀值时，以data_inline_size字段值的大小为基准分割成多行直接存储到SQL分区表的data_inline字段中；
对基准数据以data_inline_size字段值的大小为基准进行分片和逻辑编号，Delta数据存储在data_inline字段中。


3.根据权利要求1所述的方法，其特征在于：当更新操作结束后，检测Delta数据是否过多，或者末尾片段追加数据是否过多，若超过预设的阈值后，产生一个Compact操作的任务请求，后台线程安排进行Compact操作。


4.根据权利要求1所述的方法，其特征在于：当SQL分区表的大小超过一定范围时，开启后台线程或进程，对LOB数据进行Co...

【专利技术属性】
技术研发人员：冀贤亮，王效忠，刘明，何振兴，苏锦佩，
申请(专利权)人：贵州易鲸捷信息技术有限公司，
类型：发明
国别省市：贵州;52