超长字段数据读写性能优化方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术提供了一种超长字段数据读写性能优化方法、装置、电子设备和存储介质，该方法中，每个数据块的大小与数据页的存储容量相同，可以大幅度减少原始数据拆分得到的数据块的数量，建立了有效的数据块组织方式，保证多个数据块按正序地连续地存储到待写入的连续数据页中，多个数据块写入时，预先申请并占用多个待写入的连续数据页，通过线程池并行有序地将多个数据块写入对应的待写入的连续数据页，随着拆分的数据块的数量的减少和并行化的引入，可以极大地提升写入性能，读取原始数据时，寻找到起始的数据页的位置，后续仅需连续读取目标连续数据页（即多个连续数据页）即可完成原始数据的读取，极大地减少磁盘寻址时间，提升了读取性能。

【技术实现步骤摘要】

本专利技术涉及数据库的，尤其是涉及一种超长字段数据读写性能优化方法、装置、电子设备和存储介质。

技术介绍

1、postgressql数据库是一种开源、稳定、高效、应用广泛的通用数据库管理系统。postgressql数据库提供了一种toast存储方式，用来存储超长字段数据。

2、toast，全称为the oversized attribute storage technique，它会将长字段数据压缩或分散成多个物理行来存储，当存储的列值（即长字段数据）超过toast_tuple_threshold值（默认值为2kb）会触发toast存储，存储的列值会被分割成若干个数据块（chunk），单个数据块（chunk）最多toast_max_chunk_size 个byte（默认值为2048），分割得到的数据块均会保存在一个关联的toast表的不同数据页中。

3、目前，postgressql数据库中物理数据页的存储容量一般为8kb，在申请物理数据页时会比较需占用空间大小和可用数据页的剩余存储容量，选择第一个满足占用空间且未被占用的数据页。pos本文档来自技高网...

【技术保护点】

1.一种超长字段数据读写性能优化方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，基于所述原始数据的数据规模预先申请待写入的连续数据页，包括：

3.根据权利要求1所述的方法，其特征在于，使用线程池技术并行有序地将多个所述数据块写入所述待写入的连续数据页，包括：

4.根据权利要求1所述的方法，其特征在于，根据存储所述原始数据的起始的数据页的位置和所述原始数据的数据规模读取目标连续数据页存储的多个所述数据块，包括：

5.根据权利要求1所述的方法，其特征在于，所述原始数据的容量大于所述数据页的存储容量。>

6.根据权利...

【技术特征摘要】

1.一种超长字段数据读写性能优化方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，基于所述原始数据的数据规模预先申请待写入的连续数据页，包括：

3.根据权利要求1所述的方法，其特征在于，使用线程池技术并行有序地将多个所述数据块写入所述待写入的连续数据页，包括：

4.根据权利要求1所述的方法，其特征在于，根据存储所述原始数据的起始的数据页的位置和所述原始数据的数据规模读取目标连续数据页存储的多个所述数据块，包括：

5.根据权利要求1所述的方法，其特征在于，所述原始数据的容量大于所述数据页的存储容量。

6.根据权利要求1所述的方...

【专利技术属性】
技术研发人员：王宇翔，徐鲲鹏，钱晓明，葛慧斌，路聚峰，沈磊，
申请(专利权)人：航天宏图信息技术股份有限公司，
类型：发明
国别省市：