【技术实现步骤摘要】
基于光盘的数据库的数据外部存储系统及数据存储方法
本专利技术涉及一种数据存储系统及数据存储方法,特别是涉及一种数据库的数据外部存储系统及数据存储方法。
技术介绍
随着互联网和信息技术的发展,数据呈几何级数增长。随处可见越积越多的各种格式的数据和电子文挡,信息社会跨入大数据时代。要充分利用大数据,首先是要长期保存大数据,其次是以有效且快捷的方式从大数据中找到所需要的信息。保存、查找和利用大数据,涉及数据结构、数据格式、数据库、存储介质。数据包括结构化数据、半结构化数据和非结构化数据;数据格式成千上万种;数据库有关系型数据库和非结构化数据库;存储介质有磁(磁盘、磁带)、光(光盘)、电(固态硬盘、U盘等)。对于需要长期保存的数据,均不适于采用磁存储和电存储保存。光盘可长期保存数据,存储量大、节能、环保、费用低、安全性高,但面临的问题是如何有效利用保存在光盘上的数据,也就是如何对光盘上的数据和文件内容进行全文检索;另一个问题是,尽管蓝光光盘的容量已达到25GB-100GB,但与磁存储和电存储的存储容量相比,仍有很大的差距,因此,需要用大量的光盘分散保存磁存储介质和电存储介 ...
【技术保护点】
一种基于光盘的数据库的数据外部存储系统,包括服务器(server),与服务器数据连接的磁盘存储装置(diskstorage)和光盘存储装置(optistorage),其特征在于:所述服务器(server)上设置数据库管理系统(dm),外部存储管理系统(es),应用程序接口(ASE),扩展服务器(ese),磁盘存储装置(diskstorage)和光盘存储装置(optistorage)上分别设置对应的数据库(db、db1)和数据库外部存储区(esa、esa1),数据库(db、db1)中记录的部分字段数据对应存储在数据库外部存储区(esa、esa1)中,其中:数据库管理系统(dm ...
【技术特征摘要】
1.一种基于光盘的数据库的数据外部存储系统,包括服务器(server),与服务器数据连接的磁盘存储装置(diskstorage)和光盘存储装置(optistorage),其特征在于:所述服务器(server)上设置数据库管理系统(dm),外部存储管理系统(es),应用程序接口(ASE),扩展服务器(ese),磁盘存储装置(diskstorage)和光盘存储装置(optistorage)上分别设置对应的数据库(db、db1)和数据库外部存储区(esa、esa1),数据库(db、db1)中记录的部分字段数据对应存储在数据库外部存储区(esa、esa1)中,其中:数据库管理系统(dm)用于响应数据请求,完成存储装置中数据库管理和数据管理;外部存储管理系统(es)用于响应数据请求,完成存储装置中数据库外部存储区(esa、esa1)管理和数据管理;应用程序接口(ASE)用于获取数据库外部存储数据的信息,完成存储装置的数据库外部存储;扩展服务器(ese)用于建立数据库外部存储区(esa、esa1),确定数据库外部存储数据在外部存储区(esa、esa1)中的位置;所述数据库管理系统(dm)包括字段结构生成模块(u1),记录索引生成模块(u2),存储空间分配模块(u3),存储空间状态模块(u4),记录链接模块(u5),记录拆分模块(u6),光盘建库与录入模块(u7),库结构生成模块(u8),记录合并模块(u9),外部存储结构生成模块(u10),其中:字段结构生成模块(u1),读取数据库中每一条记录的字段结构信息,包括记录中各字段的数据类型、长度,并写入数据库文件或数据库管理系统(dm)中;记录索引生成模块(u2),记录数据库中每一条记录的索引信息,包括记录中各字段的修改时间、修改内容,并写入数据库文件或数据库管理系统(dm)中;存储空间分配模块(u3),记录为每一条记录所分配的标准存储单元在数据库文件中的位置信息,并写入数据库文件或数据库管理系统(dm)中;存储空间状态模块(u4),记录数据库文件中已分配标准存储单元中未使用的空间信息,并写入数据库文件或数据库管理系统(dm)中;记录链接模块(u5),将数据库中各记录的字段结构信息、索引信息、标准存储单元的位置信息和空间信息合并,形成数据库特征数据,并写入数据库文件或数据库管理系统(dm)中;记录拆分模块(u6),根据数据库管理系统(dm)指令进行数据库中记录拆分,数据拆分以记录为单位进行,读取数据库特征数据,确定记录中每个字段的数据位置和数据量,标记出符合指令参数的记录,并将标记信息写入数据库文件或数据库管理系统(dm)中;光盘建库与录入模块(u7),用于在光盘(bd)上建立数据库文件,并将数据直接录入到光盘(bd)上的数据库,并通过数据库管理系统(dm)生成对应记录的字段结构信息、索引信息,记录标准存储单元位置信息和空间信息,形成光盘上的数据库特征数据;库结构生成模块(u8),将数据库的库结构形成独立数据;数据库管理系统(dm)根据独立数据在光盘上建立相同库结构的子数据库(db1);记录合并模块(u9),根据数据库管理系统(dm)指令,将光盘上子数据库(db1)中的记录合并到磁盘存储装置(diskstorage)上的磁盘数据库(db)中,并通过数据库管理系统(dm)生成对应记录的字段结构信息、索引信息,以及记录标准存储单元位置信息和空间信息,形成磁盘数据库(db)的数据库特征数据;外部存储结构生成模块(u10);根据从应用程序接口(ASE)接收到的数据库外部存储数据的信息,将外部存储数据的字段信息写入数据库文件或数据库管理系统(dm)中;所述外部存储管理系统(es)包括外部存储数据管理模块(u11),用于根据应用程序接口(ASE)指令,对外部存储字段进行配置,并对外部存储行为进行管理;应用程序接口(ASE)包括外部存储数据移出模块(u12),外部存储数据存储模块(u13),其中:外部存储数据移出模块(u12),根据应用程序接口(ASE)指令,将外部存储数据从记录中移出;外部存储数据存储模块(u13),根据应用程序接口(ASE)指令,将外部存储数据写入由扩展服务器(ese)指定的外部存储区中的子目录;扩展服务器(ese)包括外部存储区建立模块(u14),外部存储数据位置管理模块(u15),其中:外部存储区建立模块(u14),根据扩展服务器(ese)指令,在磁盘存储器建立数据库外部存储区;外部存储数据位置管理模块(u15),记录为每一条记录的外部存储数据所分配的标准存储单元在磁盘存储器的外部存储区中的位置信息,并写入扩展服务器(ese)中;所述扩展服务器(ese)还包括光盘外部存储区建立模块(u16),外部存储数据光盘位置管理模块(u17),外部存储数据合并模块(u18),其中:光盘外部存储区建立模块(u16),根据扩展服务器(ese)指令,在光盘(bd)上建立相应子数据库(db1)的数据库外部存储区(esa1);外部存储数据光盘位置管理模块(u17),用于将外部存储区中与光盘容量匹配的外部存储数据写入扩展服务器(ese)在光盘(bd)上建立的数据库外部存储区的子目录下,并通过扩展服务器(ese)生成对应记录的外部存储数据的存储单元在光盘(bd)上的位置信息和空间信息;外部存储数据合并模块(u18),根据扩展服务器(ese)指令,将光盘上外部存储区子目录下的数据存储在磁盘存储装置(diskstorage)上外部存储区子目录下。2.根据权利要求1所述的基于光盘的数据库的数据外部存储系统,完成数据库数据和数据库外部存储数据在磁盘存储装置中进行数据存储的主要步骤包括:数据前向转移时:数据库管理系统(dm)调用应用程序接口(ASE)向扩展服务器(ese)发出建立外部存储区(esa)的请求,扩展服务器(ese)在存储装置上建立相应参数的外部存储区(esa),相应参数中包括容量、目录结构、存储位置等物理拓扑信息;数据库管理系统(dm)通过外部存储管理系统(es)管理外部存储区(esa)中外部存储数据的字段信息;数据库管理系统(dm)向数据库中写入被修改的不包含外部存储数据的记录;数据库管理系统(dm)调用应用程序接口(ASE)向相应数据库的外部存储区(esa)写入外部存储数据;数据后向转移时:数据库管理系统(dm)调用应用程序接口(ASE)向扩展服务器(ese)发出字段信息的请求,扩展服务器(ese)返回外部存储区(esa)中相应数据库的字段信息;数据库管理系统(dm)获得数据库中从记录中移出的外部存储数据的字段信息,将该字段的外部存储数据与数据库中的相应记录的字段粘贴,获得完整的(数据库)记录;数据库管理系统(dm)通过外部存储管理系统(es)更新外部存储区(esa)中外部存储数据的字段信息。3.根据权利要求1所述的基于光盘的数据库的数据外部存储系统,在光盘上直接建立数据库和外部存储数据的主要步骤包括:步骤110,数据库管理系统(dm)获取光盘存储介质的容量参数;步骤115,通过库结构生成模块(u8)在光盘上建立数据库文件;步骤120,通过光盘建立外部存储区模块(u16)在光盘上建立相应数据库的外部存储区;步骤125,通过外部存储数据光盘位置管理模块(u17)在光盘上的外部存储区建立相应数据库的子目录;步骤130,通过光盘建库与录入模块(u7)向光盘上数据库文件中增加记录;步骤135,通过字段结构生成模块(u1)生成记录的字段结构信息;步骤140,通过记录索引生成模块(u2)生成记录的索引信息;步骤145,通过存储空间分配模块(u3)记录标准存储单元位置信息;步骤150,通过存储空间状态模块(u4)记录标准存储单元的空间信息;步骤155,通过外部存储数据移出模块(u12)获得从记录中移出的外部存储数据的信息;步骤160,通过外部存储数据存储模块...
【专利技术属性】
技术研发人员:练子川,练亚纯,陶光毅,
申请(专利权)人:广东绿源巢信息科技有限公司,
类型:发明
国别省市:广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。