本申请提供了一种数据写入方法及装置、数据读取方法及装置，其中，数据写入方法包括：对包含多条第一数据记录的待写入数据进行分块，待写入数据为依据各条第一数据记录的序号对多条第一数据记录进行排序后得到的数据，分块的数量小于待写入数据中第一数据记录的条数；针对数据块中的目标数据块，对目标数据块进行数据压缩，将目标数据块中第一数据记录的最大序号和最小序号以及压缩后的数据作为第二数据记录写入数据库服务器的数据表中，直至待写入数据的第一数据记录全部写入所述数据库服务器的数据表中。本申请提高了数据存储速度，并且节省了数据库服务器的存储空间。
【技术实现步骤摘要】
【专利摘要】本申请提供了一种数据写入方法及装置、数据读取方法及装置，其中，数据写入方法包括：对包含多条第一数据记录的待写入数据进行分块，待写入数据为依据各条第一数据记录的序号对多条第一数据记录进行排序后得到的数据，分块的数量小于待写入数据中第一数据记录的条数；针对数据块中的目标数据块，对目标数据块进行数据压缩，将目标数据块中第一数据记录的最大序号和最小序号以及压缩后的数据作为第二数据记录写入数据库服务器的数据表中，直至待写入数据的第一数据记录全部写入所述数据库服务器的数据表中。本申请提高了数据存储速度，并且节省了数据库服务器的存储空间。【专利说明】一种数据写入方法及装置、数据读取方法及装置
本专利技术涉及数据处理
，尤其涉及一种数据写入方法及装置、数据读取方 法及装置。
技术介绍
数据分析应用系统是指对生产交易等各类业务数据进行加工运算、汇总、筛选等 操作的软件平台。数据分析应用系统通过加载数据库中的原始数据，并经过一系列数据操 作得到结果数据，然后将结果数据存储到结果数据库中的数据表中，即，全部结果数据都将 从数据分析应用系统所在的应用服务器传输到结果数据库所在的数据库服务器上。现有技术中，结果数据是逐条写入数据库服务器中的数据表的。专利技术人在实现本 专利技术创造的过程中发现:由于结果数据的数据量很大，即，结果数据包括很多条数据记录， 逐条写入数据记录将导致结果数据的存储耗时很长。
技术实现思路
有鉴于此，本专利技术提供了一种写入方法及装置、数据读取方法及装置，用以解决现 有技术中逐条写入数据记录将导致结果数据的存储耗时很长的问题，其技术方案如下:一种数据写入方法，包括:对包含多条第一数据记录的待写入数据进行分块，所述待写入数据为依据各条第 一数据记录的序号对所述多条第一数据记录进行排序后得到的数据，所述分块的数量小于 所述待写入数据中第一数据记录的条数；针对数据块中的目标数据块，对所述目标数据块进行数据压缩，将所述目标数据 块中第一数据记录的最大序号和最小序号以及压缩后的数据作为第二数据记录写入数据 库服务器的数据表中，直至所述待写入数据的第一数据记录全部写入所述数据库服务器的 数据表中。可选的，上述数据写入方法还可以包括:判断所述待写入数据所包含的多条第一数据记录是否依据所述各条第一数据记 录的序号进行排序；如果否，则依据所述各条第一数据记录的序号按从小到大，或者从大到小的顺序 进行排序。其中，对包含多条第一数据记录的待写入数据进行分块，包括:确定所述待写入数据中第一数据记录的总条数M ;基于所述待写入数据中第一数据记录的总条数M，以及预先设定的每个数据块所 包含第一数据记录的最大条数S，对所述待写入数据进行分块，使分块后的每个数据块中的 第一数据记录的条数小于或等于S，其中，M和S均为大于0的整数。一种数据读取方法，包括:获取待读取第一数据记录的序号；基于所述待读取第一数据记录的序号以及数据库服务器存储的数据表的第二数 据记录中，第一数据记录的最大序号和最小序号确定所述待读取第一数据记录所属的第二 数据记录；对确定出的第二数据记录中的压缩数据进行解压；基于所述待读取第一数据记录的序号在解压后得到的第一数据记录中查找所述 待读取第一数据记录；在查找到所述第一数据记录后，读取所述待读取第一数据记录。其中，基于所述待读取第一数据记录的序号以及数据库服务器存储的数据表的第 二数据记录中，第一数据记录的最大序号和最小序号确定所述待读取第一数据记录所属的 第二数据记录，包括:在所述数据表中的第二数据记录中查找第一数据记录的最小序号小于或等于所 述待读取第一数据记录的序号，并且第一数据记录的最大序号大于或等于所述待读取第一 数据记录的序号的第二数据记录，确定该第二数据记录为所述待读取第一数据记录所属的 第二数据记录。一种数据写入装置，包括:数据分块模块，用于对包含多条第一数据记录的待写入数据进行分块，所述待写 入数据为依据各条第一数据记录的序号对所述多条第一数据记录进行排序后的数据，所述 分块的数量小于所述待写入数据中第一数据记录的条数；数据压缩模块，用于针对数据块中的目标数据块，对所述目标数据块进行数据压 缩；数据写入模块，用于将所述目标数据块中第一数据记录的最大序号和最小序号以 及压缩后的数据作为第二数据记录写入数据库服务器的数据表中，直至所述待写入数据的 第一数据记录全部写入所述数据库服务器的数据表中。可选的，上述的数据写入装置还包括:判断模块，用于判断所述待写入数据所包含的多条第一数据记录是否依据所述各 条第一数据记录的序号进行排序；排序模块，用于当所述待写入数据所包含的多条第一数据记录未依据所述各条第 一数据记录的序号进行排序时，依据所述各条第一数据记录的序号按从小到大，或者从大 到小的顺序进行排序。其中，所述数据分块模块包括:第一确定子模块，用于确定所述待写入数据中第一数据记录的总条数M ;分块子模块，用于基于所述待写入数据中第一数据记录的总条数M，以及预先设定 的每个数据块所包含第一数据记录的最大条数S，对所述待写入数据进行分块，使分块后的 每个数据块中的第一数据记录的条数小于或等于S，其中，M和S均为大于0的整数。一种数据读取装置，包括:获取模块，用于获取待读取第一数据记录的序号；确定模块，用于基于所述待读取第一数据记录的序号以及数据库服务器存储的数 据表的第二数据记录中，第一数据记录的最大序号和最小序号确定所述待读取第一数据记 录所属的第二数据记录；解压模块，用于对确定出的第二数据记录中的压缩数据进行解压；查找模块，用于基于所述待读取第一数据记录的序号在解压后得到的第一数据记 录中查找所述待读取第一数据记录；读取模块，用于在查找到所述第一数据记录后，读取所述待读取第一数据记录。其中，所述确定模块包括:查找子模块，用于在所述数据表中的第二数据记录中查找第一数据记录的最小序 号小于或等于所述待读取第一数据记录的序号，并且第一数据记录的最大序号大于或等于 所述待读取第一数据记录的序号的第二数据记录；第二确定子模块，用于确定所述查找模块查找到的第二数据记录为所述待读取第 一数据记录所属的第二数据记录。上述技术方案具有如下有益效果:本专利技术提供的数据写入方法及装置、数据读取方法及装置中，在写入数据时，首先 将待写入数据进行分块，然后对每个数据块进行压缩，最后将压缩后的数据写入数据库服 务器中的数据表中，在读取数据时，首先确定待读取第一数据记录在数据库服务器的数据 表中的位置，即确定待读取第一数据记录在数据表中的哪条第二数据记录中，确定出待读 取第一数据记录所属的第二数据记录后，对第二数据记录中的压缩数据进行解压，基于待 读取第一数据记录的序号在解压后的数据中查找待读取第一数据记录，并读取待读取第一 数据记录。本专利技术提供的数据写入方法及装置一次可写入多条数据记录，与现有技术中逐 条写入数据记录的方式相比，数据存储速度大大提高，另外，由于数据记录进行了压缩，因 此，节省了数据库服务器的存储空间；本专利技术提供的数据读取方法及装置能迅速从数据表 中查找到待读取第一数据记录并读取，数据读取速度较快。【专利附图】【附图说明】为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现 有本文档来自技高网...
【技术保护点】
一种数据写入方法，其特征在于，包括：对包含多条第一数据记录的待写入数据进行分块，所述待写入数据为依据各条第一数据记录的序号对所述多条第一数据记录进行排序后得到的数据，所述分块的数量小于所述待写入数据中第一数据记录的条数；针对数据块中的目标数据块，对所述目标数据块进行数据压缩，将所述目标数据块中第一数据记录的最大序号和最小序号以及压缩后的数据作为第二数据记录写入数据库服务器的数据表中，直至所述待写入数据的第一数据记录全部写入所述数据库服务器的数据表中。
【技术特征摘要】
【专利技术属性】
技术研发人员：陈宏仁，张毅，钱运辉，王培勇，
申请(专利权)人：税友软件集团股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。