【技术实现步骤摘要】
本专利技术涉及数据处理领域，特别是涉及一种海量数据的处理方法及处理装置。
技术介绍
在数据处理行业，需要处理的数据越来越多，数据文件越来越大。目前，针对海量数据的存取问题， 一般归结为以下2种方法1) 将海量数据纳入数据库进行管理；2) 将数据对象建立序列化存入普通的文件。在实现本专利技术的过程中，专利技术人发现现有技术中至少存在如下问题 方法1)是现在比较流行的海量数据管理方式，虽然数据库管理大文件海量数据有一定的优势，但由于该方法采用的是数据库来进行数据管理，对于海量数据来说，最大瓶颈是效率问题，对于效率要求比较高的系统来说，数据库无法满足高效的需求；而方法2)只能解决小数据量的问题，无法满足海量数据的存储需求。 所以，对大数据量文件的快速存取访问，越来越成为行业的技术瓶颈，而传统的通过I/O方式读写文件很难满足海量数据大文件的要求。
技术实现思路
为了解决上述问题，本专利技术的目的是提供一种海量数据的处理方法及处理 装置，以提高对海量数据的存取效率。为了实现上述目的，本专利技术提供了一种海量数据的处理方法，其中，包括 设置一数据文件及索引文件，所述数据文件用于...
【技术保护点】
一种海量数据的处理方法，其特征在于，包括： 设置一数据文件及索引文件，所述数据文件用于存储数据对象，所述数据文件包括至少一个文件数据块，所述数据文件中、每个文件数据块的长度相等；所述索引文件与所述数据文件相对应，所述索引文件包括所述数 据文件中存储的每个数据对象在所述数据文件中的地址偏移； 在将数据对象存入所述数据文件时，判断所述数据文件中、游标当前指向的文件数据块的剩余空间是否足够存储待存储的数据对象；如是，则将所述待存储的数据对象存入所述剩余空间，并在所述索引文 件中记录所述新存入数据对象的地址偏移；否则，在所述待存储的数据对象将所述剩余空间填满后，...
【技术特征摘要】
【专利技术属性】
技术研发人员：石清华，刘盛理，徐晋晖，
申请(专利权)人：北京四维图新科技股份有限公司，
类型：发明
国别省市：11[中国|北京]
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。