数据读取、写入方法和装置及数据存储结构制造方法及图纸

本发明专利技术提供一种数据读取、写入方法和装置及数据存储结构，包括步骤：获取数据块的地址号；根据地址号和数据索引，获取数据索引中的索引内容；根据数据块全局页号以及硬盘数量，获取数据块的硬盘盘号以及数据块局部页号；根据数据块页数、硬盘盘号以及数据块局部页号，提交数据块的异步读取请求；以及根据异步读取请求，操作系统读取数据块后，回调到相应的处理流程中；其中硬盘以硬盘的物理页面进行分页处理，以形成包括至少一个硬盘的物理页面的硬盘的存储页面；每一存储页面对应一数据块。本发明专利技术的数据读取、写入方法和装置及数据存储结构可通过数据索引获取相应的数据块的位置，且每一存储页面仅对应一数据块可加快数据块的读取以及写入操作。

【技术实现步骤摘要】
数据读取、写入方法和装置及数据存储结构
本专利技术涉及数据处理领域，特别是涉及一种数据读取、写入方法和装置及数据存储结构。
技术介绍
SSD(SolidStateDisk，固态硬盘)是一种基于闪存的存储设备，用固态电子存储芯片阵列而制成的硬盘，由控制单元和存储单元(FLASH芯片或DRAM(DynamicRandomAccessMemory，动态随机存取存储器)芯片)组成。SSD插到I/O总线上标准硬盘插槽中，处理来自CPU(CentralProcessingUnit，中央处理器)的读写逻辑磁盘块的请求。一个SSD包括一个或多个闪存芯片和闪存翻译层，闪存芯片替代传统磁盘中的机械驱动器，而闪存翻译层则是一个硬件/固件设备，与磁盘控制器的作用相同，将对逻辑块的请求翻译成对底层物理设备层的访问。如表1所示，目前SSD盘的顺序读操作(CPU按顺序访问逻辑磁盘块)和顺序写操作的性能相当。不过，当CPU按照随机顺序访问逻辑磁盘块时，写操作比读操作慢一个数量级。表1随机读操作和随机写操作的性能差别是由底层闪存基本属性决定的。如一个闪存由m个块的序列组成，每个块由n页组成。数据以页为单位进行读写操作本文档来自技高网...

【技术保护点】
一种数据读取方法，其特征在于，包括步骤：获取数据块的地址号；根据所述地址号和数据索引，获取所述数据索引中的索引内容，其中所述索引内容包括数据块页数以及数据块全局页号；根据所述数据块全局页号以及硬盘数量，获取所述数据块的硬盘盘号以及数据块局部页号；根据所述数据块页数、所述硬盘盘号以及所述数据块局部页号，提交数据块的异步读取请求；以及操作系统读取数据块后，根据所述异步读取请求，回调到相应的处理流程中；其中所述硬盘以所述硬盘的物理页面进行分页处理，以形成包括至少一个所述硬盘的物理页面的所述硬盘的存储页面；每一所述存储页面对应一所述数据块；根据所述数据块的存储页面生成所述数据块全局页号，根据所述数据块...

【技术特征摘要】
1.一种数据读取方法，其特征在于，包括步骤：获取数据块的地址号；根据所述地址号和数据索引，获取所述数据索引中的索引内容，其中所述索引内容包括数据块存储页数以及数据块全局存储页号；根据所述数据块全局存储页号以及硬盘数量，获取所述数据块的硬盘盘号以及数据块局部存储页号；其中数据块的硬盘盘号为数据块全局存储页号％硬盘数量；数据块局部存储页号为数据块全局存储页号/硬盘数量；根据所述数据块存储页数、所述硬盘盘号以及所述数据块局部存储页号，提交数据块的异步读取请求；以及操作系统读取数据块后，根据所述异步读取请求，回调到相应的处理流程中；其中所述硬盘以所述硬盘的物理页面进行分页处理，以形成包括至少一个所述硬盘的物理页面的所述硬盘的存储页面；每一所述存储页面对应一所述数据块；根据所述数据块的存储页面生成所述数据块全局存储页号，根据所述数据块的大小生成所述数据块存储页数；数据块的大小＝数据块存储页数*存储页面大小。2.根据权利要求1所述的数据读取方法，其特征在于，所述数据块的地址号和相应的索引内容以键-值的形式进行存储。3.根据权利要求1所述的数据读取方法，其特征在于，所述索引内容还包括用于判断是否存在与所述索引内容对应的硬盘数据的数据存在标识；所述获取所述数据索引中的索引内容的步骤包括：如所述索引内容的所述数据存在标识为否，则返回所述地址号错误；以及如所述索引内容的所述数据存在标识为是，则返回所述索引内容的所述数据块存储页数以及所述数据块全局存储页号。4.根据权利要求1所述的数据读取方法，其特征在于，所述数据块的首部包括数据的校验和、数据块全局存储页号以及数据真实长度。5.根据权利要求1所述的数据读取方法，其特征在于，所述数据索引还包括索引首部，所述索引首部包括硬盘的使用信息、索引的使用信息以及共享标记信息；所述硬盘的使用信息包括硬盘数量、硬盘物理页数、硬盘物理页大小以及当前追加物理页号；所述索引的使用信息包括已使用的索引数量以及未使用的索引数量；所述共享标记信息包括用于校验有效性的魔数和用于表示所述数据索引使用状态的使用标记。6.一种数据写入方法，其特征在于，包括步骤：根据数据索引，获取硬盘的空白的存储页面的数据块全局存储页号；根据所述数据块以及所述空白的存储页面的数据块全局存储页号，生成与所述数据块对应的索引内容及地址号，其中所述索引内容包括数据块存储页数以及数据块全局存储页号；根据所述数据块全局存储页号以及硬盘数量，生成所述数据块的硬盘盘号以及数据块局部存储页号；其中数据块的硬盘盘号为数据块全局存储页号％硬盘数量；数据块局部存储页号为数据块全局存储页号/硬盘数量；根据所述数据块存储页数、所述硬盘盘号以及所述数据块局部存储页号，提交数据块写入请求；以及根据所述写入请求的结果，使用所述索引内容更新所述数据索引；其中所述硬盘以所述硬盘的物理页面进行分页处理，以形成包括至少一个所述硬盘的物理页面的所述硬盘的存储页面；每一所述存储页面对应一所述数据块；根据所述数据块的存储页面生成所述数据块全局存储页号，根据所述数据块的大小生成所述数据块存储页数；数据块的大小＝数据块存储页数*存储页面大小。7.根据权利要求6所述的数据写入方法，其特征在于，所述数据块的地址号和相应的索引内容以键-值的形式进行存储。8.根据权利要求6所述的数据写入方法，其特征在于，所述索引内容还包括用于判断是否存在与所述索引内容对应的硬盘数据的数据存在标识；所述数据写入方法还包括步骤：根据所述写入请求的结果，生成所述索引内容的所述数据存在标识。9.根据权利要求6所述的数据写入方法，其特征在于，所述数据写入方法还包括步骤：对所述数据块进行处理，以生成所述数据块的首部；其中所述数据块的首部包括数据的校验和、数据块全局存储页号以及数据真实长度。10.根据权利要求6所述的数据写入方法，其特征在于，所述数据索引还包括索引首部，所述索引首部包括硬盘的使用信息、索引的使用信息以及共享标记信息；所述硬盘的使用信息包括硬盘数量、硬盘物理页数、硬盘物理页大小以及当前追加物理页号；所述索引的使用信息包括已使用的索引数量以及未使用的索引数量；所述共享标记信息包括用于校验有效性的魔数和用于表示所述数据索引使用状态的使用标记。11.一种数据存储结构，其特征在于，包括：数据存储部，包括多个硬盘，所述硬盘以所述硬盘的物理页面进行分页处理，以形成包括至少一个所述硬盘的物理页面的所述硬盘的存储页面；其中每一所述存储页面对应一数据块；数据索引部，包括索引内容，包括：数据块存储页数，用于表示所述数据块的大小；以及数据块全局存储页号，用于表示所述数据块的存储位置；以及地址号，与所述索引内容相对应，用于提供给用户，以读取数据块。12.根据权利要求11所述的数据存储结构，其特征在于，所述数据块的地址号和相应的索引内容以键-值的形式进行存储。13.根据权利要求11所述的数据存储结构，其特征在于，所述索引内容还包括：数据存在标识，用于判断是否存在与所述索引内容...

【专利技术属性】
技术研发人员：陈明，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44