一种数据管理的方法以及相关装置制造方法及图纸

本申请公开了一种数据管理的方法以及相关装置，通过获取数据对于存储设备的访问信息，所述访问信息包括存储设备类型、访问类型或数据类型，并根据访问信息选择合适的接口进行操作，可以避免由于不同存储设备使用同一接口产生的大量延时，并且根据非易失性设备的特点对其进行相应的读写逻辑的调整，提高了非易失性设备在数据库中的利用率，进一步的提高了数据库的性能。

A Data Management Method and Related Devices

【技术实现步骤摘要】
一种数据管理的方法以及相关装置
本申请涉及计算机
，尤其涉及一种数据管理的方法以及相关装置。
技术介绍
数据库系统是一种应用广泛的基础软件。受到设备物理性质的限制，为了充分发挥设备的能力，达到最优的性能，数据库系统需要针对不同的设备做不同的设计选择。当前最常见的有针对内存和块设备两级存储的设计，主流的块设备有硬盘(harddiskdrive，HDD)和闪存盘(solidstatedisk，SSD)，因为硬盘是广泛使用的块设备，前一类系统也被称为硬盘数据库；现有的硬盘数据库系统考虑了内存和块设备两种层次的存储介质的结合使用，以内存缓存来弥补块设备的性能差距。另一方面，由于非易失设备的读性能接近内存，而写性能接近高端的SSD，也可以采用块设备和非易失设备两级存储的设计。但是，由于数据库的访问负载具有高输入/输出高吞吐的特点，而基于现有方案无论什么数据在读写时都要经过标准的可移植操作系统接口(portableoperatingsysteminterfaceofunix，POSIX)和文件系统，导致访问存在大量的延时，影响数据库的性能。
技术实现思路
有鉴于此，本申请第一方面提供一种数据管理的方法，可应用于数据库设计或相关应用产品中，具体包括：获取数据对于存储设备的访问信息，所述访问信息包括存储设备类型、访问类型或数据类型；根据所述访问信息确定访问接口；选择所述访问接口对所述数据进行操作。优选的，在本申请一些可能的实现方式中，所述存储设备类型包括非易失性设备或块设备，所述根据所述访问信息确定访问接口，包括：若所述存储设备类型为非易失性设备，则确定访问接口为持久性内存开发工具包PMDK接口；若所述存储设备类型为块设备，则确定访问接口为可移植操作系统POSIX接口。优选的，在本申请一些可能的实现方式中，所述访问类型包括读取数据或写入数据，所述选择所述访问接口对所述数据进行操作，包括：若所述访问类型为读取数据，且访问接口为PMDK接口，则将所述数据读取到指定的内存缓冲区页面；若所述访问类型为写入数据，且访问接口为PMDK接口，则将所述数据写入到指定的虚拟内存映射地址。优选的，在本申请一些可能的实现方式中，所述数据类型包括数据表文件或临时文件，所述选择所述访问接口对所述数据进行操作，包括：若所述数据类型为数据表文件，且所述存储设备为非易失性设备，且所述访问类型为读取数据，则在数据缓存区中查找数据页面，所述数据页面用于指示所述数据；若存在所述数据页面，则直接读取所述数据；否则，映射所述数据到指定的虚拟内存映射地址，所述虚拟内存映射地址用于指示获取所述数据。优选的，在本申请一些可能的实现方式中，所述选择所述访问接口对所述数据进行操作之前，所述方法还包括：获取所述数据中读取数据与写入数据的比例数值；若所述比例数值大于预设阈值，则迁移部分所述数据至非易失性设备处理。本申请第二方面提供另一种数据管理的装置，包括：获取单元，用于获取数据对于存储设备的访问信息，所述访问信息包括存储设备类型、访问类型或数据类型；确定单元，用于根据所述访问信息确定访问接口；选择单元，用于选择所述访问接口对所述数据进行操作。优选的，在本申请一些可能的实现方式中，所述存储设备类型包括非易失性设备或块设备，所述确定单元，具体用于若所述存储设备类型为非易失性设备，则确定访问接口为持久性内存开发工具包PMDK接口；所述确定单元，具体用于若所述存储设备类型为块设备，则确定访问接口为可移植操作系统POSIX接口。优选的，在本申请一些可能的实现方式中，所述访问类型包括读取数据或写入数据，所述选择单元，具体用于若所述访问类型为读取数据，且访问接口为PMDK接口，则将所述数据读取到指定的内存缓冲区页面；所述选择单元，具体用于若所述访问类型为写入数据，且访问接口为PMDK接口，则将所述数据写入到指定的虚拟内存映射地址。优选的，在本申请一些可能的实现方式中，所述数据类型包括数据表文件或临时文件，所述选择单元，具体用于若所述数据类型为数据表文件，且所述存储设备为非易失性设备，且所述访问类型为读取数据，则在数据缓存区中查找数据页面，所述数据页面用于指示所述数据；所述选择单元，具体用于若存在所述数据页面，则直接读取所述数据；所述选择单元，具体用于映射所述数据到指定的虚拟内存映射地址，所述虚拟内存映射地址用于指示获取所述数据。优选的，在本申请一些可能的实现方式中，所述选择所述访问接口对所述数据进行操作之前，所述确定单元，还用于获取所述数据中读取数据与写入数据的比例数值；若所述比例数值大于预设阈值，则迁移部分所述数据至非易失性设备处理。本申请第三方面提供一种计算机设备，包括：存储器、处理器以及总线系统；所述存储器用于存储程序代码；所述处理器用于根据所述程序代码中的指令执行上述第一方面或第一方面任一项所述的数据管理的方法。本申请第四方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面或第一方面任一项所述的数据管理的方法。从以上技术方案可以看出，本申请实施例具有以下优点：通过获取数据对于存储设备的访问信息，所述访问信息包括存储设备类型、访问类型或数据类型，并根据访问信息选择合适的接口进行操作，可以避免由于不同存储设备使用同一接口产生的大量延时，并且根据非易失性设备的特点对其进行相应的读写逻辑的调整，提高了非易失性设备在数据库系统中的利用率，进一步的提高了数据库系统的性能。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1是现有技术中数据管理的架构图；图2为本申请实施例提供的数据管理的系统架构图；图3为本申请实施例提供的一种数据管理的方法的流程图；图4为本申请实施例提供的另一种数据管理的方法的流程图；图5为本申请实施例提供的另一种数据管理的方法的流程图；图6为本申请实施例提供的一种管理装置的结构示意图；图7为本申请实施例提供的另一种管理装置的结构示意图。具体实施方式本申请实施例提供了一种数据管理的方法以及相关装置，通过获取数据对于存储设备的访问信息，所述访问信息包括存储设备类型、访问类型或数据类型，并根据访问信息选择合适的接口进行操作，可以避免由于不同存储设备使用同一接口产生的大量延时，并且根据非易失性设备的特点对其进行相应的读写逻辑的调整，提高了非易失性设备在数据库中的利用率，进一步的提高了数据库的性能。本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“对应于”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或本文档来自技高网...

【技术保护点】
1.一种数据管理的方法，其特征在于，包括：获取数据对于存储设备的访问信息，所述访问信息包括存储设备类型、访问类型或数据类型；根据所述访问信息确定访问接口；选择所述访问接口对所述数据进行操作。

【技术特征摘要】
1.一种数据管理的方法，其特征在于，包括：获取数据对于存储设备的访问信息，所述访问信息包括存储设备类型、访问类型或数据类型；根据所述访问信息确定访问接口；选择所述访问接口对所述数据进行操作。2.根据权利要求1所述的方法，其特征在于，所述存储设备类型包括非易失性设备或块设备，所述根据所述访问信息确定访问接口，包括：若所述存储设备类型为非易失性设备，则确定访问接口为持久性内存开发工具包PMDK接口；若所述存储设备类型为块设备，则确定访问接口为可移植操作系统POSIX接口。3.根据权利要求2所述的方法，其特征在于，所述访问类型包括读取数据或写入数据，所述选择所述访问接口对所述数据进行操作，包括：若所述访问类型为读取数据，且访问接口为PMDK接口，则将所述数据读取到指定的内存缓冲区页面；若所述访问类型为写入数据，且访问接口为PMDK接口，则将所述数据写入到指定的虚拟内存映射地址。4.根据权利要求3所述的方法，其特征在于，所述数据类型包括数据表文件或临时文件，所述选择所述访问接口对所述数据进行操作，包括：若所述数据类型为数据表文件，且所述存储设备为非易失性设备，且所述访问类型为读取数据，则在数据缓存区中查找数据页面，所述数据页面用于指示所述数据；若存在所述数据页面，则直接读取所述数据页面；否则，映射所述数据到指定的虚拟内存映射地址，所述虚拟内存映射地址用于指示获取所述数据。5.根据权利要求3或4所述的方法，其特征在于，所述访问信息还包括所述数据中读取数据与写入数据的比例，所述选择所述访问接口对所述数据进行操作之前，所述方法还包括：获取所述数据中读取数据与写入数据的比例数值；若所述比例数值大于预设阈值，则迁移部分所述数据...

【专利技术属性】
技术研发人员：张文亮，李昕龙，
申请(专利权)人：深圳市腾讯计算机系统有限公司，
类型：发明
国别省市：广东,44