一种数据存储方法、装置、设备及存储介质制造方法及图纸

本申请实施例公开了一种数据存储方法、装置、设备及存储介质，其中该方法应用于数据存储系统，该数据存储系统包括热数据存储服务器和冷数据存储服务器，热数据存储服务器中存储磁盘的性能优于冷数据存储服务器中存储磁盘的性能。该方法包括：针对所述数据存储系统接收的用户数据，确定满足预设下沉条件的用户数据作为下沉数据；基于下沉数据生成下沉数据文件；将下沉数据文件存储至冷数据存储服务器；基于下沉数据文件中下沉数据在冷数据存储服务器中的存储位置，生成下沉数据对应的目标索引信息。该方法能够在保证系统访问性能的同时，有效地降低数据存储成本。

【技术实现步骤摘要】
一种数据存储方法、装置、设备及存储介质
本申请涉及计算机
，尤其涉及一种数据存储方法、装置、设备及存储介质。
技术介绍
随着互联网技术和计算机技术的迅速发展，通讯应用程序(Application，APP)如今在人们的日常生活中起着越来越重要的作用，消息系统作为此类通讯APP后台的核心系统，其访问性能一直备受关注。目前，为了保证消息系统的访问性能，通常将所有的用户数据均存储在基于固态硬盘(SolidStateDisk，SSD)的消息系统中。但是，SSD的部署成本普遍较高，并且随着所存储的用户数据的增多，消息系统中相应地需要部署越来越多的SSD，如此将带来高昂的数据存储成本。
技术实现思路
本申请实施例提供了一种数据存储方法、装置、设备及存储介质，能够在保证系统访问性能的同时，有效地降低数据存储成本。有鉴于此，本申请第一方面提供了一种数据存储方法，所述方法应用于数据存储系统，所述数据存储系统包括：热数据存储服务器和冷数据存储服务器，所述热数据存储服务器中存储磁盘的性能优于所述冷数据存储服务器中存储磁盘的性能；所述方法包括：针对所述数据存储系统接收的用户数据，确定满足预设下沉条件的用户数据作为下沉数据；基于所述下沉数据生成下沉数据文件；将所述下沉数据文件存储至所述冷数据存储服务器；基于所述下沉数据文件中所述下沉数据在所述冷数据存储服务器中的存储位置，生成所述下沉数据对应的目标索引信息。本申请第二方面提供了一种数据存储装置，所述装置应用于数据存储系统，所述数据存储系统包括：热数据存储服务器和冷数据存储服务器，所述热数据存储服务器中存储磁盘的性能优于所述冷数据存储服务器中存储磁盘的性能；所述装置包括：下沉数据确定模块，用于针对所述数据存储系统接收的用户数据，确定满足预设下沉条件的用户数据作为下沉数据；下沉数据文件生成模块，用于基于所述下沉数据生成下沉数据文件；冷数据存储模块，用于将所述下沉数据文件存储至所述冷数据存储服务器；索引信息生成模块，用于基于所述下沉数据文件中所述下沉数据在所述冷数据存储服务器中的存储位置，生成所述下沉数据对应的目标索引信息。本申请第三方面提供了一种设备，所述设备包括处理器以及存储器：所述存储器用于存储计算机程序；所述处理器用于根据所述计算机程序，执行如上述第一方面所述的数据存储方法的步骤。本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行上述第一方面所述的数据存储方法的步骤。本申请第五方面提供了一种包括指令的计算机程序产品，当其在计算机上运行时，使得所述计算机执行上述第一方面所述的数据存储方法的步骤。从以上技术方案可以看出，本申请实施例具有以下优点：本申请实施例提供了一种数据存储方法，该方法应用于包括热数据存储服务器和冷数据存储服务器的数据存储系统，其中，冷数据存储服务器中存储磁盘的性能相比热数据存储服务器中存储磁盘的性能较差，相应地，冷数据存储服务器中存储磁盘的成本通常低于热数据存储服务器中存储磁盘的成本。该方法将数据存储系统接收的用户数据划分为热数据和冷数据，将不满足预设下沉条件的热数据(如访问热度较高的用户数据、较为重要的用户数据、较为敏感的用户数据等)存储在热数据存储服务器中，将满足预设下沉条件的冷数据(如访问热度较低的用户数据、不太重要的用户数据、不太敏感度的用户数据等)作为下沉数据，存储至冷数据存储服务器，并且还会基于该下沉数据在冷数据存储服务器中的存储位置生成对应的索引信息。相比相关技术将系统接收的所有用户数据均存储在成本较高的SSD的实现方式，本申请实施例提供的方法利用成本高、访问性能较好的存储磁盘存储热数据，利用成本低、访问性能较差的存储磁盘存储冷数据，并且针对冷数据生成便于快速访问的索引信息，如此，既可以有效地降低数据存储成本，又能够在一定程度上保证系统的访问性能。附图说明图1为本申请实施例提供的数据存储系统的结构示意图；图2为本申请实施例提供的数据存储方法的流程示意图；图3为本申请实施例提供的数据下沉程序的处理过程示意图；图4为本申请实施例提供的包含两级索引信息的索引数据结构示意图；图5为本申请实施例提供的针对下沉数据文件构建二级索引信息和三级索引信息的实现方式示意图；图6为本申请实施例提供的数据读取方法的流程示意图；图7为本申请实施例提供的数据存储方法的实现架构示意图；图8为本申请实施例提供的一种数据存储装置的结构示意图；图9为本申请实施例提供的一种数据存储装置的结构示意图；图10为本申请实施例提供的一种数据存储装置的结构示意图；图11为本申请实施例提供的一种数据存储装置的结构示意图；图12为本申请实施例提供的一种服务器的结构示意图。具体实施方式为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。相关技术中，通常将消息系统中所有的用户数据均存储在成本较高的SSD中，随着所需存储的用户数据的增多，消息系统中需要相应地部署越来越多的SSD，如此将导致消息系统的数据存储成本大幅增加。为了解决上述相关技术存在的问题，本申请实施例提供了一种数据存储方法，该方法能够在保证系统访问性能的前提下，减少数据存储成本。具体的，本申请实施例提供的方法应用于包括热数据存储服务器和冷数据存储服务器的数据存储系统，该热数据存储服务器中存储磁盘的性能优于冷数据存储服务器中存储磁盘的性能。具体实现时，相关设备会针对数据存储系统接收的用户数据，确定其中满足预设下沉条件的用户数据作为下沉数据，并基于该下沉数据生成下沉数据文件；然后，将所生成的下沉数据文件存储至冷数据存储服务器中；进而，基于下沉数据文件中的下沉数据在冷数据存储服务器中的存储位置，生成该下沉数据对应的目标索引信息。相比相关技术将系统接收的所有用户数据均存储在成本较高的SSD盘，本申请实施例提供的方法将消息系统中接收的用户数据划分为热数据和冷数据，利用部署有性能较好、成本文档来自技高网...

【技术保护点】
1.一种数据存储方法，其特征在于，所述方法应用于数据存储系统，所述数据存储系统包括：热数据存储服务器和冷数据存储服务器，所述热数据存储服务器中存储磁盘的性能优于所述冷数据存储服务器中存储磁盘的性能；所述方法包括：/n针对所述数据存储系统接收的用户数据，确定满足预设下沉条件的用户数据作为下沉数据；基于所述下沉数据生成下沉数据文件；/n将所述下沉数据文件存储至所述冷数据存储服务器；/n基于所述下沉数据文件中所述下沉数据在所述冷数据存储服务器中的存储位置，生成所述下沉数据对应的目标索引信息。/n

【技术特征摘要】
1.一种数据存储方法，其特征在于，所述方法应用于数据存储系统，所述数据存储系统包括：热数据存储服务器和冷数据存储服务器，所述热数据存储服务器中存储磁盘的性能优于所述冷数据存储服务器中存储磁盘的性能；所述方法包括：
针对所述数据存储系统接收的用户数据，确定满足预设下沉条件的用户数据作为下沉数据；基于所述下沉数据生成下沉数据文件；
将所述下沉数据文件存储至所述冷数据存储服务器；
基于所述下沉数据文件中所述下沉数据在所述冷数据存储服务器中的存储位置，生成所述下沉数据对应的目标索引信息。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
针对所述数据存储系统接收的用户数据，通过第一数据分析模型对所述用户数据进行分析，根据分析结果确定所述用户数据对应的重要性等级；所述第一数据分析模型用于分析用户数据中包含的信息的重要程度；
所述确定满足预设下沉条件的用户数据作为下沉数据，包括：
判断所述用户数据对应的重要性等级是否达到预设重要性等级；若否，则将所述用户数据作为所述下沉数据。


3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
针对所述数据存储系统接收的用户数据，通过第二数据分析模型对所述用户数据进行分析，根据分析结果确定所述用户数据对应的敏感度等级；所述第二数据分析模型用于分析用户数据中包含的信息的敏感程度；
所述确定满足预设下沉条件的用户数据作为下沉数据，包括：
判断所述用户数据对应的敏感度等级是否达到预设敏感度等级；若否，则将所述用户数据作为所述下沉数据。


4.根据权利要求1所述的方法，其特征在于，在所述数据存储系统接收的用户数据默认先存储至所述热数据存储服务器的情况下，所述确定满足预设下沉条件的用户数据作为下沉数据，包括：
扫描所述热数据存储服务器中存储的用户数据，确定所述热数据存储服务器中访问热度低于预设热度阈值的用户数据作为所述下沉数据；所述访问热度是根据以下任意一种或多种信息确定的：用户数据的被访问次数和用户数据的存储时间；
在所述将所述下沉数据文件存储至所述冷数据存储服务器之后，所述方法还包括：
删除所述热数据存储服务器中的所述下沉数据。


5.根据权利要求4所述的方法，其特征在于，所述扫描所述热数据存储服务器中存储的用户数据，确定所述热数据存储服务器中访问热度低于预设热度阈值的用户数据作为所述下沉数据，包括：
针对所述热数据存储服务器中每个用户账号下的用户数据，判断该用户账号下的用户数据是否超过预设数据量，若是，则将该用户账号下存储时间在预设历史时段内的用户数据作为该用户账号的下沉数据。


6.根据权利要求5所述的方法，其特征在于，所述基于所述下沉数据生成下沉数据文件，包括：
累加多个用户账号的下沉数据，判断累加后的下沉数据是否达到所述下沉数据文件对应的目标数据量；
若是，则针对所述多个用户账号中的每个用户账号，基于该用户账号的下沉数据生成该用户账号的子下沉数据文件；基于所述多个用户账号各自的子下沉数据文件生成所述下沉数据文件。


7.根据权利要求1所述的方法，其特征在于，所述数据存储系统包括多个所述冷数据存储服务器，在所述基于所述下沉数据生成下沉数据文件之后，所述方法还包括：
复制所述下沉数据文件，得到多份所述下沉数据文件；
所述将所述下沉数据文件存储至所述冷数据存储服务器，包括：
将多份所述下沉数据文件分别存储至不同的所述冷数据存储服务器。


8.根据权利要求1所述的方法，其特征在于，所述基于所述下沉数据文件中所述下沉数据在所述冷数据存储服务器中的存储位置，生成所述下沉数据对应的目标索引信息，包...

【专利技术属性】
技术研发人员：李达统，曾楚伟，李斌，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44