本发明专利技术公开了一种分布式数据存储方法、系统、装置及存储介质，本发明专利技术实施例通过获取服务器性能数据、数据库表数据以及数据库表数据的访问频次；其中，所述访问频次包括表数据访问频次和元数据访问频次；所述服务器性能数据包括服务器内存大小、硬盘大小、处理器性能；然后根据所述访问频次将所述数据库表数据划分为若干个分类表，并将若干个所述分类表发送至对应的访问区域；然后在各所述访问区域，根据访问频次和所述服务器性能数据确定数据库表数据的服务器存储路径，并根据所述存储路径对所述数据库表数据进行存储。提高服务器性能的利用效率，减少反馈时间。本发明专利技术实施例可广泛应用于数据处理技术领域。应用于数据处理技术领域。应用于数据处理技术领域。
【技术实现步骤摘要】
分布式数据存储方法、系统、装置及存储介质
[0001]本专利技术涉及数据处理
，尤其涉及一种分布式数据存储方法、系统、装置及存储介质。
技术介绍
[0002]分布式存储是由多个节点，通过组网连接，共同提供存储服务的一种技术，将数据分散存储在多台独立的服务器上。
[0003]但不同的服务器之间的性能和网络传输性能不同，数据读取的频率也不同，只是简单的将数据分散存储，这种操作会导致以下情况，在数据被访问时受服务器性能限制而反馈时间，同时服务器的性能资源无法得到充分利用。
技术实现思路
[0004]有鉴于此，本专利技术实施例的目的是提供一种分布式数据存储方法、系统、装置及存储介质，根据数据的访问频率和服务器性能提供不同的存储策略，减少反馈时间。
[0005]第一方面，本专利技术实施例提供了一种分布式数据存储方法，包括以下步骤：获取服务器性能数据、数据库表数据以及数据库表数据的访问频次；其中，所述访问频次包括表数据访问频次和元数据访问频次；所述服务器性能数据包括服务器内存大小、硬盘大小、处理器性能；根据所述访问频次将所述数据库表数据划分为若干个分类表，并将若干个所述分类表发送至对应的访问区域；在各所述访问区域，根据访问频次和所述服务器性能数据确定数据库表数据的服务器存储路径，并根据所述存储路径对所述数据库表数据进行存储。
[0006]进一步，所述据访问频次和所述服务器性能数据确定数据库表数据的服务器存储路径，具体包括：根据预设的访问频次函数和所述访问频次确定访问值；根据预设的服务器性能函数和所述服务器性能数据确定服务器性能值；将所述访问值与所述服务器性能值进行匹配，确定数据库表数据的服务器存储路径。
[0007]进一步，所述访问频次函数包括第一函数和第二函数，所述根据预设的访问频次函数和所述访问频次确定访问值，具体包括：根据所述第一函数和所述表数据访问频次计算第一数值；根据所述第二函数和所述元数据访问频次计算第二数值；将所述第一数值与所述第二数值进行加权求和得到访问值。
[0008]进一步，所述服务器性能函数包括第三函数和第四函数，所述根据预设的服务器性能函数和所述服务器性能数据确定服务器性能值，具体包括：根据所述第三函数和所述服务器性能数据中各参数计算总概率密度；
根据所述第四函数和所述总概率密度计算服务器性能值。
[0009]进一步，通过以下方式确定第一函数：根据历史表数据访问数据确定概率质量函数和狄拉克函数；对所述概率质量函数与所述狄拉克函数的乘积并累加作为第一函数。
[0010]进一步，通过以下方式确定第二函数：根据历史元数据访问数据确定概率密度函数；对所述概率密度函数进行积分作为第二函数。
[0011]进一步，每个分类表的级别不同，所述数据存储方法还包括：根据预设时间段内的访问频次计算频次变化率；若所述频次变化率大于预设值，将对应的数据库表数据划分为最高级别的分类表。
[0012]第二方面，本专利技术实施例提供了一种分布式数据存储系统，包括：第一模块，用于获取服务器性能数据、数据库表数据以及数据库表数据的访问频次；其中，所述访问频次包括表数据访问频次和元数据访问频次；所述服务器性能数据包括服务器内存大小、硬盘大小、处理器性能；第二模块，用于根据所述访问频次将所述数据库表数据划分为若干个分类表，并将若干个所述分类表发送至对应的访问区域；第三模块，用于在各所述访问区域，根据访问频次和所述服务器性能数据确定数据库表数据的服务器存储路径，并根据所述存储路径对所述数据库表数据进行存储。
[0013]第三方面，本专利技术实施例提供了一种分布式数据存储装置，包括：至少一个处理器；至少一个存储器，用于存储至少一个程序；当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上述的方法。
[0014]第四方面，本专利技术实施例提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如上述的方法。
[0015]实施本专利技术实施例包括以下有益效果：本实施例首先通过获取服务器性能数据、数据库表数据以及数据库表数据的访问频次；其中，所述访问频次包括表数据访问频次和元数据访问频次；所述服务器性能数据包括服务器内存大小、硬盘大小、处理器性能；然后根据所述访问频次将所述数据库表数据划分为若干个分类表，并将若干个所述分类表发送至对应的访问区域；然后在各所述访问区域，根据访问频次和所述服务器性能数据确定数据库表数据的服务器存储路径，并根据所述存储路径对所述数据库表数据进行存储；根据访问频次对数据库表数据进行分类并分区域，根据区域匹配不同性能的服务器，根据数据的访问频次和服务器的性能提供不同的存储策略，使得高频率访问数据分配更好的服务器性能和网络传输性能，从而提高服务器性能的利用效率，减少反馈时间。
附图说明
[0016]图1是本专利技术实施例提供的一种分布式数据存储方法的步骤流程示意图；
图2是本专利技术实施例提供的一种分布式数据存储系统的结构框图；图3是本专利技术实施例提供的一种分布式数据存储装置的结构框图。
具体实施方式
[0017]下面结合附图和具体实施例对本专利技术做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
[0018]在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
[0019]在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本专利技术实施例能够以除了在这里图示或描述的以外的顺序实施。
[0020]除非另有定义，本专利技术实施例所使用的所有的技术和科学术语与属于本专利技术的
的技术人员通常理解的含义相同。本专利技术实施例中所使用的术语只是为了描述本专利技术实施例的目的，不是旨在限制本专利技术。
[0021]如图1所示，本专利技术实施例提供了一种分布式数据存储方法，其包括的步骤如下所示。
[0022]步骤S110、获取服务器性能数据、数据库表数据以及数据库表数据的访问频次；其中，所述访问频次包括表数据访问频次和元数据访问频次；所述服务器性能数据包括服务器内存大小、硬盘大小、处理器性能。
[0023]具体地，数据库表数据为待分类存储的数据，数据形式为数据表。在具体实施例中，例如，在企业的信息数据库中包括以数据表形式存储的员工信息数据，数据表包括元数据和表数据，元数据为数据属性，如姓名、年龄等，表数据则为具体的数据，访问频次为在预设的时间段内对数据表的访问次数，如一周时间内，对元数据或表数据的进行检索或查询的次数。服务器性能包括内存大小、硬盘大小以及处理器性能，本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种分布式数据存储方法，其特征在于，包括以下步骤：获取服务器性能数据、数据库表数据以及数据库表数据的访问频次；其中，所述访问频次包括表数据访问频次和元数据访问频次；所述服务器性能数据包括服务器内存大小、硬盘大小、处理器性能；根据所述访问频次将所述数据库表数据划分为若干个分类表，并将若干个所述分类表发送至对应的访问区域；在各所述访问区域，根据访问频次和所述服务器性能数据确定数据库表数据的服务器存储路径，并根据所述存储路径对所述数据库表数据进行存储。2.根据权利要求1所述的数据存储方法，其特征在于，所述根据访问频次和所述服务器性能数据确定数据库表数据的服务器存储路径，具体包括：根据预设的访问频次函数和所述访问频次确定访问值；根据预设的服务器性能函数和所述服务器性能数据确定服务器性能值；将所述访问值与所述服务器性能值进行匹配，确定数据库表数据的服务器存储路径。3.根据权利要求2所述的数据存储方法，其特征在于，所述访问频次函数包括第一函数和第二函数，所述根据预设的访问频次函数和所述访问频次确定访问值，具体包括：根据所述第一函数和所述表数据访问频次计算第一数值；根据所述第二函数和所述元数据访问频次计算第二数值；将所述第一数值与所述第二数值进行加权求和得到访问值。4.根据权利要求2所述的数据存储方法，其特征在于，所述服务器性能函数包括第三函数和第四函数，所述根据预设的服务器性能函数和所述服务器性能数据确定服务器性能值，具体包括：根据所述第三函数和所述服务器性能数据中各参数计算总概率密度；根据所述第四函数和所述总概率密度计算服务器性能值。5.根据权利要求3所述的数据存储方法，其特征在于，通过以下方...
【专利技术属性】
技术研发人员：何兴国，张越，赖春媚，周涛，
申请(专利权)人：广州图灵科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。