数据访问方法、数据访问装置及存储介质制造方法及图纸

本申请公开了一种基于分布式存储系统的数据访问方法、数据访问装置及存储介质，所述数据访问方法包括：获取数据块与服务器之间对应关系；确定出所述分布式存储系统中的数据块中存在的热点数据块；所述热点数据块属于远程服务器时，将所述热点数据块从远程服务器迁移至本地服务器上，以实现热点数据块的本地化访问。本申请实施例中，将确定出的热点数据块迁移至本地服务器，以在数据读取时，通过分布式存储系统读取数据块，对于确定出的热点数据块可以直接从本地服务器中进行读取然后合并，获得所需数据，使得读取IO访问的路径缩短，降低读取IO延迟，提升用户体验。

【技术实现步骤摘要】
数据访问方法、数据访问装置及存储介质
本申请涉及计算机存储
，特别涉及一种基于分布式存储系统的数据访问方法、数据访问装置及存储介质。
技术介绍
随着信息技术的发展，超融合系统近年来在私有云领域快速发展，超融合系统的核心为计算与存储融合部署，其中存储通常采用分布式存储架构，在系统中添加新的物理存储节点即可扩展计算资源与存储资源。目前分布式存储都是把一块数据按照固定的大小分成若干份，然后把这些小数据块分散地保存到整个超融合系统中的各个物理存储节点上。随着时间的推移，存储的数据总量增长迅速，各个物理存储节点的存储数据都需通过TCP/IP网络进行传输，由于物理网络的特性，在需要读取各个物理存储节点上的数据库时，效率较低，分布式存储的IO延迟成为制约整个超融合系统发展的瓶颈。此外，超融合系统中，如进行虚拟机迁移时，现有技术中通常将虚拟机磁盘上的数据整体进行拷贝后传输至目标物理主机，由于数据量较大，传输时间长，而且数据传输时也会占据网络宽带，数据迁移成本高，影响用户体验。
技术实现思路
为了解决上述技术问题，本申请提供了一种基于分布式存储系统的数据访问方法、数据访问装置及存储介质。本申请的实施例采用了如下技术方案：一种基于分布式存储系统的数据访问方法，包括：获取数据块与服务器之间对应关系；确定出所述分布式存储系统中的数据块中存在的热点数据块；所述热点数据块属于远程服务器时，将所述热点数据块从远程服务器迁移至本地服务器上，以实现热点数据块的本地化访问。>在本申请的一些实施例中，所述获取数据块与服务器之间对应关系，具体包括：基于数据映射表获取数据块与服务器之间对应关系；所述数据映射表包括：本地映射表和远程映射表，所述本地映射表用于记录数据块分布在本地服务器的具体位置的对应关系，所述远程数据映射表用于记录数据块分布在远程服务器的具体位置的对应关系。在本申请的一些实施例中，应用于虚拟机的迁移时的数据迁移，所述方法具体包括：确定出本地服务器中存在的热点数据块；随所述虚拟机从本地服务器迁移至远程服务器，将所述热点数据块从本地服务器迁移至远程服务器，以实现热点数据块的本地化访问。在本申请的一些实施例中，虚拟机迁移至第二服务器之后，所述方法具体包括：获取数据块与服务器之间对应关系；确定出所述分布式存储系统中的数据块中存在的热点数据块；所述热点数据块属于远程服务器时，将所述热点数据块从远程服务器迁移至本地服务器上，以实现热点数据块的本地化访问。在本申请的一些实施例中，所述获取数据块与服务器之间对应关系，包括：获取数据块与服务器之间更新后的对应关系。在本申请的一些实施例中，所述获取数据块与服务器之间更新后的对应关系，具体包括：更新数据映射表，以更新在虚拟机迁移至第二服务器之后，数据块相对于第二服务器在各自服务器上的分布位置的对应关系。在本申请的一些实施例中，所述确定出所述分布式存储系统中的数据块中存在的热点数据块，具体方式包括：统计数据块的每秒读取次数，确定所述数据块的每秒读取次数超过热点访问阈值时，则确定所述数据块为热点数据块。本申请实施例还提供了一种基于分布式存储系统的数据访问装置，包括：获取模块，用于获取数据块与服务器之间对应关系；热点数据块确定模块，用于确定出所述分布式存储系统中的数据块中存在的热点数据块；转移模块，用于在所述热点数据块属于远程服务器时，将所述热点数据块从远程服务器迁移至本地服务器上，以实现热点数据块的本地化访问。在本申请的一些实施例中，所述获取模块还可用于获取数据块的每秒读取次数，并对数据块的每秒读取次数进行统计，以确定出热点数据块。本申请实施例还提供了一种存储介质，所述存储介质承载有一个或者多个计算机程序，所述一个或者多个计算机程序被处理器执行时实现如上所述方法的步骤。本申请实施例的有益效果在于：通过将确定出的热点数据块迁移至本地服务器，以在数据读取时，通过分布式存储系统读取数据块，对于确定出的热点数据块可以直接从本地服务器中进行读取然后合并，获得所需数据，本申请实施例避免了迁移整个副本数据造成的存储系统的负载，同时对确定出的热点数据块进行迁移至本地服务器，缩短读取IO访问路径，降低读取IO延迟，提升用户体验。附图说明图1为本申请实施例的基于分布式存储系统的数据访问方法的流程图；图2为本申请实施例的基于分布式存储系统的数据访问方法的另一实施例的流程图；图3为本申请实施例中的数据访问装置的框图。具体实施方式此处参考附图描述本申请的各种方案以及特征。应理解的是，可以对此处申请的实施例做出各种修改。因此，上述说明书不应该视为限制，而仅是作为实施例的范例。本领域的技术人员将想到在本申请的范围和精神内的其他修改。包含在说明书中并构成说明书的一部分的附图示出了本申请的实施例，并且与上面给出的对本申请的大致描述以及下面给出的对实施例的详细描述一起用于解释本申请的原理。通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本申请的这些和其它特性将会变得显而易见。还应当理解，尽管已经参照一些具体实例对本申请进行了描述，但本领域技术人员能够确定地实现本申请的很多其它等效形式，它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。当结合附图时，鉴于以下详细说明，本申请的上述和其他方面、特征和优势将变得更为显而易见。此后参照附图描述本申请的具体实施例；然而，应当理解，所申请的实施例仅仅是本申请的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本申请模糊不清。因此，本文所申请的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本申请。本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本申请的相同或不同实施例中的一个或多个。分布式存储系统中，在存储数据时，通常会将一个数据基于预定规则分割成若干个数据块，再将若干个数据块分散存储至集群中的各个服务器上，在读取数据时，需要通过分布式存储系统进行数据块的读取，分布式存储系统将所需要的数据块从各个服务器中读取然后进行合并，合并后获得所需读取的数据。本申请实施例提供的一种基于分布式存储系统的数据访问方法，通过确定出热点数据块，并根据数据块在服务器上的存储位置关系，将远程服务器中的热点数据块迁移至本地服务器中，图1为本申请实施例的数据访问方法的流程图，参见图1所示，本申请实施例的数据访问方法具体包括如下步骤：S101，获取数据块与服务器之间对应关系；本步骤中，分布式存储系统中，包括多个存储节点，具体可设置服务器作为存储节点用于存储数据。获取数本文档来自技高网...

【技术保护点】
1.一种基于分布式存储系统的数据访问方法，其特征在于，包括：/n获取数据块与服务器之间对应关系；/n确定出所述分布式存储系统中的数据块中存在的热点数据块；/n所述热点数据块属于远程服务器时，将所述热点数据块从远程服务器迁移至本地服务器上，以实现热点数据块的本地化访问。/n

【技术特征摘要】
1.一种基于分布式存储系统的数据访问方法，其特征在于，包括：
获取数据块与服务器之间对应关系；
确定出所述分布式存储系统中的数据块中存在的热点数据块；
所述热点数据块属于远程服务器时，将所述热点数据块从远程服务器迁移至本地服务器上，以实现热点数据块的本地化访问。


2.根据权利要求1所述的方法，其特征在于，所述获取数据块与服务器之间对应关系，具体包括：
基于数据映射表获取数据块与服务器之间对应关系；
所述数据映射表包括：本地映射表和远程映射表，所述本地映射表用于记录数据块分布在本地服务器的具体位置的对应关系，所述远程数据映射表用于记录数据块分布在远程服务器的具体位置的对应关系。


3.根据权利要求1所述的方法，其特征在于，应用于虚拟机的迁移时的数据迁移，所述方法具体包括：
确定出本地服务器中存在的热点数据块；
随所述虚拟机从本地服务器迁移至远程服务器，将所述热点数据块从本地服务器迁移至远程服务器，以实现热点数据块的本地化访问。


4.根据权利要求3所述的方法，其特征在于，虚拟机迁移至第二服务器之后，所述方法具体包括：
获取数据块与服务器之间对应关系；
确定出所述分布式存储系统中的数据块中存在的热点数据块；
所述热点数据块属于远程服务器时，将所述热点数据块从远程服务器迁移至本地服务器上，以实现热点数据块的本地化访问。


5.根据权利要求4所述的方...

【专利技术属性】
技术研发人员：张朝潞，
申请(专利权)人：北京天融信网络安全技术有限公司，北京天融信科技有限公司，北京天融信软件有限公司，
类型：发明
国别省市：北京;11