本发明专利技术提供了一种分布式文件系统存储优化方法、计算机设备及存储介质，包括：对分布式文件系统集群的每个数据节点的标识进行哈希计算，获得每个数据节点对应的节点哈希值，将所述哈希值映射至哈希环上，以表示所述每个数据节点在所述哈希环上的位置；获取遥感数据，对所述遥感数据进行立方体切分，获得数据切片，对所述数据切片进行至少一次预设处理，获得存储切片；获取所述存储切片的特征数据，对所述特征数据进行哈希计算，获得切片哈希值，其中，所述特征数据包括时间特征与空间特征；根据所述切片哈希值将所述存储切片通过预设规则存储在所述数据节点上，可以实现遥感数据进行时间关联和空间关联的存储策略，增加检索效率。效率。效率。
【技术实现步骤摘要】
分布式文件系统存储优化方法、计算机设备及存储介质
[0001]本专利技术涉及分布式文件存储领域，具体而言，涉及一种分布式文件系统存储优化方法、计算机设备及存储介质。
技术介绍
[0002]随着计算机技术的发展，数据的体量越来越大，传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，逐渐不能满足大规模储存应用的需要。
[0003]对于大体量数据，例如遥感数据的存储与管理，大多数采用分布式文件系统与数据库相结合的方式。分布式存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，提高了系统的可靠性，可用性。HDFS系统是分布式文件系统的典型代表，但是在实际应用时，分布式文件系统会将数据分散地存储到不同的数据节点，在对数据进行范围访问时，需要到多个数据节点中获取数据，效率较低，不利于高效的数据访问和处理。
技术实现思路
[0004]本专利技术解决的问题是如何在分布式文件系统中提高访问和处理遥感数据的速度。
[0005]为解决上述问题，本专利技术提供一种分布式文件系统存储优化方法，该方法包括如下步骤：
[0006]对分布式文件系统集群的每个数据节点的标识进行哈希计算，获得每个数据节点对应的节点哈希值，将所述节点哈希值映射至哈希环上，以表示每个所述数据节点在所述哈希环上的位置；获取遥感数据，对所述遥感数据进行立方体切分，获得数据切片，对所述数据切片进行至少一次预设处理，获得存储切片；获取所述存储切片的特征数据，对所述特征数据进行哈希计算，获得切片哈希值，其中，所述特征数据包括时间特征与空间特征；根据所述切片哈希值将所述存储切片通过预设规则存储在所述数据节点上，其中，所述预设规则包括：将所述切片哈希值与所述节点哈希值进行对比，将与所述切片哈希值对应的所述存储切片存储在标定数据节点上，所述标定数据节点为大于所述切片哈希值且与所述切片哈希值最接近的所述节点哈希值对应的所述数据节点。
[0007]相对于现有技术，本专利技术通过对分布式文件系统集群的每个数据节点的表示进行哈希计算，获得唯一的节点哈希值，将数据节点按照哈希值大小放入哈希环，可以随机且均匀地排列数据节点，平衡各个数据节点的负载，增加存储效率，减小数据节点的维护成本；通过对数据切片进行至少一次预设处理，并对存储切片进行哈希计算，获得存储切片的哈希值，再根据哈希值存储数据，基于数据的时间关联性和空间关联性，将时间相近或空间相近的数据存储在同一节点或相近的节点，可以增加检索效率和检索准确度。
[0008]可选地，所述对所述遥感数据进行立方体切分，获得数据切片包括：获得所述遥感数据的时间特征、空间特征和光谱维特征；将所述时间特征、所述空间特征、所述光谱维特征作为立方体的维度，对所述遥感数据进行切片。
[0009]由此，对遥感数据进行立方体切分，可以获得关于于立方体三个维度(空间、时间、光谱)的数据切片，保证进行立方体切分后的遥感数据仍具有切分之前的时间关联性和空间关联性。
[0010]可选地，对所述数据切片进行至少一次预设处理，获得存储切片包括：
[0011]对所述数据切片进行第二预设处理，获得所述数据切片的第二命名，其中，所述第二预设处理包括：截断所述数据切片的所述时间特征至预设精度、添加所述空间特征至截断后的时间特征后方。
[0012]由此，通过第二预设处理，可以获得具有时间特征和空间特征的命名，保证可以基于时间和空间的关键词进行检索。
[0013]可选地，在所述对所述数据切片进行第二预设处理之前，该方法还包括如下步骤：
[0014]对所述数据切片进行第一预设处理，获得所述数据切片的第一命名，其中，所述第一预设处理包括，对所述数据切片进行关于所述时间特征、空间投影类型与空间编码的命名。
[0015]由此，可以获得具有时间特征、空间投影类型与空间编码的命名，保证可以根据时间、投影类型、空间编码进行检索。
[0016]可选地，所述获取所述存储切片的特征数据，对所述特征数据进行哈希计算，获得切片哈希值，其中，所述特征数据包括时间特征与空间特征包括：
[0017]获取所述存储切片的所述时间特征和所述空间特征；对所述时间特征和所述空间特征分别进行哈希计算，分别获得时间哈希和空间哈希，其中，所述切片哈希值包括所述时间哈希和所述空间哈希的至少一个。
[0018]由此，计算出存储切片的时间哈希和空间哈希，可以根据时间哈希和空间哈希将存储切片对应存储在哈希环上。
[0019]可选地，所述根据所述切片哈希值将所述存储切片通过预设规则存储在所述数据节点上包括：
[0020]复制所述存储切片，获得两个切片副本，记为第一副本和第二副本；将所述存储切片存储在发出写入请求的数据节点上；基于所述时间哈希通过所述预设规则存储所述第一副本；基于所述空间哈希通过所述预设规则存储所述第二副本。
[0021]由此，通过两个切片副本和存储切片，将要存储的数据分成三份，分别以不同策略存储在数据节点上，可以增加分布式文件系统的容错性，防止数据节点宕机带来的数据损失。
[0022]可选地，所述根据所述切片哈希值将所述存储切片通过预设规则存储在所述数据节点上还包括：若所述数据节点无法存储，则随机寻找与所述数据节点同一机架上的另一数据节点进行存储。
[0023]由此，保证数据节点无法存储时，可以将存储切片转而存储在其他同一机架的数据节点上，保证在不降低检索和读取效率的情况下存储数据。
[0024]可选地，所述根据所述切片哈希值将所述存储切片通过预设规则存储在所述数据节点上包括：
[0025]使每个分布式文件系统的块存储空间仅存储一个所述存储切片。
[0026]由此，每个块仅存储一个存储切片，可以保证不浪费数据节点的磁盘空间，同时提
高检索时的寻址效率，增加检索效率。
[0027]另一方面，本专利技术还提出一种计算机存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器读取并运行时实现如上所述的分布式文件系统存储优化方法。
[0028]所述计算机存储介质相对于现有技术与所述基于分布式文件系统存储优化方法所具有的优势相同，在此不再赘述。
[0029]本专利技术还提出一种计算机设备，包括存储有计算机程序的计算机可读存储介质和处理器，所述计算机程序被所述处理器读取并运行时，实现如上所述的分布式文件系统存储优化方法。
[0030]所述计算机设备相对于现有技术与所述分布式文件系统存储优化方法所具有的优势相同，在此不再赘述。
附图说明
[0031]图1为本专利技术实施例的分布式文件系统存储优化方法的流程示意图；
[0032]图2为本专利技术实施例的分布式文件系统存储优化方法的示意图
[0033]图3为本专利技术实施例的分布式文件系统存储优化方法步骤S400细化后的示意图；
[0034]图4为本专利技术实施例的分布式文件系统存储优化方法的效果图；
[0035]图5为本专利技术实施例的分本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种分布式文件系统存储优化方法，其特征在于，包括：对分布式文件系统集群的每个数据节点的标识进行哈希计算，获得每个数据节点对应的节点哈希值，将所述节点哈希值映射至哈希环上，以表示每个所述数据节点在所述哈希环上的位置；获取遥感数据，对所述遥感数据进行立方体切分，获得数据切片，对所述数据切片进行至少一次预设处理，获得存储切片；获取所述存储切片的特征数据，对所述特征数据进行哈希计算，获得切片哈希值，其中，所述特征数据包括时间特征与空间特征；根据所述切片哈希值将所述存储切片通过预设规则存储在所述数据节点上，其中，所述预设规则包括：将所述切片哈希值与所述节点哈希值进行对比，将与所述切片哈希值对应的所述存储切片存储在标定数据节点上，所述标定数据节点为大于所述切片哈希值且与所述切片哈希值最接近的所述节点哈希值对应的所述数据节点。2.根据权利要求1所述的分布式文件系统存储优化方法，其特征在于，所述对所述遥感数据进行立方体切分，获得数据切片包括：获得所述遥感数据的时间特征、空间特征和光谱维特征；将所述时间特征、所述空间特征、所述光谱维特征作为立方体的维度，对所述遥感数据进行切片。3.根据权利要求2所述的分布式文件系统存储优化方法，其特征在于，所述对所述数据切片进行至少一次预设处理，获得存储切片包括：对所述数据切片进行第二预设处理，获得所述数据切片的第二命名，其中，所述第二预设处理包括：截断所述数据切片的所述时间特征至预设精度、添加所述空间特征至截断后的时间特征后方。4.根据权利要求3所述的分布式文件系统存储优化方法，其特征在于，在所述对所述数据切片进行第二预设处理之前，还包括：对所述数据切片进行第一预设处理，获得所述数据切片的第一命名，其中，所述第一预设处理包括：对所述数据切片进行关于所述时间特征、空间投影类型与空间编码的命名。5.根据权利...
【专利技术属性】
技术研发人员：阎继宁，王力哲，王志鹏，刘洪，宋维静，邓泽，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。