一种大数据管理方法及系统技术方案

本发明专利技术公开了一种大数据管理方法及系统。其中，该方法包括：获取大数据索引信息和原始索引目录；根据大数据索引信息，生成检索侧重数据；将所述检索侧重数据利用映射换算，得到索引调整参数；根据所述索引调整参数，调整所述原始索引目录，得到优化索引目录。本发明专利技术解决了现有技术中的大数据管理方法仅仅是将索引存储或者部署方式进行改变，或者增加索引占用的空间或者计算资源，是表面上看起来索引效率有所提升，但实际遇到复杂索引任务的时候还是会降低索引效率，甚至导致整个大数据平台陷入瘫痪状态，大大降低了大数据平台管理的稳定性和可靠性的技术问题。性和可靠性的技术问题。性和可靠性的技术问题。

【技术实现步骤摘要】
一种大数据管理方法及系统


[0001]本专利技术涉及大数据平台管理领域，具体而言，涉及一种大数据管理方法及系统。

技术介绍

[0002]随着智能化科技的不断发展，人们的生活、工作、学习之中越来越多地用到了智能化设备，使用智能化科技手段，提高了人们生活的质量，增加了人们学习和工作的效率。
[0003]目前，大数据平台的管理通常会用到对大数据平台中涉及到的索引目录或者索引算法进行规定和优化，并在大数据平台进行数据检索和数据计算的时候，利用索引算法的变化而改变索引效率，提高用户体验。但是现有技术中的大数据管理方法仅仅是将索引存储或者部署方式进行改变，或者增加索引占用的空间或者计算资源，是表面上看起来索引效率有所提升，但实际遇到复杂索引任务的时候还是会降低索引效率，甚至导致整个大数据平台陷入瘫痪状态，大大降低了大数据平台管理的稳定性和可靠性。
[0004]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0005]本专利技术实施例提供了一种大数据管理方法及系统，以至少解决现有技术中的大数据管理方法仅仅是将索引存储或者部署方式进行改变，或者增加索引占用的空间或者计算资源，是表面上看起来索引效率有所提升，但实际遇到复杂索引任务的时候还是会降低索引效率，甚至导致整个大数据平台陷入瘫痪状态，大大降低了大数据平台管理的稳定性和可靠性的技术问题。
[0006]根据本专利技术实施例的一个方面，提供了一种大数据管理方法，包括：获取大数据索引信息和原始索引目录；根据大数据索引信息，生成检索侧重数据；将所述检索侧重数据利用映射换算，得到索引调整参数；根据所述索引调整参数，调整所述原始索引目录，得到优化索引目录。
[0007]可选的，在所述获取大数据索引信息和原始索引目录之前，所述方法还包括：利用大数据平台将完整索引目录进行预处理，得到所述原始索引目录。
[0008]可选的，所述根据大数据索引信息，生成检索侧重数据包括：获取索引识别模型，其中，所述索引识别模型利用大数据平台的历史数据训练得到；将所述大数据索引信息输入至所述索引识别模型中，得到检索侧重数据。
[0009]可选的，所述将所述检索侧重数据利用映射换算，得到索引调整参数包括：利用公式；计算所述索引调整参数，其中，F（s）是索引调整参数，k和n是检索侧重数据的层级参数，Data是检索侧重数据，a是映射因子，其中，a取大于1的自然数。
[0010]根据本专利技术实施例的另一方面，还提供了一种大数据管理方法及系统，包括：获取模块，用于获取大数据索引信息和原始索引目录；生成模块，用于根据大数据索引信息，生成检索侧重数据；映射模块，用于将所述检索侧重数据利用映射换算，得到索引调整参数；调整模块，用于根据所述索引调整参数，调整所述原始索引目录，得到优化索引目录。
[0011]可选的，所系统还包括：预处理模块，用于利用大数据平台将完整索引目录进行预处理，得到所述原始索引目录。
[0012]可选的，所述生成模块包括：获取单元，用于获取索引识别模型，其中，所述索引识别模型利用大数据平台的历史数据训练得到；输入单元，用于将所述大数据索引信息输入至所述索引识别模型中，得到检索侧重数据。
[0013]可选的，所述映射模块包括：计算单元，用于利用公式；计算所述索引调整参数，其中，F（s）是索引调整参数，k和n是检索侧重数据的层级参数，Data是检索侧重数据，a是映射因子，其中，a取大于1的自然数。
[0014]根据本专利技术实施例的另一方面，还提供了一种非易失性存储介质，所述非易失性存储介质包括存储的程序，其中，所述程序运行时控制非易失性存储介质所在的设备执行一种大数据管理方法。
[0015]根据本专利技术实施例的另一方面，还提供了一种电子系统，包含处理器和存储器；所述存储器中存储有计算机可读指令，所述处理器用于运行所述计算机可读指令，其中，所述计算机可读指令运行时执行一种大数据管理方法。
[0016]在本专利技术实施例中，采用获取大数据索引信息和原始索引目录；根据大数据索引信息，生成检索侧重数据；将所述检索侧重数据利用映射换算，得到索引调整参数；根据所述索引调整参数，调整所述原始索引目录，得到优化索引目录的方式，解决了现有技术中的大数据管理方法仅仅是将索引存储或者部署方式进行改变，或者增加索引占用的空间或者计算资源，是表面上看起来索引效率有所提升，但实际遇到复杂索引任务的时候还是会降低索引效率，甚至导致整个大数据平台陷入瘫痪状态，大大降低了大数据平台管理的稳定性和可靠性的技术问题。
附图说明
[0017]此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是根据本专利技术实施例的一种大数据管理方法及系统的流程图；图2是根据本专利技术实施例的一种大数据管理方法及系统的结构框图；图3是根据本专利技术实施例的用于执行根据本专利技术的方法的终端设备的框图；图4是根据本专利技术实施例的用于保持或者携带实现根据本专利技术的方法的程序代码的存储单元。
具体实施方式
[0018]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0019]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0020]根据本专利技术实施例，提供了一种大数据管理方法及系统的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
实施例一
[0021]图1是根据本专利技术实施例的一种大数据管理方法及系统的流程图，如图1所示，该方法包括如下步骤：步骤S102，获取大数据索引信息和原始索引目录。
[0022]具体的，本专利技术实施例为了解决现有技术中的大数据管理方法仅仅是将索引存储或者部署方式进行改变，或者增加索引占用的空间或者计算资源，是表面上看起来索引效率有所提升，但实际遇到复杂索引任务的时候还是会降低索引效率，甚至导致整个大数据平台陷入瘫痪状态，大大降低了大数据平台管理的稳定性和可靠性的技术问题本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据管理方法，其特征在于，包括：获取大数据索引信息和原始索引目录；根据大数据索引信息，生成检索侧重数据；将所述检索侧重数据利用映射换算，得到索引调整参数；根据所述索引调整参数，调整所述原始索引目录，得到优化索引目录。2.根据权利要求1所述的方法，其特征在于，在所述获取大数据索引信息和原始索引目录之前，所述方法还包括：利用大数据平台将完整索引目录进行预处理，得到所述原始索引目录。3.根据权利要求1所述的方法，其特征在于，所述根据大数据索引信息，生成检索侧重数据包括：获取索引识别模型，其中，所述索引识别模型利用大数据平台的历史数据训练得到；将所述大数据索引信息输入至所述索引识别模型中，得到检索侧重数据。4. 根据权利要求1所述的方法，其特征在于，所述将所述检索侧重数据利用映射换算，得到索引调整参数包括：利用公式；计算所述索引调整参数，其中，F（s）是索引调整参数，k和n是检索侧重数据的层级参数，Data是检索侧重数据，a是映射因子，其中，a取大于1的自然数。5.一种大数据管理系统，其特征在于，包括：获取模块，用于获取大数据索引信息和原始索引目录；生成模块，用于根据大数据索引信息，生成检索侧重数据；映射模块，用于将所述检索侧重数据利用映射换算，得到...

【专利技术属性】
技术研发人员：李燕，
申请(专利权)人：沈阳市达祥计算机软件开发有限公司，
类型：发明
国别省市：