一种非关系型数据库索引的建立方法及装置制造方法及图纸

本发明专利技术提供一种非关系型数据库索引的建立方法及装置。所述方法包括：获取待处理的业务数据，读取属性字段配置表，所述属性字段配置表中包括预先根据业务数据的索引操作需求设置的索引建立维度的业务字段；根据所述属性字段配置表确定所述业务数据中需要建立索引的主业务字段；根据所述主业务字段和与所述主业务字段关联的字段特性数据建立以所述主业务字段为索引关键字的非关系型数据库索引。利用本申请各个实施例，可以基于非关系型数据库的宽表实现索引的建立，可以根据业务场景建立自己的业务索引并且保障数据和索引的一致性，可以灵活、快速、便捷的建立与业务场景适配性更好非关系型数据库索引，提高索引建立效率。

Method and device for establishing non relational database index

The invention provides a method and a device for establishing a non relational database index. The method comprises: acquiring business data to be processed, read attribute field configuration table, the attribute field configuration table includes business field dimensions previously established according to the index requirements of the business operation data set index; according to the attribute field configuration table to determine the main business fields need to establish the index of business data; according to the field data of the characteristics of the main business fields and with the main business field to establish the main business field is non relational database keyword index. The application for various embodiments, non relational database is established to realize the wide table based on the index, according to the consistency of business scenarios to establish business index and their security data and index, can be flexible, fast and convenient construction and business scene matching better non relational database index, improve the indexing efficiency.

【技术实现步骤摘要】
一种非关系型数据库索引的建立方法及装置
本申请属于计算机数据处理
，尤其涉及一种非关系型数据库索引的建立方法及装置。
技术介绍
随着计算机和互联网技术的迅速发展，依赖于互联网的许多行业的业务数呈现大数据量、快速增长的趋势。大数据时代的到来，对业务数据的存储提出了新的挑战。目前，常规的业务数据存储还是主要基于建立在关系模型基础上的关系型数据库，借助于集合代数等数学概念和方法来处理数据库中的数据。如目前当前主流的关系型数据库有Oracle、DB2、PostgreSQL、MicrosoftSQLServer、MicrosoftAccess、MySQL。在大量业务数据环境下，关系型数据库已经不能满足一些业务发展的数据存储需求，所以在存储的介质向NoSQL数据库(泛指非关系型的数据库)方向迁移，NoSQL能够存储的数据量非常大，可以很好的解决关系型数据库的分库分表问题。但是因为宽表的rowkey(行主键)限制，目前只有在明确知道rowkey的情况下，才能查询出满足条件的数据，例如一般情况下业务人员通常是不知道rowkey(比如UserId是rowkey，UserMobile非rowkey)，数据分析的人员可能只知道UserMobile信息。这在一般的数据分析平台(数据建模，案件，审理，运营)等不能满足数据操作需求。目前现有技术中有一些搜索引擎能够支持类似这样的索引建立，如，Microsoft的JET(JointEngineeringTechnologe)是Access和VisualBasic所提供的内嵌数据库功能的核心元素，JET是一种全能关系数据库引擎，可用来处理大多数中小型数据库；ODBC(OpenDataBaseConnectivity，开放数据库互连)是由Microsoft定义的一种数据库访问标准，它提供一种标准的数据库访问方法以访问不同平台的数据库。基于例如上述JET或ODBC的搜索引擎技术可以实现一些业务场景下的宽表的索引建立。但是现有使用搜索引擎建立索引的方式中，索引构建时间有延迟，构建出的索引同样占用很大的存储空间，对于一些业务搜索维度不多的业务数据索引操作需求，使用搜索引擎工具构建索引则相对消耗的构建时间较长、过程复杂，且因搜索维度较少导致构建的所有稳定性也较差，整体使用效率和效果较低。
技术实现思路
本申请目的在于提供一种非关系型数据库索引的建立方法及装置，可以基于非关系型数据库的宽表实现索引的建立，可以根据业务场景建立自己的业务索引并且保障数据和索引的一致性，可以灵活、快速、便捷的建立与业务场景适配性更好非关系型数据库索引，提高索引建立效率。本申请提供的一种非关系型数据库索引的建立方法及装置是这样实现的：一种非关系型数据库索引的建立方法，所述方法包括：获取待处理的业务数据，读取属性字段配置表，所述属性字段配置表中包括预先根据业务数据的索引操作需求设置的索引建立维度的业务字段；根据所述属性字段配置表确定所述业务数据中需要建立索引的主业务字段；根据所述主业务字段和与所述主业务字段关联的字段特性数据建立以所述主业务字段为索引关键字的非关系型数据库索引。一种非关系型数据库索引的建立装置，所述装置包括：数据读取模块，用于获取待处理的业务数据，读取属性字段配置表，所述属性字段配置表中包括预先根据业务数据的索引操作需求设置的索引建立维度的业务字段；索引字段确定模块，用于根据所述属性字段配置表确定所述业务数据中需要建立索引的主业务字段；索引构建模块，用于根据所述主业务字段和与所述主业务字段关联的字段特性数据建立以所述主业务字段为索引关键字的非关系型数据库索引。本申请提供的一种非关系型数据库索引的建立方法及装置，可以预先在属性字段配置表(如scheme表数据)中对设计并存储需要进行业务操作的属性字段，这样在业务数据存储时可以读取属性字段配置表，根据业务字段和与所述业务字段关联的字段特性数据进行索引字段的建立。利用本申请提供的实施方案，可以实现根据实际的业务场景需求实现非关系型数据库的宽表索引的建立，这样使得作业人员灵活、快速、便捷的建立与业务场景适配性更好非关系型数据库索引，解决了大数据环境下的多维度检索的索引建立需求，满足用户根据业务场景建立适配索引的需求，提高索引建立效率。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本申请一种非关系型数据库索引的建立方法一种实施例的方法流程示意图；图2是本申请一种实施例场景中采用scheme设计的属性字段配置表示意图；图3是本申请一种提供索引保障机制的应用场景下一个建立索引的处理流程示意图；图4是本申请一个实施例场景中Hbaseindex_table的存储设计表的时间聚合方式示意图；图5是本申请提供的一种非关系型数据库索引的建立装置一种实施例的模块结构实施图；图6是本申请提供的一种非关系型数据库索引的建立装置一种实施例的模块结构实施图。具体实施方式为了使本
的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。下面结合附图对本申请所述的一种非关系型数据库索引的建立方法进行详细的说明。图1是本申请所述一种非关系型数据库索引的建立方法一种实施例的方法流程图。虽然本申请提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者部分合并后更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中，这些步骤的执行顺序或装置的模块结构不限于本申请实施例或附图所示的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置或终端产品应用时，可以按照实施例或者附图所示的方法或模块结构进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境、甚至包括分布式处理的实施环境)。本申请中所述的非关系型数据库索引的建立方法，提供了一套结合业务建立索引的方法，业务人员可用只需要提供一套针对业务场景预先设计的属性字段配置表数据，如Scheme，需要在哪些数据维度建立索引进行说明，则利用本申请方法可以自动在数据存储时候落地生成索引数据。其他的实施例中，操作人员可以使用自己熟悉的数据库语言(如SQL)进行操作，可以将SQL集合用户设计的Scheme映射为宽表执行的语法。具体的如图1所示，本申请提供的一种非关系型数据库索引的建立方法的一种实施例中，所述方法可以包括：S1：获取待处理的业务数据，读取属性字段配置表，所述属性字段配置表中包括预先根据业务数据的索引操作需求设置的索引建立维度的业务字段。本实施例中所述的待处理的业务数据可以为非关系型数据库中需要建立索引的业务数据，如NoSQL数据库中的数据。其他的实施场景中，所述的待处理的业务数据也可以为其他关系本文档来自技高网...

【技术保护点】
一种非关系型数据库索引的建立方法，其特征在于，所述方法包括：获取待处理的业务数据，读取属性字段配置表，所述属性字段配置表中包括预先根据业务数据的索引操作需求设置的索引建立维度的业务字段；根据所述属性字段配置表确定所述业务数据中需要建立索引的主业务字段；根据所述主业务字段和与所述主业务字段关联的字段特性数据建立以所述主业务字段为索引关键字的非关系型数据库索引。

【技术特征摘要】
1.一种非关系型数据库索引的建立方法，其特征在于，所述方法包括：获取待处理的业务数据，读取属性字段配置表，所述属性字段配置表中包括预先根据业务数据的索引操作需求设置的索引建立维度的业务字段；根据所述属性字段配置表确定所述业务数据中需要建立索引的主业务字段；根据所述主业务字段和与所述主业务字段关联的字段特性数据建立以所述主业务字段为索引关键字的非关系型数据库索引。2.如权利要求1所述的一种非关系型数据库索引的建立方法，其特征在于，所述方法还包括：根据设置的定时任务检查预先为待处理的业务数据建立的任务表，根据检测结果判断所述业务数据的存储状态与对应在非关系型数据库中的索引数据的存储状态是否保持一致；所述任务表被设置成至少包括标识所述业务数据的索引任务创建是否过期的时间信息、所述业务数据以及对应的索引数据是否已正常存储的存储状态信息；若一致，则相应的更改所述待处理的业务数据在所述任务表中的任务数据状态。3.如权利要求2所述的一种非关系型数据库索引的建立方法，其特征在于，所述任务表为根据所述业务数据采用MYSQL语言设置的包括任务创建时间、任务执行时间、任务状态标识、任务过期时间、任务完成时间的数据信息监控表。4.如权利要求3所述的一种非关系型数据库索引的建立方法，其特征在于，所述方法还包括：当监测到所述业务数据存储异常或所述业务数据的索引数据存储异常时，标记并存储所述处理异常的业务数据或索引数据，并更新所述任务表中相应的任务状态标识。5.如权利要求1所述的一种非关系型数据库索引的建立方法，其特征在于，所述预先设置的属性字段配置表包括：预先根据所述业务数据的业务操作需要采用scheme语言构建生成。6.如权利要求1至5中任意一项所述的一种非关系型数据库索引的建立方法，其特征在于，所述方法还包括：对存储存业务数据的非关系型数据库中相同的行主键进行预定维度的聚合，形成聚合后非关系型数据库。7.如权利要求6所述的一种非关系型数据库索引的建立方法，其特征在于，对存储存业务数据的非关系型数据库中相同的行主键进行预定维度的聚合包括：设置非关系型数据库中...

【专利技术属性】
技术研发人员：王吉元，王玉文，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY