数据检索方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术涉及数据仓库领域，公开了一种数据检索方法、装置、计算机设备及存储介质，其方法包括：获取客户端提交的待查询的检索字段，检索字段包括唯一属性、检索属性和分布属性；根据预设编码规则对检索字段进行编码，生成行键；根据行键在数据仓库进行检索，获取检索结果；将检索结果返回给客户端。本发明专利技术可以大大提高大数据仓库的检索效率。提高大数据仓库的检索效率。提高大数据仓库的检索效率。

【技术实现步骤摘要】
数据检索方法、装置、计算机设备及存储介质


[0001]本专利技术涉及数据仓库领域，尤其涉及一种数据检索方法、装置、计算机设备及存储介质。

技术介绍

[0002]在大数据数仓里，对于存储的数据存在如下需求：数据检索均匀分散性、行键数据唯一性、事实表与维度表关联性、数据快速检索性。然而，在现有的关系型数据库中，多采用星型或雪花型，容易出现数据倾斜，影响数据集群的性能。而且它们多以自然序号作为主键字段，导致数据检索效率低下。

技术实现思路

[0003]基于此，有必要针对上述技术问题，提供一种数据检索方法、装置、计算机设备及存储介质，以大数据仓库的检索效率。
[0004]一种数据检索方法，包括：
[0005]获取客户端提交的待查询的检索字段，所述检索字段包括唯一属性、检索属性和分布属性；
[0006]根据预设编码规则对所述检索字段进行编码，生成行键；
[0007]根据所述行键在数据仓库进行检索，获取检索结果；
[0008]将所述检索结果返回给所述客户端。
[0009]一种数据检索装置，包括：
[0010]获取检索字段模块，用于获取客户端提交的待查询的检索字段，所述检索字段包括唯一属性、检索属性和分布属性；
[0011]生成行键模块，用于根据预设编码规则对所述检索字段进行编码，生成行键；
[0012]检索模块，用于根据所述行键在数据仓库进行检索，获取检索结果；
[0013]返回检索结果模块，用于将所述检索结果返回给所述客户端。/>[0014]一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现上述数据检索方法。
[0015]一个或多个存储有计算机可读指令的可读存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如上述数据检索方法。
[0016]本专利技术可以大大提高大数据仓库的检索效率。
附图说明
[0017]为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图
获得其他的附图。
[0018]图1是本专利技术一实施例中数据检索方法的一应用环境示意图；
[0019]图2是本专利技术一实施例中数据检索方法的一流程示意图；
[0020]图3是本专利技术一实施例中数据检索装置的一结构示意图；
[0021]图4是本专利技术一实施例中计算机设备的一示意图。
具体实施方式
[0022]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0023]本实施例提供的数据检索方法，可应用在如图1的应用环境中，其中，客户端与服务端进行通信。其中，客户端包括但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
[0024]在一实施例中，如图2所示，提供一种数据检索方法，以该方法应用在图1中的服务端为例进行说明，包括如下步骤：
[0025]S10、获取客户端提交的待查询的检索字段，所述检索字段包括唯一属性、检索属性和分布属性；
[0026]S20、根据预设编码规则对所述检索字段进行编码，生成行键；
[0027]S30、根据所述行键在数据仓库进行检索，获取检索结果；
[0028]S40、将所述检索结果返回给所述客户端。
[0029]可理解地，可以在数据仓库的查询页面上设置若干输入框，用于接收用户在客户端上提交的待查询的检索字段。在此处，检索字段包括唯一属性、检索属性和分布属性。
[0030]其中，唯一属性指的是数据存储的唯一标记属性，可以确保数据检索时能快速定位到唯一数据记录，提升检索的效率。例如，在个人基础信息表中，进行数据源调研时，若证件号码、证件类型以及姓名可以确认其唯一性，那么可以将证件号码、证件类型、姓名中的任意一个或多个设置为唯一属性。在一示例中，唯一属性可以是身份证号码，如340*************53。
[0031]检索属性主要针对数据应用场景，确保数据信息能够快速被检索到，且尽量分布均匀，尤其在高并发的情况下可减少集群的压力，提升程序性能。如应用场景中，用户喜欢根据英文简称进行检索，那么检索属性可为英文简称。在一示例中，检索属性可以是个人英文名，如Root。
[0032]可以根据数据表的数据分布情况，确定其分布特征，选取其中的一个字段作为分布属性。通过分布属性可以避免数据的分布不均匀。在一示例中，分布属性可以设置为：BI。
[0033]预设编码规则可以设置为：拼接唯一属性、检索属性和分布属性，生成编码字段，然后用特定的编码算法对编码字段进行编码，生成分布编码，拼接分布编码与编码字段，生成行键(rowkey)。在此处，若分布编码的位数较长，可以只截取一部分的分布编码。在行键中加入编码字段，可以便于数据表的检索。在一些示例中，为了更好分辨各个属性，属性之
间可以加入连接字符，如“|”、“#”等。在一示例中，行键可表示为：85CAD955#340*************53#Root#BI。在另一示例中，行键也可表示为：85CAD955#340*************53|Root|BI。
[0034]使用行键可以在数据仓库的数据表中进行检索，获取相应的检索结果。然后将检索结果返回给客户端。
[0035]本实施例中，检索字段使用了三种不同的属性，可以大大提高数据的检索效率。
[0036]可选的，步骤S20，即所述根据预设编码规则对所述检索字段进行编码，生成行键，包括：
[0037]S201、拼接所述唯一属性、所述检索属性和所述分布属性，获得拼接字段；
[0038]S202、通过预设算法对所述拼接字段进行编码，生成分布编码；
[0039]S203、根据所述拼接字段和所述分布编码生成所述行键。
[0040]可理解地，可以对唯一属性、检索属性和分布属性进行拼接，形成拼接字段。属性之间可用连接字符连接。连接字符可以根据实际需要选用，如可以是“|”、“#”等。在一示例中，拼接字段可表示为：340*************30|Linkey|ZHU。其中，“340*************30”为唯一属性，“Linkey”为检索属性，“ZHU”为分布属性。
[0041]预设算法可以根据实际需要选用，如可以是MD5算法(Message
‑
Digest Algorithm，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据检索方法，其特征在于，包括：获取客户端提交的待查询的检索字段，所述检索字段包括唯一属性、检索属性和分布属性；根据预设编码规则对所述检索字段进行编码，生成行键；根据所述行键在数据仓库进行检索，获取检索结果；将所述检索结果返回给所述客户端。2.如权利要求1所述的数据检索方法，其特征在于，所述根据预设编码规则对所述检索字段进行编码，生成行键，包括：拼接所述唯一属性、所述检索属性和所述分布属性，获得拼接字段；通过预设算法对所述拼接字段进行编码，生成分布编码；根据所述拼接字段和所述分布编码生成所述行键。3.如权利要求2所述的数据检索方法，其特征在于，所述根据所述拼接字段和所述分布编码生成所述行键，包括：从所述分布编码提取指定长度的字符串；拼接所述字符串和所述拼接字段，生成所述行键。4.如权利要求2所述的数据检索方法，其特征在于，所述预设算法包括MD5算法。5.如权利要求2所述的数据检索方法，其特征在于，所述根据所述行键在数据仓库进行检索，获取检索结果，包括：若所述数据仓库存储有与所述行健对应的键值，根据所述键值生成所述检索结果；若所述数据仓库未存储有与所述行健对应的键值，根据空集生成所述检索结果。6.如权利要求1所述的数据检索方法，其特征在于，所述获取客户端提交的待查询的检索字段，包括：获取客户端提交的初始检索字段；通过预...

【专利技术属性】
技术研发人员：杨万强，毕小根，朱领旗，
申请(专利权)人：上海复深蓝软件股份有限公司，
类型：发明
国别省市：