一种数据检索方法和装置制造方法及图纸

本发明专利技术实施例提供了一种数据检索方法和装置，所述方法包括：扫描第一数据表，获取所述第一数据表中每个第一

【技术实现步骤摘要】
一种数据检索方法和装置


[0001]本专利技术涉及大数据
，特别是涉及一种数据检索方法和一种数据检索装置
。

技术介绍

[0002]传统的数据处理主要使用关系数据库来完成，在面对大规模的数据存储时明显力不从心
。
例如，在有关高并发操作和海量数据统计运算的应用中，关系数据库的性能就明显下降
。
在这样的背景下，非关系数据库开始成为主流的选择
。
为了更大地拓展数据库的存储潜力，谷歌
(Google)
公司首先研发了
BigTable
，这就是
HBase
的原型
。
[0003]HBase
是一个高可靠
、
高性能
、
面向列
、
可伸缩的分布式数据库，支持海量数据存储
。
底层物理存储是以
Key
‑
Value(
关键字
‑
值
)
的数据格式存储，
HBase
中的所有数据文件都存储在
Hadoop
分布式文件系统
(Hadoop Distributed File System
，
HDFS)
上
。
[0004]参照图1，示出了现有技术中基于
HBase
的数据库存储方式示意图，只有
Key
上建立了索引，
Value
上没有建立索引，当检索数据时，通过索引快速的在
Key
值中进行检索
。
[0005]然而，基于
HBase
存储及检索的同类产品，只能使用
HBase
的
Key
进行快速检索，而不能使用
Value
值进行快速检索
。
这是因为
HBase
同类产品只有
Key
上建立了索引，
Value
上没有建立索引
。
如果要检索
Value
数据，需要扫描所有数据，即扫描一遍所有的
Value
值，来过滤出要检索的数据值
。
这样的检索性能非常低下，随着数据量的增多，检索的时间非常长，甚至超时报错，出不来检索结果
。
[0006]因此，如何在海量数据中实现快速检索成为本领域技术人员急需解决的重要课题
。

技术实现思路

[0007]针对现有技术中的缺陷，本专利技术实施例提供了一种数据检索方法和一种数据检索装置
。
[0008]第一方面，本专利技术实施例提供一种数据检索的方法，包括：
[0009]扫描第一数据表，获取所述第一数据表中每个第一
Key
数据对应的第一
Value
数据，其中所述第一数据表为关键字
‑
值
Key
‑
Value
的数据格式；
[0010]以所述数据格式创建第二数据表，将所述第一数据表中的第一
Value
数据作为所述第二数据表中的第二
Key
数据，将所述第一数据表中所述第一
Value
数据对应的第一
Key
数据，作为所述第二数据表中所述第二
Key
数据对应的第二
Value
数据；
[0011]对所述第二
Key
数据建立索引；
[0012]根据所述索引从所述第二数据表中检索待检索数据
。
[0013]如上述方法，可选地，所述扫描第一数据表，包括：
[0014]按照预设顺序，扫描所述第一数据表中的所有第一
Key
数据
。
[0015]如上述方法，可选地，所述扫描所述第一数据表中的所有第一
Key
数据，包括：
[0016]按预设批次要求，分批次扫描所述第一数据表中的所有第一
Key
数据；
[0017]相应地，所述以所述数据格式创建第二数据表，将所述第一数据表中的第一
Value
数据作为所述第二数据表中的第二
Key
数据，将所述第一数据表中所述第一
Value
数据对应的第一
Key
数据，作为所述第二数据表中所述第二
Key
数据对应的第二
Value
数据，包括：
[0018]以所述数据格式创建第二数据表，按照扫描批次依次将所述第一数据表中的第一
Value
数据作为所述第二数据表中的第二
Key
数据，将所述第一数据表中所述第一
Value
数据对应的第一
Key
数据，作为所述第二数据表中所述第二
Key
数据对应的第二
Value
数据；
[0019]相应地，所述根据所述索引从所述第二数据表中检索待检索数据，包括：
[0020]在所述第二数据表创建完成之后，根据所述索引从所述第二数据表中检索待检索数据
。
[0021]如上述方法，可选地，所述将所述第一数据表中的第一
Value
数据作为所述第二数据表中的第二
Key
数据，将所述第一数据表中所述第一
Value
数据对应的第一
Key
数据，作为所述第二数据表中所述第二
Key
数据对应的第二
Value
数据，还包括：
[0022]若所述第二
Key
数据对应的第二
Value
数据已存在，则将所述第一数据表中所述第一
Value
数据对应的第一
Key
数据增加到所述第二
Value
数据中
。
[0023]如上述方法，可选地，所述将所述第一数据表中的第一
Value
数据作为所述第二数据表中的第二
Key
数据，包括：
[0024]根据检索业务需求，从所述第一
Value
数据中筛选出第三
Value
数据，作为索引数据；
[0025]将所述索引数据作为所述第二数据表中的第二
Key
数据
。
[0026]如上述方法，可选地，在扫描第一数据表之前，还包括：
[0027]若所述第一数据表中的第一
Value
数据为文本数据，则按预设规则对所述第一
Value
数据进行转化
。
[0028]如上述方法，可选地，所述根据所述索引从所述第二数据表中检索待检索数据，包括：...

【技术保护点】

【技术特征摘要】
1.
一种数据检索的方法，其特征在于，包括：扫描第一数据表，获取所述第一数据表中每个第一
Key
数据对应的第一
Value
数据，其中所述第一数据表为关键字
‑
值
Key
‑
Value
的数据格式；以所述数据格式创建第二数据表，将所述第一数据表中的第一
Value
数据作为所述第二数据表中的第二
Key
数据，将所述第一数据表中所述第一
Value
数据对应的第一
Key
数据，作为所述第二数据表中所述第二
Key
数据对应的第二
Value
数据；对所述第二
Key
数据建立索引；根据所述索引从所述第二数据表中检索待检索数据
。2.
根据权利要求1所述的方法，其特征在于，所述扫描第一数据表，包括：按照预设顺序，扫描所述第一数据表中的所有第一
Key
数据
。3.
根据权利要求2所述的方法，其特征在于，所述扫描所述第一数据表中的所有第一
Key
数据，包括：按预设批次要求，分批次扫描所述第一数据表中的所有第一
Key
数据；相应地，所述以所述数据格式创建第二数据表，将所述第一数据表中的第一
Value
数据作为所述第二数据表中的第二
Key
数据，将所述第一数据表中所述第一
Value
数据对应的第一
Key
数据，作为所述第二数据表中所述第二
Key
数据对应的第二
Value
数据，包括：以所述数据格式创建第二数据表，按照扫描批次依次将所述第一数据表中的第一
Value
数据作为所述第二数据表中的第二
Key
数据，将所述第一数据表中所述第一
Value
数据对应的第一
Key
数据，作为所述第二数据表中所述第二
Key
数据对应的第二
Value
数据；相应地，所述根据所述索引从所述第二数据表中检索待检索数据，包括：在所述第二数据表创建完成之后，根据所述索引从所述第二数据表中检索待检索数据
。4.
根据权利要求3所述的方法，其特征在于，所述将所述第一数据表中的第一
Value
数据作为所述第二数据表中的第二
Key
数据，将所述第一数据表中所述第一
Value
数据对应的第一
Key
数据，作为所述第二数据表中所述第二
Key
数据对应的第二
Value
数据，还包括：若所述第二
Key
数据对应的第二
Value
数据已存在，则将所述第一数据表中所述第...

【专利技术属性】
技术研发人员：潘雅洁，柳立峰，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：