用于数据存储、查询的方法及系统技术方案

技术编号:15724701 阅读:165 留言:0更新日期:2017-06-29 10:56
本发明专利技术公开了一种用于数据存储、查询的方法及系统。所述数据存储方法包括基于查询需求组织源系统数据以形成查询数据,将所述查询数据以符合HBase标准进行存储。所述数据查询方法包括:接收查询请求的请求报文;根据所述请求报文重组访问HBase的接口;通过所述接口从HBase数据获取查询结果。根据本发明专利技术实施方式,将海量历史明细数据存放在大数据Hadoop HBase集群中,利用HBase集群提供的高并发毫秒级响应能力,以低成本获得高TPS的查询能力;同时提供一个统一的查询接口服务,对外发布一致的数据查询服务,使得数据的查询更加简单容易。

【技术实现步骤摘要】
用于数据存储、查询的方法及系统
本专利技术涉及企业海量历史数据查询业务,具体地,涉及一种用于数据存储、查询的方法及系统。
技术介绍
企业海量历史数据包括企业各个业务系统产生的历史业务基础数据和历史业务明细数据等,通常从各种关系型数据库中抽取出来形成。大中型企业的业务繁多,由多个业务系统所支撑。每个业务系统有独立的应用程序,业务过程中产生的数据都存放在应用的关系数据库中。企业的业务过程产生的数据通常可分为业务基础数据和业务明细数据。业务基础数据记录了业务对象的基本信息。在金融行业,通常是客户信息数据、账户信息数据等等;在制造行业,通常是原料信息数据、产品信息数据等等。业务明细数据记录了业务对象在业务过程中变迁历史。在金融行业,通常是账户交易明细、用户操作明细等等;在制造行业,通常是制作流转明细、产品生产明细等等。随着企业业务的发展,企业历史数据的查询显得愈加必要与重要,这些历史数据查询通常都是针对历史明细数据的查询,但也可能需要历史基础数据的组合。一方面,为了提供更加友好的客户体验,有必要将每个用户涉及的历史数据都提供实时查询服务。历史明细查询需要面对众多的历史数据表,由于人力资源或预算的原因,应用系统无法为每个历史明细都开发完整的查询应用,需要有独立的系统来统一完成对历史数据的高并发在线查询工作;另一方面,业务基础数据和业务明细数据会随着业务的增长和时间的推移而不断膨胀,业务数据库都是由传统关系数据库承担,由于传统数据库本身性能、容量的限制,既无法在容量上存储如此海量的历史数据,也无法在性能上提供海量大规模数据的快速访问,需要有突破传输关系数据库的存储、查询平台来提供海量历史数据的存储与查询。现有技术条件下,海量历史数据的存储和大规模复杂查询是相悖的,更无法提供高并发在线级历史数据查询。由于历史数据的体量巨大,往往只能解决海量历史数据的归档存储,但查询使用过程繁琐,操作极为麻烦,效率低下;而高并发在线级数据查询只适用于小规模数据服务,对海量历史数据却无法满足需求。例如,一种现有技术为一种由通用关系数据库存储海量历史数据并提供高并发在线查询的方法。海量历史数据的数据存储、数据查询都采用通用数据库,业务逻辑在查询过程中完成,并针对每个查询业务提供固定的业务逻辑。所述方法包括:开发人员根据查询需求,转换需求为数据组织逻辑;开发人员用数据组织逻辑,将历史数据组织为查询数据;开发人员根据查询需求,开发符合需求逻辑的查询服务程序,并进行严格的验证、测试和部署工作。查询请求组件按新开发的查询服务接口要求,查询历史数据。由上述可知,该现有技术过程极为复杂,需要针对每个历史查询开发一个查询服务,工作量巨大,查询接口不一致,导致接口理解困难。该现有技术通常以关系数据库作为查询数据库,受关系数据库本身的限制,在应对海量历史数据时存在扩展困难、性能低下的问题,无法以低成本方式提供极高并发的在线数据查询。
技术实现思路
鉴于现有技术的上述缺陷,本专利技术实施方式提供了一种用于数据存储、查询的方法及系统。在对本专利技术的实施方式进行详细说明之前,对相关的技术术语进行简单解释,如下:源系统:企业IT建设中,根据业务活动产生数据并向其他系统提供数据内容的系统。Hadoop:一种分布式文件保存和计算框架,包括HDFS、MAPREDUCE等组件。HDFS为一种分布式文件系统,MAPREDUCE是分布式计算框架。Hive:Hive是一个基于Hadoop,提供类似SQL的HQL操作,转换为mapreduce作业对结构化数据进行分析的工具。HBase:HBase是一个基于Hadoop的高可用、高并发、分布式、面向列、可伸缩的KeyValue数据库。通用域:企业级SOA架构中,所有系统对外交换报文都通用的域(栏位)定义,通用域由企业级架构统一定义,所有报文中含义、阈值固定,不能用于其它用途域。栏位属性:企业级SOA架构中,描述报文域(栏位)的数据属性,包括C(字符串)、D(数值)、N(数字)、GROUP(记录集)等属性。一方面,本专利技术实施方式提供了一种数据存储方法,其可以包括,但不限于:基于查询需求组织源系统数据以形成查询数据,将所述查询数据以符合HBase标准进行存储。相应地,本专利技术实施方式提供了一种用于数据存储的系统,可以包括:数据形成模块,用于基于查询需求组织源系统数据以形成查询数据;数据存储模块,用于将所述查询数据以符合HBase标准进行存储。另一方面,本专利技术实施方式提供了一种数据查询方法,其可以包括,但不限于:接收查询请求的请求报文;根据所述请求报文重组访问HBase的接口;通过所述接口从HBase数据获取查询结果。相应地,本专利技术实施方式提供了一种用于数据查询的系统,可以包括:请求接收模块,用于接收查询请求的请求报文;接口重组模块,用于根据所述请求报文重组访问HBase的接口;结果获取模块,用于通过所述接口从HBase数据获取查询结果。根据本专利技术实施方式,将海量历史明细数据存放在大数据HadoopHBase集群中,利用HBase集群提供的高并发毫秒级响应能力,以低成本获得高TPS的查询能力;同时提供一个统一的查询接口服务,对外发布一致的数据查询服务,使得数据的查询更加简单容易。附图说明图1是示出了根据本专利技术实施方式的数据存储方法的流程图;图2是示出了根据本专利技术实施方式的数据查询方法的流程图;图3示出了根据本专利技术实施方式的用于数据存储的系统;图4示出了图3所示的用于数据存储的系统的数据形成模块;图5示出了图3所示的用于数据存储的系统的数据存储模块;图6示出了根据本专利技术实施方式的用于数据查询的系统;图7示出了根据本专利技术实施方式的查询数据逻辑组织流程;图8示出了根据本专利技术实施方式的查询数据存储流程;图9示出了根据本专利技术实施方式的查询服务建立流程;图10示出了根据本专利技术实施方式的查询服务提供流程。具体实施方式为了便于理解本专利技术技术方案的各个方面、特征以及优点,下面结合附图对本专利技术进行具体描述。应当理解,下述的各种实施方式只用于举例说明,而非用于限制本专利技术的保护范围。图1是示出了根据本专利技术实施方式的数据存储方法的流程图。在本专利技术的一种实施方式中,所述数据存储方法可以包括:S101.基于查询需求组织源系统数据以形成查询数据,S102.将所述查询数据以符合HBase标准进行存储。在本专利技术的一种可选实施方式中,S101可以包括:将所述源系统数据放置到HadoopHDFS上以形成基于Hive的原始数据;利用SQL语句将所述原始数据组织为符合查询需求的查询数据。其中,可选地,将所述源系统数据放置到HadoopHDFS上以形成基于Hive的原始数据可以包括:将所述源系统数据保存到HadoopHDFS上以形成Hive原始数据表,分析所述原始数据以创建符合查询需求的HBase表。可选地,利用SQL语句将所述原始数据组织为符合查询需求的查询数据可以包括:根据所述Hive原始数据表的字段结构形成SQL语句;分析所形成的SQL语句,生成HDFS上的TXT文本文件。在本专利技术的另一种可选实施方式中,S102可以包括:根据组织逻辑形成所述TXT文本文件各字段与HBase各字段之间的映射;将所述TXT文本文件转换为符合HBase存储规范的HFile文件;将所述HFile文件合本文档来自技高网
...
用于数据存储、查询的方法及系统

【技术保护点】
一种数据存储方法,其特征在于,所述数据存储方法包括:基于查询需求组织源系统数据以形成查询数据,将所述查询数据以符合HBase标准进行存储。

【技术特征摘要】
1.一种数据存储方法,其特征在于,所述数据存储方法包括:基于查询需求组织源系统数据以形成查询数据,将所述查询数据以符合HBase标准进行存储。2.根据权利要求1所述的数据存储方法,其特征在于,基于查询需求组织源系统数据以形成查询数据包括:将所述源系统数据放置到HadoopHDFS上以形成基于Hive的原始数据;利用SQL语句将所述原始数据组织为符合查询需求的查询数据。3.根据权利要求2所述的数据存储方法,其特征在于,将所述源系统数据放置到HadoopHDFS上以形成基于Hive的原始数据包括:将所述源系统数据保存到HadoopHDFS上以形成Hive原始数据表;分析所述原始数据以创建符合查询需求的HBase表。4.根据权利要求3所述的数据存储方法,其特征在于,利用SQL语句将所述原始数据组织为符合查询需求的查询数据包括:根据所述Hive原始数据表的字段结构形成SQL语句;分析所形成的SQL语句,生成HDFS上的TXT文本文件。5.根据权利要求4所述的数据存储方法,其特征在于,将所述查询数据以符合HBase标准进行存储包括:根据组织逻辑形成所述TXT文本文件各字段与HBase各字段之间的映射;将所述TXT文本文件转换为符合HBase存储规范的HFile文件;将所述HFile文件合并到HBase集群中形成HBaseRegion,并使所述Region处于在线状态。6.一种数据查询方法,其特征在于,所述数据查询方法包括:接收查询请求的请求报文;根据所述请求报文重组访问HBase的接口;通过所述接口从HBase数据获取查询结果。7.根据权利要求6所述的数据查询方法,其特征在于,根据所述请求报文重组访问HBase的接口包括:拆解所述请求报文,得到请求域中Json字符串、关键域域值;解析请求域中的Json字符串得到关键信息;根据所述关键信息重组为访问HBase的接口。8.根据权利要求7所述的数据查询方法,其特征在于,所述关键信息包括下述中的一种或多种:要查询的HBase表名、条件字段及条件值、返回字段列表。9.根据权利要求6所述的数据查询方法,其特征在于,通过所述接口从HBase数据获取查询结果包括:所述接口通过HBaseAPI访问HBase数据,获得查询结果数据;将所述查询结果数据封装为Json字符串;将封装的Json字符串封装到XML报文中;通过XML报文输出查询结果。10.一种用于数据存储的系统,其特征在于,所述系统包括...

【专利技术属性】
技术研发人员:魏和沈丽忠邓波洪毅清曾辉耀林碧珍吴勇苏毓仁林谊林华兵
申请(专利权)人:中国建设银行股份有限公司
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1