基于HBase的金融数据存储方法、装置以及存储介质制造方法及图纸

本申请公开了一种基于HBase的金融数据存储方法、装置以及存储介质。其中，该方法，包括：调取金融数据文件；根据所述金融数据文件中包括的多个属性的参数值，生成行键，其中所述多个属性包括以下至少任意一项：股票代码、股票类型、交易日期以及交易时间；以及根据所述行键，将所述金融数据文件中的金融数据导入HBase存储系统。本公开通过将海量金融领域的交易数据，存储在HBase存储系统中，实现了金融数据的合理存储和业务的快速查询与计算的技术效果。进而解决了现有技术中存在的由于将金融数据存储在关系型数据库、本地磁盘或数据仓库中，造成了无法实现海量金融数据的合理存储、高频查询以及快速计算的技术问题。

Financial Data Storage Method, Device and Storage Medium Based on HBase

This application discloses a financial data storage method, device and storage medium based on HBase. Among them, the method includes: fetching financial data files; generating row keys according to the parameter values of multiple attributes included in the financial data files, which include at least one of the following attributes: stock code, stock type, trading date and trading time; and importing financial data from the financial data files into HBase storage according to the row keys. Storage system. This disclosure achieves the technical effect of reasonable storage of financial data and fast query and calculation of business by storing massive transaction data in HBase storage system. Furthermore, it solves the technical problems existing in the existing technology, such as the storage of financial data in relational databases, local disks or data warehouses, which makes it impossible to realize the reasonable storage, high frequency query and fast calculation of massive financial data.

【技术实现步骤摘要】
基于HBase的金融数据存储方法、装置以及存储介质
本申请涉及金融数据存储领域，特别是涉及一种基于HBase的金融数据存储方法、装置以及存储介质。
技术介绍
金融数据，涉及金融领域的股票、期权、期货以及每个交易日从开盘到收盘的数据记录，数据记录为毫秒级，造成该类数据历史基数、日增量都相对庞大，如此海量的历史数据和日增量数据对于存储设备、业务的快速查询与分析产生了巨大的挑战。当前主要采用关系型数据库或者直接存储于本地磁盘的方式对金融数据进行存储和处理。此类存储方法的存储和查询计算效率低下，并不能很好地服务于具有高频、实时、数据字段变化特点的金融领域的量化分析、交易业务。现有的以CSV文件形式存储于本地磁盘技术中，查询过程复杂，每次查询都需要解析一次所需CSV文件，效率低下，不能实现海量金融数据合理存储、快速查询与响应的问题；以及内存中对数据预处理需多批次进行，耗时严重问题等。针对上述的现有技术中存在的由于将金融数据存储在关系型数据库、本地磁盘或数据仓库中，造成了无法实现海量金融数据的合理存储、高频查询以及快速计算的技术问题，目前尚未提出有效的解决方案。
技术实现思路
本公开的实施例提供了一种基于HBase的金融数据存储方法、装置以及存储介质，以至少解决现有技术中存在的由于将金融数据存储在关系型数据库、本地磁盘或数据仓库中，造成了无法实现海量金融数据的合理存储、高频查询以及快速计算的技术问题。根据本公开实施例的一个方面，提供了一种基于HBase的金融数据存储方法，包括：调取金融数据文件；根据金融数据文件中包括的多个属性的参数值，生成行键，其中多个属性包括以下至少任意一项：股票代码、股票类型、交易日期以及交易时间；以及根据行键，将金融数据文件中的金融数据导入HBase存储系统。根据本公开实施例的另一个方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时由处理器执行以上任意一项所述的方法。根据本公开实施例的另一个方面，还提供了一种基于HBase的金融数据存储装置，包括：调取模块，用于调取金融数据文件；第一生成模块，用于根据金融数据文件中包括的多个属性的参数值，生成行键，其中多个属性包括以下至少任意一项：股票代码、股票类型、交易日期以及交易时间；以及导入模块，用于根据行键，将金融数据文件中的金融数据导入HBase存储系统。根据本公开实施例的另一个方面，还提供了一种基于HBase的金融数据存储装置，包括：处理器；以及存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：调取金融数据文件；根据金融数据文件中包括的多个属性的参数值，生成行键，其中多个属性包括以下至少任意一项：股票代码、股票类型、交易日期以及交易时间；以及根据行键，将金融数据文件中的金融数据导入HBase存储系统。在本公开实施例中，由于HBase表字段以列存储为特点，对于不同数据字段，通过增删列来上传数据，无需对历史表数据重写、迁移，方便快捷，不易丢失。并且HBase存储系统300具有强大的查询机制，可以通过行键作为查询条件对所查询数据快速定位获取。从而，本公开通过将海量金融领域的交易数据，存储在HBase存储系统300中，实现了金融数据的合理存储和业务的快速查询与计算的技术效果。进而解决了现有技术中存在的由于将金融数据存储在关系型数据库、本地磁盘或数据仓库中，造成了无法实现海量金融数据的合理存储、高频查询以及快速计算的技术问题。附图说明此处所说明的附图用来提供对本公开的进一步理解，构成本申请的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：图1是用于实现根据本公开实施例1所述的方法的计算机终端的硬件结构框图；图2是根据本公开实施例1所述的基于HBase的金融数据存储系统的示意图；图3是根据本公开实施例1的第一个方面所述的基于HBase的金融数据存储方法的流程示意图；图4是根据本公开实施例1的第一个方面所述的行键的组成示意图；图5是根据本公开实施例1的第一个方面所述的各分区(Region)对应累计数据大小的统计图；图6是根据本公开实施例2所述的基于HBase的金融数据存储装置的示意图；以及图7是根据本公开实施例3所述的基于HBase的金融数据存储装置的示意图。具体实施方式为了使本
的人员更好地理解本公开的技术方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本公开一部分的实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。实施例1根据本实施例，提供了一种基于HBase的金融数据存储方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。本实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现基于HBase的金融数据存储方法的计算机终端(或移动设备)的硬件结构框图。如图1所示，计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本公开实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。存储器104可用于存储应用软件的软件程序以及模块，如本公开实施例中的基于HBase的金融数据存储方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，本文档来自技高网...

【技术保护点】
1.一种基于HBase的金融数据存储方法，其特征在于，包括：调取金融数据文件；根据所述金融数据文件中包括的多个属性的参数值，生成行键，其中所述多个属性包括以下至少任意一项：股票代码、股票类型、交易日期以及交易时间；以及根据所述行键，将所述金融数据文件中的金融数据导入HBase存储系统。

【技术特征摘要】
1.一种基于HBase的金融数据存储方法，其特征在于，包括：调取金融数据文件；根据所述金融数据文件中包括的多个属性的参数值，生成行键，其中所述多个属性包括以下至少任意一项：股票代码、股票类型、交易日期以及交易时间；以及根据所述行键，将所述金融数据文件中的金融数据导入HBase存储系统。2.根据权利要求1所述的方法，其特征在于，根据所述金融数据文件中包括的多个属性的参数值，生成行键的操作，包括：确定交易日序号，其中所述交易日序号用于指示所述金融数据文件中的金融数据交易日在全年交易日中所属的顺位；遍历所述金融数据文件，确定所述金融数据文件中包括的多个属性的参数值；以及根据所述多个属性的参数值，并通过数据加盐(Salting)的方式，生成所述行键，其中所述数据加盐(Salting)用于指示将所述交易日序号作为所述行键的前缀。3.根据权利要求2所述的方法，其特征在于，所述多个属性包括股票代码、股票类型以及交易日期，并且根据所述行键，将所述金融数据文件中的金融数据导入HBase存储系统的操作，包括：根据所述行键，将所述金融数据文件中包括的全部金融数据作为整体，导入所述HBase存储系统。4.根据权利要求2所述的方法，其特征在于，所述多个属性包括股票代码、股票类型、交易日期以及交易时间，并且根据所述行键，将所述金融数据文件中的金融数据导入HBase存储系统的操作，包括：对所述金融数据文件中包括的每行金融数据进行解析；...

【专利技术属性】
技术研发人员：胡荣德，李亮亮，张昱，曹良城，
申请(专利权)人：成都有据量化科技有限公司，
类型：发明
国别省市：四川,51