数据处理方法及装置、计算机可读存储介质及处理器制造方法及图纸

本发明专利技术公开了一种数据处理方法及装置、计算机可读存储介质及处理器。其中，该方法包括：获取多个数据源的多维数据，其中，多个数据源包括：关系型数据库、数据仓库以及实时文件数据；基于多维数据的数据类型，确定多维数据对应的目标存储方式，其中，目标存储方式包括如下至少之一：分布式存储、列式存储、行式存储；按照目标存储方式对多维数据进行存储。本发明专利技术解决了海量数据高效实时储存难的技术问题。

【技术实现步骤摘要】
数据处理方法及装置、计算机可读存储介质及处理器
本专利技术涉及数据领域，具体而言，涉及一种数据处理方法及装置、计算机可读存储介质及处理器。
技术介绍
随着公司信息化水平不断提高以及信息系统不断集中，日益增大的数据量和大并发用户访问对信息系统的实时处理能力提出了更高要求。大数据有如下几个特点：多源异构、分布广泛、动态增长等。随着多网络融合，网络服务的高速发展，数据的数量呈现井喷之势，云计算技术已经成为提供主机数据和软件与服务部署方面越来越受欢迎的下一代基础设施。信息的实时聚合采集成为当前面临的一大难题，如何实现高效率、简洁、实时的数据聚合处理，是当前急需解决的问题。针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种数据处理方法及装置、计算机可读存储介质及处理器，以至少解决海量数据高效实时储存难的技术问题。根据本专利技术实施例的一个方面，提供了一种数据处理方法，该方法包括：获取多个数据源的多维数据，其中，多个数据源包括：关系型数据库、数据仓库以及实时文件数据；基于多维数据的数据类型，确定多维数据对应的目标存储方式，其中，目标存储方式包括如下至少之一：分布式存储、列式存储、行式存储；按照目标存储方式对多维数据进行存储。可选地，获取多个数据源的多维数据包括：抽取关系型数据库和数据仓库中存储的数据，得到抽取出的数据；利用文件聚合处理技术对实时文件数据进行处理，得到处理后的数据；基于抽取出的数据和处理后的数据，得到多维数据。可选地，在按照目标存储方式对多维数据进行存储之后，该方法还包括：获取多个第一碎片文件；将多个第一碎片文件进行合并，生成第一归档文件；将第一归档文件进行存储。可选地，将多个第一碎片文件进行合并，生成第一归档文件包括：基于每个第一碎片文件的文件名称，生成每个第一碎片文件的哈希代码；基于每个第一碎片文件的哈希代码与多个第一碎片文件的数量，生成每个第一碎片文件对应的索引；基于每个第一碎片文件和对应的索引，生成第一归档文件。可选地，在将第一归档文件进行存储之后，该方法包括：获取第二碎片文件；将第二碎片文件进行合并，生成第二归档文件；将第二归档文件的索引文件与第一归档文件的索引文件进行合并；基于合并后的索引文件，将第二碎片文件移动至第一归档文件中，并删除第二归档文件。可选地，在将第一归档文件进行存储之后，该方法包括：获取第一读取请求，其中，第一读取请求用于读取第一归档文件中的目标碎片文件；确定目标碎片的目标索引；读取第一归档文件中目标索引对应的文件内容，其中，文件内容包含：目标碎片文件，以及其他碎片文件。可选地，在按照目标存储方式对多维数据进行存储之后，该方法还包括：确定数据连接池中存储的目标数据连接，其中，数据连接池中存储有第一预设数量的数据连接；通过目标数据连接接收第二读取请求；获取第二读取请求对应的数据结果；通过目标数据连接发送数据结果，并释放目标数据连接。可选地，在确定数据连接池中存储的目标数据连接之前，该方法还包括：检测数据连接池中是否存在空闲数据连接；如果数据连接池中存在空闲数据连接，则确定空闲数据连接为目标数据连接。可选地，如果数据连接池中不存在空闲数据连接，该方法还包括：判断数据连接池中存储的数据连接的数量是否达到第二预设数量；如果数量未达到第二预设数量，则在数据连接池中创建新的数据连接，并确定新的数据连接为目标数据连接；如果数量达到第二预设数量，则等待预设时间，并获取释放后的数据连接为目标数据连接。可选地，获取第二读取请求对应的数据结果包括：获取第二读取请求对应的索引信息；基于索引信息获取数据结果。根据本专利技术实施例的另一方面，还提供了一种数据处理装置，该装置包括：获取模块，用于获取多个数据源的多维数据，其中，多个数据源包括：关系型数据库、数据仓库以及实时文件数据；确定模块，用于基于多维数据的数据类型，确定多维数据对应的目标存储方式，其中，目标存储方式包括如下至少之一：分布式存储、列式存储、行式存储；存储模块，用于按照目标存储方式对多维数据进行存储。根据本专利技术实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，在程序运行时控制计算机可读存储介质所在设备执行上述的数据处理方法。根据本专利技术实施例的另一方面，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述的数据处理方法。在本专利技术实施例中，首先获取多个数据源的多维数据，之后基于多维数据的数据类型，可以确定多维数据对应的目标存储方式，再按照目标存储方式对多维数据进行存储。相关技术中，面对当前海量数据的存储需求，传统的存储方式缺少关系数据库与分布式存储之间数据同步能力，本专利技术通过关系数据库与分布式存储同步技术，达到了将关系数据库的数据抽取到分布式存储中，又可以将分布式存储的数据回写到关系数据库中的目的，从而实现了实时数据高速同步聚合处理分析的技术效果，进而解决了海量数据的高效，实时的数据储存的技术问题。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是根据本专利技术实施例的一种数据处理方法的流程图；图2是根据本专利技术实施例的一种可选的插入文件的示意图；图3是根据本专利技术实施例的一种可选的文件索引结构的示意图；图4是根据本专利技术实施例的一种可选的分布式存储体系结构的示意图；图5是根据本专利技术实施例的一种数据处理装置的示意图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。实施例1根据本专利技术实施例，提供了一种数据处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。图1是根据本专利技术实施例的一种数据处理方法的流程图，如图1所示，该方法包括如下步骤：步骤S102，本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n获取多个数据源的多维数据，其中，所述多个数据源包括：关系型数据库、数据仓库以及实时文件数据；/n基于所述多维数据的数据类型，确定所述多维数据对应的目标存储方式，其中，所述目标存储方式包括如下至少之一：分布式存储、列式存储、行式存储；/n按照所述目标存储方式对所述多维数据进行存储。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
获取多个数据源的多维数据，其中，所述多个数据源包括：关系型数据库、数据仓库以及实时文件数据；
基于所述多维数据的数据类型，确定所述多维数据对应的目标存储方式，其中，所述目标存储方式包括如下至少之一：分布式存储、列式存储、行式存储；
按照所述目标存储方式对所述多维数据进行存储。


2.根据权利要求1所述的方法，其特征在于，获取多个数据源的多维数据包括：
抽取所述关系型数据库和所述数据仓库中存储的数据，得到抽取出的数据；
利用文件聚合处理技术对所述实时文件数据进行处理，得到处理后的数据；
基于所述抽取出的数据和所述处理后的数据，得到所述多维数据。


3.根据权利要求1所述的方法，其特征在于，在按照所述目标存储方式对所述多维数据进行存储之后，所述方法还包括：
获取多个第一碎片文件；
将所述多个第一碎片文件进行合并，生成第一归档文件；
将所述第一归档文件进行存储。


4.根据权利要求3所述的方法，其特征在于，将所述多个第一碎片文件进行合并，生成第一归档文件包括：
基于每个第一碎片文件的文件名称，生成所述每个第一碎片文件的哈希代码；
基于所述每个第一碎片文件的哈希代码与所述多个第一碎片文件的数量，生成所述每个第一碎片文件对应的索引；
基于所述每个第一碎片文件和对应的索引，生成所述第一归档文件。


5.根据权利要求3所述的方法，其特征在于，在将所述第一归档文件进行存储之后，所述方法包括：
获取第二碎片文件；
将所述第二碎片文件进行合并，生成第二归档文件；
将所述第二归档文件的索引文件与所述第一归档文件的索引文件进行合并；
基于合并后的索引文件，将所述第二碎片文件移动至所述第一归档文件中，并删除所述第二归档文件。


6.根据权利要求3所述的方法，其特征在于，在将所述第一归档文件进行存储之后，所述方法包括：
获取第一读取请求，其中，所述第一读取请求用于读取所述第一归档文件中的目标碎片文件；
确定所述目标碎片的目标索引；
读取所述第一归档文件中所述目标索引对应的文件内容，其中，所述文件内容包含：所述目标碎片文件，以及其他碎片文件。

【专利技术属性】
技术研发人员：孙舟，李香龙，潘鸣宇，邱明泉，王伟贤，陈振，袁小溪，李卓群，刘祥璐，
申请(专利权)人：国网北京市电力公司，国家电网有限公司，
类型：发明
国别省市：北京;11