数据处理方法及装置、计算机可读存储介质及处理器制造方法及图纸

本发明专利技术公开了一种数据处理方法及装置、计算机可读存储介质及处理器。其中，该方法包括：获取多个数据源的多维数据，其中，多个数据源包括：关系型数据库、数据仓库以及实时文件数据；基于多维数据的数据类型，确定多维数据对应的目标存储方式，其中，目标存储方式包括如下至少之一：分布式存储、列式存储、行式存储；按照目标存储方式对多维数据进行存储。本发明专利技术解决了海量数据高效实时储存难的技术问题。

【技术实现步骤摘要】
数据处理方法及装置、计算机可读存储介质及处理器
本专利技术涉及数据领域，具体而言，涉及一种数据处理方法及装置、计算机可读存储介质及处理器。
技术介绍
随着公司信息化水平不断提高以及信息系统不断集中，日益增大的数据量和大并发用户访问对信息系统的实时处理能力提出了更高要求。大数据有如下几个特点：多源异构、分布广泛、动态增长等。随着多网络融合，网络服务的高速发展，数据的数量呈现井喷之势，云计算技术已经成为提供主机数据和软件与服务部署方面越来越受欢迎的下一代基础设施。信息的实时聚合采集成为当前面临的一大难题，如何实现高效率、简洁、实时的数据聚合处理，是当前急需解决的问题。针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种数据处理方法及装置、计算机可读存储介质及处理器，以至少解决海量数据高效实时储存难的技术问题。根据本专利技术实施例的一个方面，提供了一种数据处理方法，该方法包括：获取多个数据源的多维数据，其中，多个数据源包括：关系型数据库、数据仓库以及实时文件数据；基于多维数据的数据本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n获取多个数据源的多维数据，其中，所述多个数据源包括：关系型数据库、数据仓库以及实时文件数据；/n基于所述多维数据的数据类型，确定所述多维数据对应的目标存储方式，其中，所述目标存储方式包括如下至少之一：分布式存储、列式存储、行式存储；/n按照所述目标存储方式对所述多维数据进行存储。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
获取多个数据源的多维数据，其中，所述多个数据源包括：关系型数据库、数据仓库以及实时文件数据；
基于所述多维数据的数据类型，确定所述多维数据对应的目标存储方式，其中，所述目标存储方式包括如下至少之一：分布式存储、列式存储、行式存储；
按照所述目标存储方式对所述多维数据进行存储。


2.根据权利要求1所述的方法，其特征在于，获取多个数据源的多维数据包括：
抽取所述关系型数据库和所述数据仓库中存储的数据，得到抽取出的数据；
利用文件聚合处理技术对所述实时文件数据进行处理，得到处理后的数据；
基于所述抽取出的数据和所述处理后的数据，得到所述多维数据。


3.根据权利要求1所述的方法，其特征在于，在按照所述目标存储方式对所述多维数据进行存储之后，所述方法还包括：
获取多个第一碎片文件；
将所述多个第一碎片文件进行合并，生成第一归档文件；
将所述第一归档文件进行存储。


4.根据权利要求3所述的方法，其特征在于，将所述多个第一碎片文件进行合并，生成第一归档文件包括：
基于每个第一碎片文件的文件名称，生成所述每个第一碎片文件的哈希代码；
基于所述每个第一碎片文件的哈希代码与所述多个第一碎片文件的数量，生成所述每个第一碎片文件对应的索引；
基于所述每个第一碎片文件和对应的索引，生成所述第一归档文件。


5.根据权利要求3所述的方法，其特征在于，在将所述第一归档文件进行存储之后，所述方法包括：
获取第二碎片文件；
将所述第二碎片文件进行合并，生成第二归档文件；
将所述第二归档文件的索引文件与所述第一归档文件的索引文件进行合并；
基于合并后的索引文件，将所述第二碎片文件移动至所述第一归档文件中，并删除所述第二归档文件。


6.根据权利要求3所述的方法，其特征在于，在将所述第一归档文件进行存储之后，所述方法包括：
获取第一读取请求，其中，所述第一读取请求用于读取所述第一归档文件中的目标碎片文件；
确定所述目标碎片的目标索引；
读取所述第一归档文件中所述目标索引对应的文件内容，其中，所述文件内容包含：所述目标碎片文件，以及其他碎片文件。

【专利技术属性】
技术研发人员：孙舟，李香龙，潘鸣宇，邱明泉，王伟贤，陈振，袁小溪，李卓群，刘祥璐，
申请(专利权)人：国网北京市电力公司，国家电网有限公司，
类型：发明
国别省市：北京;11