数据处理方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种数据处理方法、装置、设备及存储介质。该方法包括：获取待查询的原始数据所属的第一数据库，以及待查询方式所属的第二数据库；获取所述第一数据库的原始数据；其中，所述原始数据为所述第一数据库的待存储数据或已存储数据；根据不同数据库的数据格式转换关系，将所述原始数据由所述第一数据库支持的第一数据格式转换为所述第二数据库支持的第二数据格式；将转换结果存入所述第二数据库中，用于用户从所述第二数据库中查询所述原始数据。以实现提高数据查询的效率并且能够支持多种数据查询的使用场景的目的。

Data processing method, device, equipment and storage medium

【技术实现步骤摘要】
数据处理方法、装置、设备及存储介质
本专利技术实施例涉及大数据
，尤其涉及一种数据处理方法、装置、设备及存储介质。
技术介绍
随着金融行业海量数据的增长，传统关系型数据库和数据仓库面临数据处理效率和查询效率低下的问题。在这种情况下，大数据应运而生，随着大数据的兴起以及发展，分布式技术已日趋成熟。它不仅能有效地解决数据存储容量的问题，也能够通过分布式计算方式提高数据处理效率，提供较好的技术生态来完成传统技术无法解决的数据存储和数据处理的问题。然而，目前的处理方式通常是基于大数据ETL工具(Extract-Transform-Load，数据仓库技术)，这种方式需要进行频繁的读写操作，IO(InputOutput，输入输出)压力比较大，进而导致数据处理效率较慢。因此，亟需一种数据处理方式，能够提高数据查询的效率并且能够支持多种数据查询的使用场景。
技术实现思路
本专利技术提供一种数据处理方法、装置、设备及存储介质，以实现提高数据查询的效率并且能够支持多种数据查询的使用场景的目的。第一方面，本专利技术实施例提供了一种数据处理方法，包括：获取待查询的原始数据所属的第一数据库，以及待查询方式所属的第二数据库；获取所述第一数据库的原始数据；其中，所述原始数据为所述第一数据库的待存储数据或已存储数据；根据不同数据库的数据格式转换关系，将所述原始数据由所述第一数据库支持的第一数据格式转换为所述第二数据库支持的第二数据格式；将转换结果存入所述第二数据库中，用于用户从所述第二数据库中查询所述原始数据。第二方面，本专利技术实施例还提供了一种数据处理装置，包括：数据库获取模块，用于获取待查询的原始数据所属的第一数据库，以及待查询方式所属的第二数据库；原始数据获取模块，用于获取所述第一数据库的原始数据；其中，所述原始数据为所述第一数据库的待存储数据或已存储数据；数据格式转换模块，用于根据不同数据库的数据格式转换关系，将所述原始数据由所述第一数据库支持的第一数据格式转换为所述第二数据库支持的第二数据格式；转换结果存储模块，用于将转换结果存入所述第二数据库中，用于用户从所述第二数据库中查询所述原始数据。第三方面，本专利技术实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本专利技术实施例中任一所述的数据处理方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术实施例中任一所述的数据处理方法。本专利技术通过获取待查询的原始数据所属的第一数据库，以及待查询方式所属的第二数据库；获取所述第一数据库的原始数据；根据不同数据库的数据格式转换关系，将所述原始数据由所述第一数据库支持的第一数据格式转换为所述第二数据库支持的第二数据格式；将转换结果存入所述第二数据库中，用于用户从所述第二数据库中查询所述原始数据。以实现提高数据查询的效率并且能够支持多种数据查询的使用场景的目的。附图说明图1是本专利技术实施例一中提供的一种数据处理方法的流程示意图；图2是本专利技术实施例一中提供的一种数据处理系统的结构框架；图3是本专利技术实施例二中提供的一种数据处理方法的流程示意图；图4是本专利技术实施例三中提供的一种数据处理装置的结构示意图；图5是本专利技术实施例四中提供的一种设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。实施例一图1是本专利技术实施例一提供的一种数据处理方法的流程示意图，本实施例可适用于不同的数据库进行转化的情况，具体的，可参见图2示出的一种数据处理系统的结构框架，该数据处理系统中的数据库之间能够两两进行转化。本实施例中的一种数据处理方法可以由一种数据处理装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成于电子设备中，具体包括如下步骤：S110、获取待查询的原始数据所属的第一数据库，以及待查询方式所属的第二数据库。本实施例中，待查询的原始数据是指用户所需的数据，这些数据可以是：银行产品交易流水、银行产品基本信息、银行交易机构信息、银行客户持仓信息、银行产品类型信息、银行交易渠道信息、银行客户流水信息、银行客户汽车、银行客户房产信息、银行客户资产负债落地信息。第一数据库和第二数据库是指存储数据的数据库，本领域的技术人员应当知晓，本实施例中第一数据库与第二数据可以互换。其中，第一数据库和第二数据库可以是：Hive、HBase、ElasticSearch、Solr等。其中，Hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据。Hive可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能；进一步地，可以将SQL语句转换为MapReduce任务运行，通过自己的SQL查询分析需要的内容，但是Hive不适合用于联机(online)事务处理，也不提供实时查询功能，它最适合应用在基于大量不可变数据的批处理作业。因此，在需要联机事务处理和实时查询功能时，则需要将Hive中存储的数据转化至支持联机事务处理和实时查询功能的数据库中。HBase是一个分布式的、面向列的开源数据库，HBase中的所有数据文件都存储在HadoopHDFS文件系统中。HBase支持批量运算处理和前缀查询，不支持联机事务处理。ElasticSearch是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。Elasticsearch是分布式的，这意味着索引可以被分成分片，每个分片可以有0个或多个副本。相关数据通常存储在同一个索引中，该索引由一个或多个主分片和零个或多个复制分片组成，一旦创建了索引，就不能更改主分片的数量。ElasticSearch支持联机事务处理和实时查询功能，并且ElasticSearch支持模糊检索和查询，因此当用户需要模糊检索和查询时，可以在ElasticSearch中进行查询数据。Solr是一个独立的企业级搜索应用服务器，它对外提供API(ApplicationProgrammingInterface，应用程序编程接口)。用户可以通过发送请求，向Solr提交一定格式的本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n获取待查询的原始数据所属的第一数据库，以及待查询方式所属的第二数据库；/n获取所述第一数据库的原始数据；其中，所述原始数据为所述第一数据库的待存储数据或已存储数据；/n根据不同数据库的数据格式转换关系，将所述原始数据由所述第一数据库支持的第一数据格式转换为所述第二数据库支持的第二数据格式；/n将转换结果存入所述第二数据库中，用于用户从所述第二数据库中查询所述原始数据。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
获取待查询的原始数据所属的第一数据库，以及待查询方式所属的第二数据库；
获取所述第一数据库的原始数据；其中，所述原始数据为所述第一数据库的待存储数据或已存储数据；
根据不同数据库的数据格式转换关系，将所述原始数据由所述第一数据库支持的第一数据格式转换为所述第二数据库支持的第二数据格式；
将转换结果存入所述第二数据库中，用于用户从所述第二数据库中查询所述原始数据。


2.根据权利要求1所述的方法，其特征在于，根据不同数据库的数据格式转换关系，将所述原始数据由所述第一数据库支持的第一数据格式转换为所述第二数据库支持的第二数据格式，包括：
根据所述第一数据格式与通用数据格式之间的转换关系，将所述原始数据由所述第一数据库支持的所述第一数据格式转换为所述通用数据格式；
根据所述第二数据格式与所述通用数据格式之间的转换关系，将所述通用数据格式的原始数据转换为所述第二数据格式。


3.根据权利要求1所述的方法，其特征在于，根据不同数据库的数据格式转换关系，将所述原始数据由所述第一数据库支持的第一数据格式转换为所述第二数据库支持的第二数据格式之前，还包括：
获取所述原始数据中的数据描述信息；
根据所述数据描述信息，确定所述原始数据是否异常。


4.根据权利要求3所述的方法，其特征在于，获取所述原始数据中的数据描述信息，包括：
若所述原始数据中未携带有所述数据描述信息，则从描述信息数据库中获取所述数据描述信息。


5.一种数据处理装置，其特征在于，包括：
数据库获取模块，用于获取待查询的原始数据所属的第一数据库，以及待查...

【专利技术属性】
技术研发人员：鲜伟，
申请(专利权)人：中国建设银行股份有限公司，建信金融科技有限责任公司，
类型：发明
国别省市：北京;11