云数据融合方法和系统技术方案

本发明专利技术提供了一种云数据融合方法和系统。所述方法包括：读取非结构化云数据；对所述非结构化云数据进行并行处理，并输出处理结果；将所述处理结果进行转换得到结构化云数据，并存储。所述系统包括：读取模块，用于读取非结构化云数据；并行处理模块，用于对所述非结构化云数据进行并行处理，并输出处理结果；转换模块，用于将所述处理结果进行转换得到结构化云数据，并存储。采用本发明专利技术能节省数据查询所耗费的时间。

【技术实现步骤摘要】

本专利技术涉及数据处理技术，特别是涉及云数据融合方法和系统。
技术介绍
随着大型数据处理的迅猛发展，云计算的应用越来越普遍，而应用云计算所实现的各种云数据处理和云数据查询也成为了云计算系统的主要任务。云计算中大都采用非结构化数据库，以易于划分和合并云数据，进而满足云计算中的分布式并行处理需求。然而，由于云计算所采用的是非结构化数据库，因此，将数据存入时是不存在结构化的，进而造成云计算过程中的云数据查询需要耗费非常多的时间，
技术实现思路
基于此，有必要提供一种能节省数据查询所耗费的时间的云数据融合方法。此外，还有必要提供一种能节省数据查询所耗费的时间的云数据融合系统。一种云数据融合方法，包括如下步骤:读取非结构化云数据；对所述非结构化云数据进行并行处理，并输出处理结果；将所述处理结果进行转换得到结构化云数据，并存储。在其中一个实施例中，所述读取非结构化云数据的步骤包括: 对非结构化数据库进行数据读取，得到非结构化云数据。在其中一个实施例中，所述将所述处理结果进行转换得到结构化云数据，并存储的步骤之前还包括:将所述处理结果存入所述非结构化数据库的步骤。在其中一个实施例中，所述将所述处理结果进行转换得到结构化云数据，并存储的步骤包括:获取所述处理结果即将存入的结构化数据库的列所对应的数据类型；将所述处理结果转换为所述获取得到的数据类型；将所述转换得到的处理结果写入结构化数据库。在其中一个实施例中，所述将所述处理结果进行转换得到结构化云数据，并存储的步骤之后还包括:获取所述处理结果的查询请求，根据所述查询请求在所述结构化云数据中进行查询得到处理结果。一种云数据融合系统，包括:读取模块，用于读取非结构化云数据；并行处理模块，用于对所述非结构化云数据进行并行处理，并输出处理结果；转换模块，用于将所述处理结果进行转换得到结构化云数据，并存储。在其中一个实施例中，所述读取模块还用于对非结构化云数据库进行数据读取，得到非结构化云数据。在其中一个实施例中，所述系统还包括:非结构化数据库，用于存入处理结果。在其中一个实施例中，所述转换模块包括:类型获取单元，用于获取所述处理结果即将存入的结构化数据库的列所对应的数据类型；类型转换单元，用于将所述处理结果转换为所述获取得到的数据类型；结构化数据库，用于写入所述转换得到的处理结果。在其中一个实施例中，所述系统还包括:查询模块，用于获取所述处理结果的查询请求，根据所述查询请求在所述结构化云数据中进行查询得到处理结果。上述云数据融合方法和系统中，将读取的非结构化云数据进行并行处理，得到处理结果，对该处理结果进行转换，使得处理结果由非结构化云数据变换为结构化云数据并存储，由于处理结果是以结构化云数据的形式存储的，因此，将使得处理结构能够适应频繁的查询，并节省查询所耗费的时间。附图说明图1为一个实施例中云数据融合方法的流程图；图2为图1中将处理结果进行转换得到结构化云数据，并存储的方法流程图；图3为一个实施例中云数据融合系统的结构示意图；图4为图3中转换模块的结构示意图。具体实施例方式如图1所示，在一个实施例中，一种云数据融合方法，包括如下步骤:步骤S110，读取非结构化云数据。本实施例中，云数据是应用于云计算中的各种数据，非结构化云数据是不方便使用二维逻辑表实现的数据，可包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等。预先存储了各种用于实现各种业务逻辑的非结构化云数据，以供后续的处理过程中使用。在一个实施例中，上述步骤SllO的具体过程为:对非结构化数据库进行数据读取，得到非结构化云数据。本实施例中，预先设置了非结构化数据库，用于写入各种非结构化云数据，进行非结构化云数据的存储。在非结构化数据库进行数据读取，以得到所需要的非结构化云数据。步骤S130，对非结构化云数据进行并行处理，并输出处理结果。本实施例中，将读取到的非结构化云数据进行并行处理，以实现当前所触发的业务逻辑，得到处理结果并输出。非结构化云数据的并行处理是通过云计算实现的，由于非结构化云数据易于划分和合并，因此，适宜通过云计算实现分布式并行处理，以提高处理效率。步骤S150，将处理结果进行转换得到结构化云数据，并存储。本实施例中，对处理结果进行转换，以使得作为非结构化云数据的处理结果转换为结构化云数据，进而实现数据类型的自动转换，并存储已经成为结构化云数据的处理结果O在一个实施例中，上述步骤S150之前还包括:将处理结果存入非结构化数据库的步骤。本实施例中，在对作为非结构化云数据的处理结果进行转换之前，将对该处理结果存入非结构化云数据中，以实现处理结果的备份，进而保障数据安全。如图2所示，在一个实施例中，上述步骤S150包括如下步骤:步骤S151，获取处理结果即将存入的结构化数据库的列所对应的数据类型。本实施例中，非结构化云数据的转换是逐列进行的，因此，需要获取处理结果在结构化数据库中即将存入的列，进而得到该列所对应的数据类型，例如，数据类型可以是整数类型、日期类型等。步骤S153，将处理结果转换为获取得到的数据类型。本实施例中，逐列对非结构化云数据，即处理结果进行转换，以得到与获取得到的数据类型相符的结构化云数据，并将结构化云数据写处结构化数据库所对应的列中。在另一个实施例中，上述步骤S151之前还包括:对存入非结构数据库的处理结果逐列进行判断，判断当前所在的列是否存在数据，若是，则进入步骤S151，若否，则将结构化数据库所对应的列设置为空。本实施例中，逐列对非结构化云数据进行转换和存储，以保证结构化数据库是与非结构化数据库相对应的，进而保证了数据的有序存储。步骤S155，将转换得到的处理结果写入结构化数据库。本实施例中，根据获取到的处理结果即将存入的结构化数据库的列，将转换得到的处理结果写入结构化数据库。在另一个实施例中，上述步骤S150之后还包括:获取处理结果的查询请求，根据查询请求在结构化云数据中进行查询得到处理结果。本实施例中，获取对处理结构的查询请求，根据查询请求在结构化数据库中对存储的结构化云数据进行查询，此时，结构化数据库所存储的数据为进行了并行处理之后所得到的处理结果，由于该处理结果是结构化的，因此可快速地完成数据的查询，进而提高查询效率。上述云数据融合方法将被应用于云计算中，并通过非结构化数据库和结构化数据库实现云数据融合，进而在非结构化云数据和结构化云数据的取长补短之下实现云计算中的分布式并行处理和快速查询。如图3所示，在一个实施例中，一种云数据融合系统，包括读取模块110、并行处理模块130和转换模块150。读取模块110，用于读取非结构化云数据。本实施例中，非结构化云数据是不方便使用二维逻辑表实现的数据，可包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等。预先存储了各种用于实现各种业务逻辑的非结构化云数据，以供后续的处理过程中使用。在一个实施例中，上述读取模块110还用于对非结构化数据库进行数据读取，得到非结构化云数据。本实施例中，预先设置了非结构化数据库，用于写入各种非结构化云数据，进行非结构化云数据的存储。读取模块110在非结构化数据库进行数据读取，以得到所需要的非结构化云数据。并行处理模块130，用于对本文档来自技高网...

【技术保护点】
一种云数据融合方法，包括如下步骤：读取非结构化云数据；对所述非结构化云数据进行并行处理，并输出处理结果；将所述处理结果进行转换得到结构化云数据，并存储。

【技术特征摘要】

【专利技术属性】
技术研发人员：朱定局，
申请(专利权)人：深圳先进技术研究院，
类型：发明
国别省市：广东;44