基于数据流的大数据量数据导出方法及装置制造方法及图纸

本发明专利技术公开了一种基于数据流的大数据量数据导出方法及装置，该方法包括：根据数据导出需求，确定对应于所述数据导出需求的数据库调用指令；根据所述数据库调用指令连接数据库，获取待调用数据；通过数据流获取对应于所述待调用数据的数据文件。通过数据导出需求确定对应的数据库调用指令，对数据库进行操作，通过数据流将所需数据以数据文件的形式进行导出，提升了大数据量的场景下的数据导出效率。率。率。

【技术实现步骤摘要】
基于数据流的大数据量数据导出方法及装置


[0001]本专利技术涉及数据流
，尤其涉及一种基于数据流的大数据量数据导出方法及装置。

技术介绍

[0002]对于数据库中数据的导出，通常需要先将待导出数据临时存储在虚拟机内存中，再通过后端语言，将存储于虚拟机内存中的数据写入生成数据文件，最后通过数据流导出数据文件。但是，在大数据量的应用场景下，这种方法的数据导出效率不高，可见，如何在大数据量的场景下提升基于数据流的数据导出效率尤为重要。

技术实现思路

[0003]本专利技术所要解决的技术问题在于，现有的基于数据流的数据导出方法需通过虚拟机内存进行过渡，导致在大数据量的应用场景下效率不高。
[0004]为了解决上述技术问题，本专利技术第一方面公开了一种基于数据流的大数据量数据导出方法，包括：根据数据导出需求，确定对应于所述数据导出需求的数据库调用指令；根据所述数据库调用指令连接数据库，获取待调用数据；通过数据流获取对应于所述待调用数据的数据文件。
[0005]作为一种可选的实施方式，所述根据所述数据库调用指令连接数据库，获取待调用数据之前，所述方法还包括：根据所述数据库类型及所述数据库调用指令，确定数据库属性文件；调用所述数据库属性文件；所述根据所述数据库调用指令连接数据库，获取待调用数据，包括：根据所述数据库属性文件，建立第一连接驱动，并根据所述第一连接驱动连接数据库，获取待调用数据。
[0006]作为一种可选的实施方式，所述数据导出需求包括数据库类型，以及以下至少一种：数据类型、数据量、数据文件类型、数据存储位置；所述数据库调用指令包括第二连接驱动及底层处理命令，所述根据数据导出需求，确定对应于所述数据导出需求的数据库调用指令，包括：根据所述数据库类型，确定所述第二连接驱动及所述底层处理命令；所述根据所述数据库调用指令连接数据库，获取待调用数据，包括：根据所述第二连接驱动连接数据库；根据所述底层处理命令，处理所述待调用数据，并获取处理后的所述待调用数据。
[0007]作为一种可选的实施方式，所述根据所述数据库类型，确定第二连接驱动及底层处理命令之后，所述方法还包括：根据所述第二连接驱动，生成第一数据调用封装包；
根据所述底层处理命令，生成第二数据调用封装包。
[0008]作为一种可选的实施方式，所述通过数据流获取对应于所述待调用数据的数据文件之前，所述方法还包括：根据所述待调用数据，确定数据处理流程；根据所述数据处理流程，对所述待调用数据进行数据处理，获得目标数据；根据所述目标数据，对所述待调用数据进行更新，获得更新后的待调用数据；其中，所述更新后的待调用数据包括：更新前的待调用数据，以及所述目标数据。
[0009]作为一种可选的实施方式，所述方法还包括：确定至少一个预设的数据处理流程；根据所述预设的数据处理流程，确定数据状态及数据流向；根据所述数据状态和数据流向，建立全景看板；所述全景看板用于展示对应于各所述数据处理流程的全景视图；根据所述全景视图，进行全景可视分析。
[0010]第二方面，本专利技术提供一种基于数据流的大数据量数据导出系统，用于实现如第一方面公开的基于数据流的大数据量数据导出方法，所述系统包括：应用层模块，用于发起数据导出需求；服务层模块，用于根据所述数据导出需求，连接所述系统的后端层级；所述后端层级至少包括：工具层，和/或数据层；工具层模块，用于根据所述数据导出需求，确定对应于所述数据导出需求的数据库调用指令；和/或，根据所述数据库调用指令连接所述数据层，获取待调用数据；和/或，根据所述待调用数据，通过数据流获取对应于所述待调用数据的数据文件；数据层模块，用于存储所述待调用数据。
[0011]第三方面，本专利技术提供一种基于数据流的大数据量数据导出装置，所述装置包括：指令确定模块，用于根据数据导出需求，确定对应于所述数据导出需求的数据库调用指令；数据获取模块，用于根据所述数据库调用指令连接数据库，获取待调用数据；文件获取模块，用于通过数据流获取对应于所述待调用数据的数据文件。
[0012]作为一种可选的实施方式，所述装置还包括属性文件确定模块，用于在所述数据获取模块根据所述数据库调用指令连接数据库，获取待调用数据之前，根据所述数据库类型及所述数据库调用指令，确定数据库属性文件；调用所述数据库属性文件；所述数据获取模块根据所述数据库调用指令连接数据库，获取待调用数据的具体方式，包括：根据所述数据库属性文件，建立第一连接驱动，并根据所述第一连接驱动连接数据库，获取待调用数据。
[0013]作为一种可选的实施方式，所述数据导出需求包括数据库类型，以及以下至少一种：数据类型、数据量、数据文件类型、数据存储位置；
所述数据库调用指令包括第二连接驱动及底层处理命令，所述指令确定模块根据数据导出需求，确定对应于所述数据导出需求的数据库调用指令的具体方式，包括：根据所述数据库类型，确定所述第二连接驱动及所述底层处理命令；所述数据获取模块根据所述数据库调用指令连接数据库，获取待调用数据的具体方式，包括：根据所述第二连接驱动连接数据库；根据所述底层处理命令，处理所述待调用数据，并获取处理后的所述待调用数据。
[0014]作为一种可选的实施方式，所述装置还包括封装模块，用于在所述指令确定模块根据所述数据库类型，确定第二连接驱动及底层处理命令之后，根据所述第二连接驱动，生成第一数据调用封装包；根据所述底层处理命令，生成第二数据调用封装包。
[0015]作为一种可选的实施方式，所述装置还包括数据处理模块，用于在所述文件获取模块通过数据流获取对应于所述待调用数据的数据文件之前，根据所述待调用数据，确定数据处理流程；根据所述数据处理流程，对所述待调用数据进行数据处理，获得目标数据；根据所述目标数据，对所述待调用数据进行更新，获得更新后的待调用数据；其中，所述更新后的待调用数据包括：更新前的待调用数据，以及所述目标数据。
[0016]作为一种可选的实施方式，所述装置还包括可视化模块，用于：确定至少一个预设的数据处理流程；根据所述预设的数据处理流程，确定数据状态及数据流向；根据所述数据状态和数据流向，建立全景看板；所述全景看板用于展示对应于各所述数据处理流程的全景视图；根据所述全景视图，进行全景可视分析。
[0017]本专利技术第四方面公开了另一种基于数据流的大数据量数据导出装置，所述装置包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，执行本专利技术第一方面公开的基于数据流的大数据量数据导出方法。
[0018]本专利技术第五方面公开了一种计算机存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行本专利技术第一方面公开的基于数据流的大数据量数据导出方法。
[0019]与现有技术相比，本专利技术实施例具有以下有益效果：通过数据流获取对应于所述待调用数据的数据文件。通过数据导出需求确定对应的数据库调用指令，对数据库进行操作，通过数据流将所需数据以数据文件的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据流的大数据量数据导出方法，其特征在于，所述方法包括：根据数据导出需求，确定对应于所述数据导出需求的数据库调用指令；根据所述数据库调用指令连接数据库，获取待调用数据；通过数据流获取对应于所述待调用数据的数据文件。2.根据权利要求1所述的方法，其特征在于，所述根据所述数据库调用指令连接数据库，获取待调用数据之前，所述方法还包括：根据所述数据库类型及所述数据库调用指令，确定数据库属性文件；调用所述数据库属性文件；所述根据所述数据库调用指令连接数据库，获取待调用数据，包括：根据所述数据库属性文件，建立第一连接驱动，并根据所述第一连接驱动连接数据库，获取待调用数据。3.根据权利要求1所述的方法，其特征在于，所述数据导出需求包括数据库类型，以及以下至少一种：数据类型、数据量、数据文件类型、数据存储位置；所述数据库调用指令包括第二连接驱动及底层处理命令，所述根据数据导出需求，确定对应于所述数据导出需求的数据库调用指令，包括：根据所述数据库类型，确定所述第二连接驱动及所述底层处理命令；所述根据所述数据库调用指令连接数据库，获取待调用数据，包括：根据所述第二连接驱动连接数据库；根据所述底层处理命令，处理所述待调用数据，并获取处理后的所述待调用数据。4.根据权利要求3所述的方法，其特征在于，所述根据所述数据库类型，确定第二连接驱动及底层处理命令之后，所述方法还包括：根据所述第二连接驱动，生成第一数据调用封装包；根据所述底层处理命令，生成第二数据调用封装包。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述通过数据流获取对应于所述待调用数据的数据文件之前，所述方法还包括：根据所述待调用数据，确定数据处理流程；根据所述数据处理流程，对所述待调用数据进行数据处理，获得目标数据；根据所述目标数据，对所述待调用数据进行更新，获得更新后的待调用数据；其中，所述更新后的待调用数据包括：更新前...

【专利技术属性】
技术研发人员：胡裕明，周海，田松林，梁雷，周志林，朱少林，赵铭，林镇锋，刘兆平，
申请(专利权)人：南方电网数字平台科技广东有限公司，
类型：发明
国别省市：