数据分析方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术涉及大数据领域，揭露一种数据分析方法、装置、电子设备以及存储介质，所述方法包括：采集源数据，对所述源数据进行数据清洗，得到目标数据；将所述目标数据按照预设的格式进行文件打包，得到数据文件，并利用预先构建的数据缓存中心对所述数据文件进行数据筛选，得到目标文件；将所述目标文件存储至预设的文件系统中，并利用预设的数据分析框架对所述文件系统中的目标文件进行数据分析，得到数据分析结果。此外，本发明专利技术还涉及区块链技术，所述目标数据可存储于区块链中。本发明专利技术可以提高数据分析的效率。析的效率。析的效率。

【技术实现步骤摘要】
数据分析方法、装置、电子设备及存储介质


[0001]本专利技术涉及大数据领域，尤其涉及一种数据分析方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，将它们加以汇总和理解并消化，以求最大化地开发数据的功能，发挥数据的作用，其主要用于提取大数据场景下的有用信息和形成结论而对数据加以详细研究和概括总结。
[0003]目前，数据分析通常是基于现有已存储的数据为基础，在海量数据中查询目标数据从而实现，但在这种情况下，由于海量数据的数据量非常大，且不同的业务场景对需求数据也有所不同，导致在海量数据中查询到需求数据的时间会比较长，从而很难达到快速实现数据分析，进而会影响数据分析的效率。

技术实现思路

[0004]本专利技术提供一种数据分析方法、装置、电子设备及计算机可读存储介质，其主要目的在于提高数据分析的效率。
[0005]为实现上述目的，本专利技术提供的一种数据分析方法，包括：
[0006]采集源数据，对所述源数据进行数据清洗，得到目标数据；
[0007]将所述目标数据按照预设的格式进行文件打包，得到数据文件，并利用预先构建的数据缓存中心对所述数据文件进行数据筛选，得到目标文件；
[0008]将所述目标文件存储至预设的文件系统中，并利用预设的数据分析框架对所述文件系统中的目标文件进行数据分析，得到数据分析结果。
[0009]可选地，所述对所述源数据进行数据清洗，得到目标数据，包括：
>[0010]对所述源数据进行去重处理，得到去重数据；
[0011]检测所述去重数据中是否存在异常数据，并在所述去重数据存在异常数据时，删除所述异常数据，得到目标数据。
[0012]可选地，所述检测所述去重数据中是否存在异常数据，包括：
[0013]计算所述去重数据中每个数据的平均值与标准差，并计算所述标准差与所述平均值的差值；
[0014]若所述差值不在预设的差值范围内，则将所述数据作为所述异常数据；
[0015]若所述差值在所述差值范围内，则将所述数据不作为所述异常数据。
[0016]可选地，所述将所述目标数据按照预设的格式进行文件打包，得到数据文件，包括：
[0017]识别所述目标数据中每个数据的数据类型，按照所述数据类型将所述目标数据中的数据进行聚类，得到聚类数据；
[0018]根据所述预设的格式创建所述聚类数据的数据文件。
[0019]可选地，所述所述利用预先构建的数据缓存中心对所述数据文件进行数据筛选，得到目标文件，包括：
[0020]将所述数据文件传输至所述数据缓存中心中，以通过预先在所述数据缓存中心中配置的数据筛选规则对所述数据文件进行数据筛选，得到目标文件。
[0021]可选地，所述将所述目标文件存储至预设的文件系统中，包括：
[0022]对所述目标文件进行文件分片，得到多个分片文件，并在所述文件系统中配置每个所述分片文件的存储区域；
[0023]采用预设的文件传输协议将每个所述分片文件存储至所述存储区域中。
[0024]可选地，所述利用预设的数据分析框架对所述文件系统中的目标文件进行数据分析，得到数据分析结果，包括：
[0025]采用多线程的方式将所述文件系统中的目标文件传输至所述数据分析框架中，并在所述数据分析框架中配置所述目标文件的分析任务；
[0026]根据所述分析任务，生成所述目标文件的任务跑批线程，并根据所述任务跑批线程执行对所述目标文件的数据分析，得到数据分析结果。
[0027]为了解决上述问题，本专利技术还提供一种数据分析装置，所述装置包括：
[0028]数据清洗模块，用于采集源数据，对所述源数据进行数据清洗，得到目标数据；
[0029]文件筛选模块，用于将所述目标数据按照预设的格式进行文件打包，得到数据文件，并利用预先构建的数据缓存中心对所述数据文件进行数据筛选，得到目标文件；
[0030]数据分析模块，用于将所述目标文件存储至预设的文件系统中，并利用预设的数据分析框架对所述文件系统中的目标文件进行数据分析，得到数据分析结果。
[0031]为了解决上述问题，本专利技术还提供一种电子设备，所述电子设备包括：
[0032]至少一个处理器；以及，
[0033]与所述至少一个处理器通信连接的存储器；其中，
[0034]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以实现上述所述的数据分析方法。
[0035]为了解决上述问题，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的数据分析方法。
[0036]可以看出，本专利技术实施例首先通过采集源数据，对所述源数据进行数据筛选，得到目标数据，可过滤出所述源数据中的一些无用数据，降低后续源数据的计算数据量，提高源数据的处理效率；其次，本专利技术实施例将所述目标数据按照预设的格式进行文件打包，得到数据文件，以统一所述目标数据的数据存储格式，实现后续目标数据的快速上传，并利用预先构建的数据缓存中心对所述数据文件进行数据筛选，得到目标文件，实现所述目标数据的异步筛选，可以提取出满足条件的数据，进一步提高后续数据分析的速度；进一步地，本专利技术实施例将所述目标文件存储至预设的文件系统中，并利用预设的数据分析框架对所述文件系统中的目标文件进行数据分析，得到数据分析结果，可以支持后续所述目标文件的高吞吐量，保障所述目标文件的实时计算，进一步提高所述目标文件的分析效率。因此，本专利技术实施例提出的一种数据分析方法、装置、电子设备及计算机可读存储介质可以提高数据分析的效率。
附图说明
[0037]图1为本专利技术一实施例提供的数据分析方法的流程示意图；
[0038]图2为本专利技术一实施例提供的数据分析装置的模块示意图；
[0039]图3为本专利技术一实施例提供的实现数据分析方法的电子设备的内部结构示意图；
[0040]本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0041]应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0042]本专利技术实施例提供一种数据分析方法。所述数据分析方法的执行主体包括但不限于服务端、终端等能够被配置为执行本专利技术实施例提供的该方法的电子设备中的至少一种。换言之，所述数据分析方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，C本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据分析方法，其特征在于，所述方法包括：采集源数据，对所述源数据进行数据清洗，得到目标数据；将所述目标数据按照预设的格式进行文件打包，得到数据文件，并利用预先构建的数据缓存中心对所述数据文件进行数据筛选，得到目标文件；将所述目标文件存储至预设的文件系统中，并利用预设的数据分析框架对所述文件系统中的目标文件进行数据分析，得到数据分析结果。2.如权利要求1所述的数据分析方法，其特征在于，所述对所述源数据进行数据清洗，得到目标数据，包括：对所述源数据进行去重处理，得到去重数据；检测所述去重数据中是否存在异常数据，并在所述去重数据存在异常数据时，删除所述异常数据，得到目标数据。3.如权利要求2所述的数据分析方法，其特征在于，所述检测所述去重数据中是否存在异常数据，包括：计算所述去重数据中每个数据的平均值与标准差，并计算所述标准差与所述平均值的差值；若所述差值不在预设的差值范围内，则将所述数据作为所述异常数据；若所述差值在所述差值范围内，则将所述数据不作为所述异常数据。4.如权利要求1所述的数据分析方法，其特征在于，所述将所述目标数据按照预设的格式进行文件打包，得到数据文件，包括：识别所述目标数据中每个数据的数据类型，按照所述数据类型将所述目标数据中的数据进行聚类，得到聚类数据；根据所述预设的格式创建所述聚类数据的数据文件。5.如权利要求1所述的数据分析方法，其特征在于，所述利用预先构建的数据缓存中心对所述数据文件进行数据筛选，得到目标文件，包括：将所述数据文件传输至所述数据缓存中心中，以通过预先在所述数据缓存中心中配置的数据筛选规则对所述数据文件进行数据筛选，得到目标文件。6.如权利要求1所述的数据分析方法，其特征在于，所...

【专利技术属性】
技术研发人员：彭发，
申请(专利权)人：平安普惠企业管理有限公司，
类型：发明
国别省市：