数据分析方法、系统、可读存储介质及计算机设备技术方案

本发明专利技术提供一种数据分析方法、系统、可读存储介质及计算机设备，方法包括：基于终端设备发送的待分析数据的数据类型确定数据提取方式，并利用数据提取方式提取待分析数据中的每个区别数据和基础数据；将基础指标相同的基础数据进行组合得到多个基础数据集；抓取各基础数据集的数据领域区块，并提取各区别数据中的特征指标，计算出各特征指标在各数据领域区块中出现的频次；根据各频次将待分析数据拆分为多个待分析子数据；计算出各待分析子数据的优先级系数，并根据优先级系数依次对各待分析子数据进行数据分析。本发明专利技术使得各待分析子数据的处理能够根据优先级系数来依次进行，进而避免同步执行任务影响分析速率以及增加分析时间的问题。时间的问题。时间的问题。

【技术实现步骤摘要】
数据分析方法、系统、可读存储介质及计算机设备


[0001]本专利技术涉及数据处理
，特别涉及一种数据分析方法、系统、可读存储介质及计算机设备。

技术介绍

[0002]随着科技的飞速发展和人们生活水平的提高，各类数据也层出不穷，因此，随着各类数据的迅速增长，对于数据的分析需求也越来越高。
[0003]在对数据信息进行分析时，通常是利用计算机设备将所有的数据带入到各种数据库中进行全方面分析，等全方面分析完成后将所有的分析结果进行展示，然而随着数据库以及待分析数据的数据量的增大，数据分析的过程又需要分析所有的数据内容，较大数据量的待分析数据需要分析人员具备相应的数据开发能力，并且在数据分析过程中会导致占用计算机设备较多的运行空间，导致设备出现发热、卡顿甚至死机等现象，进而导致分析时间较长、影响工作效率以及分析效率。

技术实现思路

[0004]基于此，本专利技术的目的是提供一种数据分析方法、系统、可读存储介质及计算机设备，以至少解决上述技术中的不足。
[0005]本专利技术提出一种数据分析方法，包括：接收终端设备发送的待分析数据，基于所述待分析数据的数据类型确定对应的数据提取方式，并利用所述数据提取方式提取所述待分析数据中的每个区别数据和基础数据；将每个所述基础数据中基础指标相同的基础数据进行组合，以得到多个基础数据集；抓取各所述基础数据集所对应的数据领域区块，并提取各所述区别数据中的特征指标，利用哈希表算法计算出各所述特征指标在各所述数据领域区块中出现的频次；根据各所述特征指标在各所述数据领域区块中出现的频次将所述待分析数据拆分为多个待分析子数据；计算出各所述待分析子数据的优先级系数，并根据各所述待分析子数据的优先级系数依次对各所述待分析子数据进行数据分析。
[0006]进一步的，基于所述待分析数据的数据类型确定对应的数据提取方式的步骤之前，所述方法还包括：提取所述待分析数据中具有唯一标识的字符串序列；将所述字符串序列输入至预设的字符串序列表中进行数据对比，并根据数据对比结果确定所述待分析数据的数据类型。
[0007]进一步的，基于所述待分析数据的数据类型确定对应的数据提取方式，并利用所述数据提取方式提取所述待分析数据中的每个区别数据和基础数据的步骤包括：
当所述待分析数据的数据类型为文本数据时，对所述待分析数据进行预处理；利用词袋模型将预处理后的待分析数据表示为数值向量，以得到所述待分析数据的数值特征矩阵；根据所述数值特征矩阵得到所述待分析数据中的每个区别数据和基础数据。
[0008]进一步的，基于所述待分析数据的数据类型确定对应的数据提取方式，并利用所述数据提取方式提取所述待分析数据中的每个区别数据和基础数据的步骤包括：当所述待分析数据的数据类型为图像数据时，对所述待分析数据进行平滑处理，以得到第一处理数据；利用有限差分法计算出所述第一处理数据的梯度幅值和梯度方向，并对所述梯度幅值进行非极大值抑制处理，以得到第二处理数据；对所述第二处理数据进行像素点及边缘提取，以得到所述第二处理数据的每个区别数据和基础数据。
[0009]进一步的，将每个所述基础数据中基础指标相同的基础数据进行组合，以得到多个基础数据集的步骤包括：利用关键数据库对各所述基础数据进行关键数据提取，以得到各所述基础数据的关键数据；利用标准数据库对各所述基础数据的关键数据进行相似特征对比，以得到各所述基础数据的相似特征度量；根据各所述基础数据的相似特征度量对各所述基础数据进行聚类，以得到多个基础数据集。
[0010]进一步的，计算出各所述待分析子数据的优先级系数的步骤包括：获取处理器的运存空间，并基于所述处理器的运存空间计算出各所述待分析子数据所占用所述处理器的运存空间的数值；根据各所述待分析子数据所占用所述处理器的运存空间的数值计算出各所述待分析子数据的优先级系数。
[0011]本专利技术还提出一种数据分析系统，包括：数据提取模块，用于接收终端设备发送的待分析数据，基于所述待分析数据的数据类型确定对应的数据提取方式，并利用所述数据提取方式提取所述待分析数据中的每个区别数据和基础数据；数据组合模块，用于将每个所述基础数据中基础指标相同的基础数据进行组合，以得到多个基础数据集；数据计算模块，用于抓取各所述基础数据集所对应的数据领域区块，并提取各所述区别数据中的特征指标，利用哈希表算法计算出各所述特征指标在各所述数据领域区块中出现的频次；数据拆分模块，用于根据各所述特征指标在各所述数据领域区块中出现的频次将所述待分析数据拆分为多个待分析子数据；数据分析模块，用于计算出各所述待分析子数据的优先级系数，并根据各所述待分析子数据的优先级系数依次对各所述待分析子数据进行数据分析。
[0012]进一步的，所述系统还包括：
字符串提取模块，用于提取所述待分析数据中具有唯一标识的字符串序列；数据对比模块，用于将所述字符串序列输入至预设的字符串序列表中进行数据对比，并根据数据对比结果确定所述待分析数据的数据类型。
[0013]进一步的，所述数据提取模块包括：预处理单元，用于当所述待分析数据的数据类型为文本数据时，对所述待分析数据进行预处理；数据表示单元，用于利用词袋模型将预处理后的待分析数据表示为数值向量，以得到所述待分析数据的数值特征矩阵；数据提取单元，用于根据所述数值特征矩阵得到所述待分析数据中的每个区别数据和基础数据。
[0014]进一步的，所述数据提取模块包括：平滑处理单元，用于当所述待分析数据的数据类型为图像数据时，对所述待分析数据进行平滑处理，以得到第一处理数据；数据计算单元，用于利用有限差分法计算出所述第一处理数据的梯度幅值和梯度方向，并对所述梯度幅值进行非极大值抑制处理，以得到第二处理数据；数据处理单元，用于对所述第二处理数据进行像素点及边缘提取，以得到所述第二处理数据的每个区别数据和基础数据。
[0015]进一步的，所述数据组合模块包括：关键数据提取单元，用于利用关键数据库对各所述基础数据进行关键数据提取，以得到各所述基础数据的关键数据；相似特征对比单元，用于利用标准数据库对各所述基础数据的关键数据进行相似特征对比，以得到各所述基础数据的相似特征度量；数据聚类单元，用于根据各所述基础数据的相似特征度量对各所述基础数据进行聚类，以得到多个基础数据集。
[0016]进一步的，所述数据分析模块包括：运行空间获取单元，用于获取处理器的运存空间，并基于所述处理器的运存空间计算出各所述待分析子数据所占用所述处理器的运存空间的数值；优先级计算单元，用于根据各所述待分析子数据所占用所述处理器的运存空间的数值计算出各所述待分析子数据的优先级系数。
[0017]本专利技术还提出一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的数据分析方法。
[0018]本专利技术还提出一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的数据分析方法。
[0019]本专利技术当中的数据分析方法、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据分析方法，其特征在于，包括：接收终端设备发送的待分析数据，基于所述待分析数据的数据类型确定对应的数据提取方式，并利用所述数据提取方式提取所述待分析数据中的每个区别数据和基础数据；将每个所述基础数据中基础指标相同的基础数据进行组合，以得到多个基础数据集；抓取各所述基础数据集所对应的数据领域区块，并提取各所述区别数据中的特征指标，利用哈希表算法计算出各所述特征指标在各所述数据领域区块中出现的频次；根据各所述特征指标在各所述数据领域区块中出现的频次将所述待分析数据拆分为多个待分析子数据；计算出各所述待分析子数据的优先级系数，并根据各所述待分析子数据的优先级系数依次对各所述待分析子数据进行数据分析。2.根据权利要求1所述的数据分析方法，其特征在于，基于所述待分析数据的数据类型确定对应的数据提取方式的步骤之前，所述方法还包括：提取所述待分析数据中具有唯一标识的字符串序列；将所述字符串序列输入至预设的字符串序列表中进行数据对比，并根据数据对比结果确定所述待分析数据的数据类型。3.根据权利要求1所述的数据分析方法，其特征在于，基于所述待分析数据的数据类型确定对应的数据提取方式，并利用所述数据提取方式提取所述待分析数据中的每个区别数据和基础数据的步骤包括：当所述待分析数据的数据类型为文本数据时，对所述待分析数据进行预处理；利用词袋模型将预处理后的待分析数据表示为数值向量，以得到所述待分析数据的数值特征矩阵；根据所述数值特征矩阵得到所述待分析数据中的每个区别数据和基础数据。4.根据权利要求1所述的数据分析方法，其特征在于，基于所述待分析数据的数据类型确定对应的数据提取方式，并利用所述数据提取方式提取所述待分析数据中的每个区别数据和基础数据的步骤包括：当所述待分析数据的数据类型为图像数据时，对所述待分析数据进行平滑处理，以得到第一处理数据；利用有限差分法计算出所述第一处理数据的梯度幅值和梯度方向，并对所述梯度幅值进行非极大值抑制处理，以得到第二处理数据；对所述第二处理数据进行像素点及边缘提取，以得到所述第二处理数据的每个区别数据和基础数据。5.根据权利要求3或4所述的数据分析方法，其特征在于，将每个所述基础数据中基础指标相同的基础数据进行组合，...

【专利技术属性】
技术研发人员：章建群，樊振军，
申请(专利权)人：江西现代职业技术学院，
类型：发明
国别省市：