一种数据处理和存储方法技术

本发明专利技术公开一种数据处理和存储方法，涉及数据处理技术领域，解决的技术问题是数据处理和存储，本发明专利技术采用以下技术方案，一种数据处理和存储方法，包括以下方法：步骤一、在控制器作用下从数据库中获取数据信息，对获取到的数据信息进行预处理；步骤二、将预处理后的数据信息存储起来，通过HBASE+HIVE+SPARK存储模块实现数据信息存储；步骤三、在数据存储过程中通过软聚类算法模型实现数据信息分类，提高数据信息处理能力；步骤四、对处理后的数据信息通过调度算法实现数据信息调度。本发明专利技术能够提高数据信息处理和存储能力，提高用户利用数据信息的能力。信息的能力。信息的能力。

【技术实现步骤摘要】
一种数据处理和存储方法


[0001]本专利技术涉及数据处理
，且更确切地涉及一种数据处理和存储方法。

技术介绍

[0002]随着信息技术的飞速发展，互联网技术、多媒体技术、物联网技术以及云计算技术也迅速蓬勃发展，大量的数据信息被传递、存储和应用，由于物质载体和使用范围的不同，非均质性的海量复杂异构数据逐步渗透到各种应用中，这就给数据的处理和应用带来麻烦。非均质性的海量复杂异构数据繁多，如何对诸如图片、试听材料、音频材料等多种结构化、非结构化和半结构化的数据进行存储、应用就成为亟待解决的问题。 随着数据信息量的增加，如何实现数据信息计算、存储和应用是当前处理数据问题中的关键。

技术实现思路

[0003]针对上述技术的不足，本专利技术公开一种数据处理和存储方法，能够提高数据信息处理和存储能力，提高用户利用数据信息的能力。
[0004]为了实现上述技术效果，本专利技术采用以下技术方案：一种数据处理和存储方法，其中包括以下方法：步骤一、在控制器作用下从数据库中获取数据信息，对获取到的数据信息进行预处理，并控制数据库数据信息的持续性读入和读出，不断对数据库中的数据信息进行更新；步骤二、将预处理后的数据信息存储起来，通过HBASE+HIVE+SPARK存储模块实现数据信息存储，其中HBASE+HIVE+SPARK存储模块内设置流量计算模块和并行计算模块；步骤三、在数据存储过程中通过软聚类算法模型实现数据信息分类，提高数据信息处理能力；步骤四、对处理后的数据信息通过调度算法实现数据信息调度，未调度的数据信息被存储起来，处理后的数据信息被传递。
[0005]作为本专利技术进一步的技术方案，控制器为ARM32位的CortexTM
‑
M3 CPU处理器。
[0006]作为本专利技术进一步的技术方案，不断对数据库中的数据信息进行更新的方法为：设置数据输入间隔时间，通过数据协议识别数据传输过程中的数据信息，并通过数据过滤模块对数据库中的数据信息过滤。
[0007]作为本专利技术进一步的技术方案，HBASE+HIVE+SPARK存储模块包括HBASE模块、HIVE模块和SPARK模块。
[0008]作为本专利技术进一步的技术方案，HBASE+HIVE+SPARK存储模块实现数据存储的方法为：（1）数据信息写入：首先通过文件信息进行数据信息写入，在不同数据库的客户端中，通过调用函数实现数据信息的调用，将接收到的数据信息不同文件信息输出到HBASE、HIVE或者SPARK数据库中， FSData Output Stream 将接收到的文件信息分成若干
个小包，在不同数据库的数据节点之间实现数据信息的交互；（2）数据信息的读取，通过调用open函数，向与该数据函数互通的架构节点发出数据读取请求，通过各个数据库内设置的元数据节点，能够获取文件内部蕴含的数据块信息；（3）数据存储，在进行数据存储时，调取区块的数据程序，当前的区块数据流断开后，通过选择数据节点获取数据块，然后调取close函数阻断当前的数据流，其中一种形式的数据存储代码如下所示：通过上述方式完成数据存储。
[0009]作为本专利技术进一步的技术方案，流量计算模块为多数据流协同计算模块，实现方法为：步骤一、建立数据流协同计算模型，分别在HBASE模块、HIVE模块和SPARK模块中计算多数据流量数据信息，如公式（1）所示： （1）在公式（1）中，表示多数据流量数据信息输出模型，表示数据更新函数，表示计算次数，表示计算总数，表示数据更新函数有效角度，表示在时间下的数据通信协议更新参数；表示多数据流量数据信息库；表示多数据流量数据信息库中的信息种类；步骤二、构建全局函数；（2）在公式（2）中，表示全局函数输出值，表示全局函数工作过程中的稳定性系数，和为不同数据库信息下的数据参数；步骤三、构建本地函数数据信息，如公式（3）所示。
[0010]（3）在公式（3）中，表示滑动窗口中数据的内积，表示数据流的条数。
[0011]作为本专利技术进一步的技术方案，并行计算模块包括数据特征提取模块、HBASE模块接口、HBASE模块接口、SPARK模块接口、时序匹配模块、缓冲器SN74LVTH16245、DSP TMS320C6713、CY7C1061 SRAM模块和AM29LV800B FLASH模块，其中时序匹配模块设置有相关系数。
[0012]作为本专利技术进一步的技术方案，相关系数函数为：
ꢀꢀꢀ
（4）在公式（4）中，表示滑动窗口中数据的内积；表示相关系数方阵的空间转换系数，将阵阶数抽象成到一个计算网格之中，配置相关系数，得到特定滑动窗口，设置线程块索引方式，对这8条数据流相关系数方阵索引，在所有线程块中，使用个线程并行计算方式，对应滑行窗口中的个数据位积，采用协议算法计算滑行窗口中的个位积之和，并分段累加，得到，由任意数据流中相关系数获取最终数值；当线程块中行、列索引存在数值关系，即行索引≤列索引时，线程块将不在下三角数组中；通过公式（4）中的直线表达式，精确计算数据流的多数据流相关系数。
[0013]作为本专利技术进一步的技术方案，软聚类算法模型的工作方法为：软聚类算法模型如公式（5）所示： (5)公式（5）中，表示待处理数据信息位置的指标参数，表示处理数据效率指标，表示数据信息存储的参数，表示数据处理路径，表示待处理数据信息类型系数，表示待处理数据信息系数，表示待处理数据信息的变化次数，表示的是处理周期；数据在处理过程中的变化规律函数如公式（2）所示： (6)公式（6）中，表示待测数据信息在分析应用过程中的动态变化规律函数，
表示所测不同数据类型变量组数，表示所测不同数据类型计算次数，表示处理不同数据信息时的信息变化量，表示所测不同数据类型系数，表示所测数据信息在当前环境中的影响量系数，表示数据处理周期；将处理数据信息按照隶属矩阵函数进行转换，则处理不同数据时动态变化函数转换公式如公式（7）所示： (7)公式（7）中，表示动态变化函数，表示处理不同数据信息时的信息变化量，表示数据信息受外界信息影响的系数，表示所测不同数据类型系数，表示所测数据信息在当前环境中的影响量系数，表示数据处理周期，表示所测不同数据类型变量组数，表示所测不同数据类型计算次数；校验函数转换式如公式（8）所示： (8)公式（8）中，表示优化后的数据存储空间内部数据信息，表示优化后的外部影响数据信息，和均表示优化前的数据存储信息；通过校验各项参数判定所调整数据是否合理，验证函数表示如公式（9）所示： (9)公式(9)中，表示造成数据误差的未知变量，表示数据调整效率，表示在数据调整期间误差的变量，表示所测不同数据类型系数，表示所测数据信息在当前环境中的影响量系数，表示数据处理周期，表示所测不同数据类型计算次数。
[0014]作为本专利技术进一步的技术方案，调度算法模型包括以下方法：假设多种存储器用以下数据集合来表示： （10）假设存储器表示众多服务器中的权值，则存在以下表达式：
ꢀ
（11）公式（11）能够将所有存储器的信息集中起来，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理和存储方法，其特征在于：包括以下方法：步骤一、在控制器作用下从数据库中获取数据信息，对获取到的数据信息进行预处理，并控制数据库数据信息的持续性读入和读出，不断对数据库中的数据信息进行更新；步骤二、将预处理后的数据信息存储起来，通过HBASE+HIVE+SPARK存储模块实现数据信息存储，其中HBASE+HIVE+SPARK存储模块内设置流量计算模块和并行计算模块；步骤三、在数据存储过程中通过软聚类算法模型实现数据信息分类，提高数据信息处理能力；步骤四、对处理后的数据信息通过调度算法实现数据信息调度，未调度的数据信息被存储起来，处理后的数据信息被传递。2.根据权利要求1所述的一种数据处理和存储方法，其特征在于：控制器为ARM32位的CortexTM
‑
M3 CPU处理器。3.根据权利要求1所述的一种数据处理和存储方法，其特征在于：不断对数据库中的数据信息进行更新的方法为：设置数据输入间隔时间，通过数据协议识别数据传输过程中的数据信息，并通过数据过滤模块对数据库中的数据信息过滤。4.根据权利要求1所述的一种数据处理和存储方法，其特征在于：HBASE+HIVE+SPARK存储模块包括HBASE模块、 HIVE模块和SPARK模块。5.根据权利要求4所述的一种数据处理和存储方法，其特征在于：HBASE+HIVE+SPARK存储模块实现数据存储的方法为：（1）数据信息写入：首先通过文件信息进行数据信息写入，在不同数据库的客户端中，通过调用函数实现数据信息的调用，将接收到的数据信息不同文件信息输出到HBASE、HIVE或者SPARK数据库中， FSData Output Stream 将接收到的文件信息分成若干个小包，在不同数据库的数据节点之间实现数据信息的交互；（2）数据信息的读取，通过调用open函数，向与该数据函数互通的架构节点发出数据读取请求，通过各个数据库内设置的元数据节点，能够获取文件内部蕴含的数据块信息；（3）数据存储，在进行数据存储时，调取区块的数据程序，当前的区块数据流断开后，通过选择数据节点获取数据块，然后调取close函数阻断当前的数据流完成数据的存储。6.根据权利要求1所述的一种数据处理和存储方法，其特征在于：流量计算模块为多数据流协同计算模块，实现方法为：步骤一、建立数据流协同计算模型，分别在HBASE模块、 HIVE模块和SPARK模块中计算多数据流量数据信息，如公式（1）所示：（1）在公式（1）中，表示多数据流量数据信息输出模型，表示数据更新函数，
表示计算次数，表示计算总数，表示数据更新函数有效角度，表示在时间下的数据通信协议更新参数；表示多数据流量数据信息库；表示多数据流量数据信息库中的信息种类；步骤二、构建全局函数；（2）在公式（2）中，表示全局函数输出值，表示全局函数工作过程中的稳定性系数，和为不同数据库信息下的数据参数；步骤三、构建本地函数数据信息，如公式（3）所示：（3）在公式（3）中，表示滑动窗口中数据的内积，表示数据流的条数。7.根据权利要求1所述的一种数据处理和存储方法，其特征在于：并行计算模块包括数据特征提取模块、HBASE模块接口、HBASE模块接口、SPARK模块接口、时序匹配模块、缓...

【专利技术属性】
技术研发人员：叶子维，
申请(专利权)人：深圳市共赢晶显技术有限公司，
类型：发明
国别省市：