一种基于大数据信息高效处理系统技术方案

本发明专利技术公开了一种基于大数据信息高效处理系统，涉及一种高效处理系统，属于数据处理技术领域；包括数据采集模块、预处理模块、数据处理模块、主控制器、存储控制器、临时存储库、数据预警模块以及数据库；数据采集模块用于数据采集，主控制器与数据采集模块、预处理模块以及数据处理模块控制连接，预处理模块用于对数据采集模块采集的数据进行处理，数据处理模块用于对预处理模块处理后的数据进行处理，临时存储库与数据库用于对数据进行存储，存储控制模块用于根据数据存储的参数进行数据存储控制；通过不同模块间的配合，实现数据的高效处理与存储。处理与存储。处理与存储。

【技术实现步骤摘要】
一种基于大数据信息高效处理系统


[0001]本专利技术涉及一种高效处理系统，具体为一种基于大数据信息高效处理系统，属于数据处理


技术介绍

[0002]数据是对事实、概念或指令的一种表达形式，可由人工或自动化装置进行处理。数据经过解释并赋予一定的意义之后，便成为信息。数据处理是对数据的采集、存储、检索、加工、变换和传输。数据处理的基本目的是从大量的、可能是杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据。数据处理是系统工程和自动控制的基本环节。数据处理贯穿于社会生产和社会生活的各个领域。数据处理技术的发展及其应用的广度和深度，极大地影响了人类社会发展的进程。
[0003]现有的数据存储没有对同时存储的数据进行优先级别的判断，进而进行分批分布处理，没有对数据存储的位置进行分开，建立临时存储以及永久存储位置的区分。
[0004]为了解决上述技术问题，本专利技术提供如下技术方案。

技术实现思路

[0005]本专利技术的目的在于提供一种基于大数据信息高效处理系统，用于解决现有的数据存储没有对同时存储的数据进行优先级别的判断，进而进行分批分布处理，没有对数据存储的位置进行分开，建立临时存储以及永久存储位置的区分。本专利技术设置有数据采集模块、预处理模块、数据处理模块、主控制器、存储控制器、临时存储库、数据预警模块以及数据库；通过不同模块间的配合，实现数据的高效处理与存储。
[0006]本专利技术的目的可以通过以下技术方案实现：
[0007]一种基于大数据信息高效处理系统，包括数据采集模块、预处理模块、数据处理模块、主控制器、存储控制器、临时存储库、数据预警模块以及数据库；所述数据采集模块用于数据采集，所述主控制器与数据采集模块、预处理模块以及数据处理模块控制连接，所述预处理模块用于对数据采集模块采集的数据进行处理，所述数据处理模块用于对预处理模块处理后的数据进行处理，所述临时存储库与数据库用于对数据进行存储，所述存储控制模块用于根据数据存储的参数进行数据存储控制；
[0008]所述数据处理模块用于对预处理模块处理后的数据进行处理，根据处理的结果判定数据储存的优先级，具体的处理过程包括以下：
[0009]所述数据预处理模块将处理后的数据信息发送至数据处理模块；处理后的数据信息包括数据大小Sdi、数据接收时长Ssi以及数据类型Sli；
[0010]数据处理模块接收到预处理模块处理后的数据后，设定数据的优先级值Yxi；
[0011]数据处理模块从数据库中调取计算数据的优先级值Yxi的计算公式，计算公式具体为其中a1、a2、a3为预设系数固定值；
[0012]数据处理模块将数据的优先级值Yxi进行降序排列，所述数据处理模块按照数据的优先级值Yxi从大到小的顺序依次对对应的数据进行存储，将存储的数据存储在临时存储库中。
[0013]所述预处理模块用于对数据采集模块采集的数据信息进行预处理，具体的数据信息预处理过程包括以下：
[0014]当主控制器接收到数据存储指令后，数据采集模块采集存储数据的数据信息；所述数据信息包括数据大小、数据接收时长以及数据类型；将数据大小、数据接收时长以及数据类型发送至预处理模块；
[0015]所述预处理模块接收到数据大小、数据接收时长以及数据类型后，分别将数据大小、数据接收时长以及数据类型标记为Sdi、Ssi、Sli，预处理模块设定二次采集周期T，达到二次采集周期T后发送二次采集指令至数据采集模块，数据采集模块进行数据信息的二次采集，数据采集模块将二次采集的结果发送至预处理模块；
[0016]预处理模块将二次采集的数据信息标记为Sdi
′
、Ssi
′
、Sli
′
；
[0017]若Sdi
′
＝Sdi；Ssi
′
＝Ssi；Sli＝Sli
′
；则将数据大小Sdi、数据接收时长Ssi以及数据类型Sli发送至数据处理模块；若存在任一二次采集的数据信息与初次采集的数据信息不一致，则数据预处理模块发送数据预警信号至数据预警模块。
[0018]优选的，所述数据处理模块用于将处理后的数据暂时存储在临时存储库中，所述存储控制器用于将临时存储库中的数据转存至数据库中；所述存储控制器的工作步骤包括以下步骤：
[0019]SS1：获取数据存储在临时存储库中的时间，并标记为存储初始时间；
[0020]SS2：设定数据存储的时间阈值，并将时间阈值标记为Ty；
[0021]SS3：将存储初始时间与系统当前时间进行时间差计算得到数据的存储时长，并标记为TA；
[0022]SS4：当存储时长TA达到时间阈值Ty，则将对应的数据转存至数据库中。
[0023]所述存储控制模块用于对数据库中存储的数据进行存储控制，具体控制步骤为：
[0024]H1：获取预设时间内数据库中存储的数据的调阅信息，所述调阅信息包括调阅次数、调阅时间以及调阅时长；
[0025]H2：将每个数据的调阅次数标记为CS，将调阅时间标记为JTx，x＝1，
…
，CS；x表示第x次调阅；
[0026]将调阅时长标记为LTx，其中JTx与LTx一一对应；
[0027]将系统当前时间标记为DT；
[0028]H3：将调阅时间与系统当前时间进行时间差计算得到间隔时长GTx，GTx＝DT
‑
JTx；将GTx按照从大到小的顺序排列，获取GTx的最小值，并将其标记为缓冲时长HT；
[0029]H4：将缓冲时长HT与预设时间阈值进行比较；
[0030]若HT大于等于预设时间阈值，则存储控制模块将数据库中对应的数据删除；
[0031]若HT小于预设时间阈值，则执行步骤H5；
[0032]H5：将所有的调阅时长进行求和得到调阅总时长ZT，即ZT＝LTx；
[0033]利用公式得到该数据的活跃值HYx；其中d1、d2均为比例系数；α为补偿因子；
[0034]H6：将活跃值HYx与预设阈值进行比较；
[0035]若HYx小于预设阈值时，则存储控制模块将数据库中对应的数据删除。
[0036]优选的，信息高效处理的步骤包括以下：
[0037]步骤一：当主控制器接收到数据存储指令后，数据采集模块采集存储数据的数据大小、数据接收时长以及数据类型；将数据大小、数据接收时长以及数据类型发送至预处理模块；
[0038]步骤二：预处理模块接收到数据大小、数据接收时长以及数据类型后，分别将数据大小、数据接收时长以及数据类型标记为Sdi、Ssi、Sli，预处理模块设定二次采集周期T，达到二次采集周期T后发送二次采集指令至数据采集模块，数据采集模块进行数据信息的二次采集，数据采集模块将二次采集的结果发送至预处理模块；预处理模块将二次采集的数据信息标记为Sdi
′
、Ssi
′...

【技术保护点】

【技术特征摘要】
1.一种基于大数据信息高效处理系统，其特征在于，包括数据采集模块、预处理模块、数据处理模块、主控制器、存储控制器、临时存储库、数据预警模块以及数据库；所述数据采集模块用于数据采集，所述主控制器与数据采集模块、预处理模块以及数据处理模块控制连接，所述预处理模块用于对数据采集模块采集的数据进行处理，所述数据处理模块用于对预处理模块处理后的数据进行处理，所述临时存储库与数据库用于对数据进行存储，所述存储控制模块用于根据数据存储的参数进行数据存储控制；所述数据处理模块用于对预处理模块处理后的数据进行处理，根据处理的结果判定数据储存的优先级，具体的处理过程包括以下：所述数据预处理模块将处理后的数据信息发送至数据处理模块；处理后的数据信息包括数据大小Sdi、数据接收时长Ssi以及数据类型Sli；数据处理模块接收到预处理模块处理后的数据后，设定数据的优先级值Yxi；数据处理模块从数据库中调取计算数据的优先级值Yxi的计算公式，计算公式具体为其中a1、a2、a3为预设系数固定值；数据处理模块将数据的优先级值Yxi进行降序排列，所述数据处理模块按照数据的优先级值Yxi从大到小的顺序依次对对应的数据进行存储，将需存储的数据存储在临时存储库中。2.根据权利要求1所述的一种基于大数据信息高效处理系统，其特征在于，所述预处理模块用于对数据采集模块采集的数据信息进行预处理，具体的数据信息预处理过程包括以下：当主控制器接收到数据存储指令后，数据采集模块采集存储数据的数据信息；所述数据信息包括数据大小、数据接收时长以及数据类型；将数据大小、数据接收时长以及数据类型发送至预处理模块；所述预处理模块接收到数据大小、数据接收时长以及数据类型后，分别将数据大小、数据接收时长以及数据类型标记为Sdi、Ssi、Sli，预处理模块设定二次采集周期T，达到二次采集周期T后发送二次采集指令至数据采集模块，数据采集模块进行数据信息的二次采集，数据采集模块将二次采集的结果发送至预处理模块；预处理模块将二次采集的数据信息标记为Sdi
′
、Ssi
′
、Sli
′
；若Sdi
′
＝Sdi；Ssi
′
＝Ssi；Sli＝Sli
′
；则将数据大小Sdi、数据接收时长Ssi以及数据类型Sli发送至数据处理模块；若存在任一二次采集的数据信息与初次采集的数据信息不一致，则数据预处理模块发送数据预警信号至数据预警模块。3.根据权利要求1所述的一种基于大数据信息高效处理系统，其特征在于，所述数据处理模块用于将处理后的数据暂时存储在临时存储库中，所述存储控制器用于将临时存储库中的数据转存至数据库中；所述存储控制器的工作步骤包括以下步骤：SS1：获取数据存储在临时存储库中的时间，并标记为存储初始时间；SS2：设定数据存储的时间阈值，并将时间阈值标记为Ty；SS3：将存储初始时间与系统当前时间进行时间差计算得到数据的存储时长，并标记为TA；SS4：当存储时长TA达到时间阈值Ty，则将对应的数据转存至数据库中。
4.根据...

【专利技术属性】
技术研发人员：陈少丽，
申请(专利权)人：江门市国科禾路信息科技有限公司，
类型：发明
国别省市：