一种基于计算机设备的总线数据处理方法技术

本发明专利技术公开了一种基于计算机设备的总线数据处理方法，包括如下步骤：对采集的数据进行预处理，得到预处理数据；获取得到预处理数据的访问值，根据访问值判断预处理数据的重要程度，删除无用数据，减轻数据处理压力；并将重要程度高的预处理数据标记为待处理数据；对待处理数据作进一步分析；获取得到待处理数据的优处值；将待处理数据按照优处值的大小降序排列，生成待处理数据的处理优先表；能够根据优处值对待处理数据进行分批处理，使数据处理更加有层次，有条不紊，提高数据处理效率；数据分配模块能够接收待处理数据并根据匹配值和云服务器的负荷分析分配对应的云服务器进行处理，得到目标数据，提高数据处理效率。提高数据处理效率。提高数据处理效率。

【技术实现步骤摘要】
一种基于计算机设备的总线数据处理方法


[0001]本专利技术涉及数据处理
，尤其涉及一种基于计算机设备的总线数据处理方法。

技术介绍

[0002]数据是对事实、概念或指令的一种表达形式，可由人工或自动化装置进行处理。数据经过解释并赋予一定的意义之后，便成为信息。数据处理是对数据的采集、存储、检索、加工、变换和传输。数据处理的基本目的是从大量的、可能是杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据。数据处理是系统工程和自动控制的基本环节。数据处理贯穿于社会生产和社会生活的各个领域。
[0003]数据处理技术的发展及其应用的广度和深度，极大地影响了人类社会发展的进程；随着计算机技术的发展，计算机需要处理的数据量也越来越大，单台计算机已经无法负载一些大规模数据的处理，例如从网络社交平台的海量用户中搜索出符合要求的用户。因此，通常需要将多台计算机联合起来，构成计算机群，并行处理大规模的数据。
[0004]现有的数据处理存在没有对同时处理的数据进行优先级别的判断，进而进行分批处理，以及没有合理的分配服务器进行处理的问题。

技术实现思路

[0005]针对现有技术存在的不足，本专利技术目的是提供一种基于计算机设备的总线数据处理方法。本专利技术中提高对预处理数据进行分析，获取得到预处理数据的访问值，若访问值＜预设访问阈值，则判断该预处理数据重要程度低，将其标记为无用数据，随后将无用数据发送至临时存储模块存储并存储时间设置为三天，存储时间结束后，临时存储模块将删除该无用数据；对数据进行筛选，去除无用数据，减轻数据处理压力；若访问值≥预设访问阈值，则判断该预处理数据重要程度高，并将其标记为待处理数据；对待处理数据作进一步分析；获取得到待处理数据的优处值；将待处理数据按照优处值的大小降序排列，生成待处理数据的处理优先表；能够根据优处值对待处理数据进行分批处理，使数据处理更加有层次，有条不紊，提高数据处理效率；数据分配模块能够接收待处理数据并根据匹配值和云服务器的负荷分析分配对应的云服务器进行处理，得到目标数据，提高数据处理效率。
[0006]本专利技术的目的可以通过以下技术方案实现：
[0007]一种基于计算机设备的总线数据处理方法，包括如下步骤：
[0008]步骤一：对采集的数据进行预处理，得到预处理数据；对预处理数据进行分析，获取得到预处理数据的访问值，根据访问值判断预处理数据的重要程度，删除无用数据；并将重要程度高的预处理数据标记为待处理数据；
[0009]步骤二：对待处理数据作进一步分析；进而获取得到待处理数据的优处值；具体包括：
[0010]S21：将待处理数据的访问值标记为K1，将待处理数据的存储年限标记为K2，将待
处理数据的数据大小标记为K3；
[0011]S22：设定每种数据类型均有一个对应的预设值，将该待处理数据的数据类型与所有的数据类型进行匹配，获取得到该待处理数据的数据类型对应的预设值并标记为K4；
[0012]S23：利用公式K5＝K1
×
a3+K2
×
a4+K3
×
a5+K4
×
a6获取得到待处理数据的优处值K5，其中a3、a4、a5、a6均为预设系数；
[0013]步骤三：将待处理数据按照优处值的大小降序排列，生成待处理数据的处理优先表，反馈该待处理数据在处理优先表所处的序列位置至控制中心；所述控制中心按照反馈的序列位置依次对该待处理数据进行传输；
[0014]步骤四：控制中心将待处理数据传输至数据分配模块，所述数据分配模块用于接收待处理数据并分配对应的云服务器进行处理，得到目标数据；具体步骤为：
[0015]V1：获取所有的云服务器的位置，将云服务器的位置与数据分配模块的位置进行距离差计算得到传输距离，将传输距离标记为L1；
[0016]V2：实时监测云服务器的网络访问速率，将网络访问速率标记为L2；
[0017]V3：实时监测云服务器的CPU使用率，将CPU使用率标记为L3，同时对CPU使用率进行稳态分析，获取得到CPU稳态值并标记为L4；
[0018]V4：将云服务器的设备值标记为L5，将云服务器的当天吞吐量标记为L6；将云服务器的处理次数标记为L7；
[0019]V5：利用公式L8＝(1/L1
×
b1+L2
×
b2+1/L3
×
b3+L5
×
b4
‑
L6
×
b5+L7
×
b6)/L4
‑
1.2356获取得到云服务器的匹配值L8，其中b1、b2、b3、b4、b5和b6均为预设系数；
[0020]V6：将云服务器按照匹配值L8的大小进行排序；
[0021]V7：按照云服务器的排序依次对云服务器进行负荷分析；若该云服务器还未满负荷，则将数据传输至该云服务器进行处理，得到目标数据；
[0022]步骤五：对目标数据进行加密，得到加密数据，将加密数据发送至存储模块进行存储。
[0023]进一步地，所述步骤一中对预处理数据进行分析，具体分析步骤为：
[0024]S11：获取预处理数据的存储信息，所述存储信息包括存储年限、数据类型、数据大小以及访问记录；所述访问记录包括访问次数和访问时间；
[0025]S12：采集预设时间段内预处理数据的访问记录；
[0026]将预处理数据的访问次数进行累加形成访问频次，并标记为F1；
[0027]将预处理数据的访问时间进行累加形成访问总时间，并标记为F2；
[0028]利用公式F3＝F1
×
a1+F2
×
a2获取得到预处理数据的访问值F3，其中a1、a2均为预设系数；
[0029]S13：将访问值F3与预设访问阈值进行比较；
[0030]若访问值F3＜预设访问阈值，则判断该预处理数据重要程度低，将其标记为无用数据，随后将无用数据发送至临时存储模块存储并存储时间设置为三天，存储时间结束后，临时存储模块将删除该无用数据；
[0031]若访问值F3≥预设访问阈值，则判断该预处理数据重要程度高，并将其标记为待处理数据。
[0032]进一步地，所述步骤V7中按照云服务器的排序依次对云服务器进行负荷分析；具
体分析步骤为：
[0033]V71：首先选择排序第一的云服务器，为云服务器分配一个任务执行，当任务执行完后，将当前任务执行耗费时间标记为P1；将P1与预设阈值P进行对比；
[0034]V72：若P1≥P，则利用公式Q1＝(P1
‑
P)/P
×
100％获取得到超出幅度Q1，若Q1≥13％，则认为该云服务器已经满负荷，不再将数据传输至该云服务器；继续选择排序第二的云服务器，重复执行V71；
[0035]若Q1＜13％，则认为该云服务本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于计算机设备的总线数据处理方法，其特征在于，包括如下步骤：步骤一：对采集的数据进行预处理，得到预处理数据；对预处理数据进行分析，获取得到预处理数据的访问值，根据访问值判断预处理数据的重要程度，删除无用数据；并将重要程度高的预处理数据标记为待处理数据；步骤二：对待处理数据作进一步分析；进而获取得到待处理数据的优处值；具体包括：S21：将待处理数据的访问值标记为K1，将待处理数据的存储年限标记为K2，将待处理数据的数据大小标记为K3；S22：设定每种数据类型均有一个对应的预设值，将该待处理数据的数据类型与所有的数据类型进行匹配，获取得到该待处理数据的数据类型对应的预设值并标记为K4；S23：利用公式K5＝K1
×
a3+K2
×
a4+K3
×
a5+K4
×
a6获取得到待处理数据的优处值K5，其中a3、a4、a5、a6均为预设系数；步骤三：将待处理数据按照优处值的大小降序排列，生成待处理数据的处理优先表，反馈该待处理数据在处理优先表所处的序列位置至控制中心；所述控制中心按照反馈的序列位置依次对该待处理数据进行传输；步骤四：控制中心将待处理数据传输至数据分配模块，所述数据分配模块用于接收待处理数据并分配对应的云服务器进行处理，得到目标数据；具体步骤为：V1：获取所有的云服务器的位置，将云服务器的位置与数据分配模块的位置进行距离差计算得到传输距离，将传输距离标记为L1；V2：实时监测云服务器的网络访问速率，将网络访问速率标记为L2；V3：实时监测云服务器的CPU使用率，将CPU使用率标记为L3，同时对CPU使用率进行稳态分析，获取得到CPU稳态值并标记为L4；V4：将云服务器的设备值标记为L5，将云服务器的当天吞吐量标记为L6；将云服务器的处理次数标记为L7；V5：利用公式L8＝(1/L1
×
b1+L2
×
b2+1/L3
×
b3+L5
×
b4
‑
L6
×
b5+L7
×
b6)/L4
‑
1.2356获取得到云服务器的匹配值L8，其中b1、b2、b3、b4、b5和b6均为预设系数；V6：将云服务器按照匹配值L8的大小进行排序；V7：按照云服务器的排序依次对云服务器进行负荷分析；若该云服务器还未满负荷，则将数据传输至该云服务器进行处理，得到目标数据；步骤五：对目标数据进行加密，得到加密数据，将加密数据发送至存储模块进行存储。2.根据权利要求1所述的一种基于计算机设备的总线数据处理方法，其特征在于，所述步骤一中对预处理数据进行分析，具体分析步骤为：S11：获取预处理数据的存储信息，所述存储信息包括存储年限、数据类型、数据大小以及访问记录；所述访问记录包括访问次数和访问时间；S12：采集预设时间段内预处理数据的访问记录；将预处理数据的访问次数进行累加形成访问频次，并标记为F1；将预处理数据的访问时间进行累加形成访问总时间，并标记为F2；利用公式F3＝F1
×
a1+F2
×
a2获取得到预处理数据的访问值F3，其中a1、a2均为预设系数；S13：将访问值F3与预设访问阈值进行比较；
若访问值F3＜预设访问阈值，则判断该预处理数据重要程度低，将其标记为无用数据，随后将无用数据发送至临时存储模块存储并存储时间设置为三天，存储时间结束...

【专利技术属性】
技术研发人员：孟海霞，
申请(专利权)人：孟海霞，
类型：发明
国别省市：