一种改进型计算机算法模型的数据处理方法技术

技术编号:34194386 阅读:21 留言:0更新日期:2022-07-17 16:13
本发明专利技术公开一种改进型计算机算法模型的数据处理方法,涉及数据处理技术领域,解决的技术问题是现有技术数据处理效率低下,采用的方案是通过兼容M+Kmeans算法模型和粒子群调度模型接口实现数据信息接收不同种类的数据信息,通过虚拟资源数据库、异构数据库、资源库或者元数据库中获取不同种类的数据信息;其中虚拟资源数据库、异构数据库、资源库或者元数据库设置有数据搜索引擎;能够将采集到的数据信息进行数据转换,把不同格式的数据信息通过标准化处理,进而转换成机器能够接收的数据形式;能够将机器接收到的数据信息进行分类计算,通过M+Kmeans算法模型实现数据分类和编码,并将分类后的数据信息存储起来,本发明专利技术大大提高了数据处理能力。大提高了数据处理能力。大提高了数据处理能力。

【技术实现步骤摘要】
一种改进型计算机算法模型的数据处理方法


[0001]本专利技术涉及数据处理
,且更确切地涉及一种改进型计算机算法模型的数据处理方法。

技术介绍

[0002]数据(Data)是对事实、概念或指令的一种表达形式,可由人工或自动化装置进行处理。数据经过解释并赋予一定的意义之后,便成为信息。数据处理(data processing)是对数据的采集、存储、检索、加工、变换和传输。数据处理是系统工程和自动控制的基本环节,数据处理贯穿于社会生产和社会生活的各个领域。数据处理技术的发展及其应用的广度和深度,极大地影响了人类社会发展的进程。数据处理的基本目的是从大量的、可能是杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据。
[0003]常规技术中通过采用计算机技术实现数据信息的收集、记录,通过人工计算的方法实现数据信息的处理,这种方法不仅错误率比较大,而且容易由于人工计算,导致数据信息出错。常规技术中还采用统计学的方式实现数据信息处理,这种方法虽然比人工方法具有一定的技术进步性,但计算效率比较低。

技术实现思路

[0004]针对上述技术的不足,本专利技术公开一种改进型计算机算法模型的数据处理方法,通过改进型计算机算法模型能够大幅度提高数据信息处理能力,以提高数据信息自动化处理程度。
[0005]为了实现上述技术效果,本专利技术采用以下技术方案:一种改进型计算机算法模型的数据处理方法,其中包括:步骤一、采集数据信息,通过兼容M+Kmeans算法模型和粒子群调度模型接口实现数据信息接收不同种类的数据信息,通过虚拟资源数据库、异构数据库、资源库或者元数据库中获取不同种类的数据信息;其中虚拟资源数据库、异构数据库、资源库或者元数据库设置有数据搜索引擎;步骤二、将采集到的数据信息进行数据转换,把不同格式的数据信息通过标准化处理,进而转换成机器能够接收的数据形式;步骤三、将机器接收到的数据信息进行分类计算,通过M+Kmeans算法模型实现数据分类和编码,并将分类后的数据信息存储起来;步骤四、对存储后的数据信息进行信息计算和挖掘,通过粒子群算法模型实现数据信息的挖掘与处理,以实现数据信息的分析与计算;步骤五、将计算后的数据信息存储起来,供用户分析和应用。
[0006]作为本专利技术进一步的技术方案,通过采集模块实现数据信息的采集,所述采集模块包括至少一个高速串行收发器、至少一个LA逻辑模块、信道维护模块、RXUSER接口、
TXUSER接口,其中所述高速串行收发器与LA逻辑模块连接,所述LA逻辑模块分别与信道维护模块、RXUSER接口和TXUSER接口连接,所述信道维护模块通过控制接口与外界设备连接,RXUSER接口与RXFIFO接口连接,TXUSER接口与TXFIFO接口连接,其中至少一个高速串行收发器和至少一个LA逻辑模块通过4个高速串行收发器接收光模块中的数据信息,并对字符进行编码和解码计算与处理。
[0007]作为本专利技术进一步的技术方案,M+Kmeans算法实现数据信息分类的方法为:步骤(31)、开始,输入数据集和参数,并初始化一个聚类中心,假设信息数据集记作为D,聚类中心记作为;步骤(32)、遍历输入的数据信息,计算数据信息与数据中心点的距离,并按照距离的大小进行排序,记作;步骤(33)、确定K个聚类中心,选择与中心点距离为的数据点B作为下一个数据信息的中心点;步骤(34)、归类到距离最近的类并更新聚类中心,并输出聚类结果和聚类中心选择与中心点距离为的点C,计算点C与点B的距离,如果,则设点为聚类中心点;步骤(35)、经过次迭代过程,找到个种子点作为初始的个质心向量;步骤(36)、将簇划分初始化为,计算样本和各质心向量的距离,其中为初始化后的信息准换后的数据格式,其中表示质心向量个数,则距离公式表示为:(1)公式(1)中,其中表示输入的数据样本,中的i表示第i个数据节点,表示各质心向量,中的表示第个质心向量值,将标记为所对应的类别,表示不同数据信息的距离程度,此时更新,表示更新后的数据信息,对所有的样本点重新计算质心,如果所有的质心没有发生变化,则转到步骤(33)继续分类,不再计算时输出数据信息值。
[0008]作为本专利技术进一步的技术方案,粒子群算法模型实现不同存储节点数据信息调度的方法为:首先设置粒子群算法模型中的不同数据信息参数,其中数据信息参数包括CPU利用率、内存利用率、数据粒子数、数据类型、数据大小和系统时延,将数据信息的节点资源转换为粒子群算法模型中的不同粒子,数据粒子记作为,其中表示第
一次数据调度时第i个数据节点的数据粒子数调度时的CPU利用率,表示第二次数据调度时第i个数据节点的数据粒子数调度时的CPU利用率,表示第三次数据调度时第i个数据节点的数据粒子数调度时的CPU利用率;节点i数据信息调度指标为;表示第一次数据调度时第i个数据节点的数据指标节点资源利用率,表示第二次数据调度时第i个数据节点的数据指标节点资源利用率,表示第三次数据调度时第i个数据节点的数据指标节点资源利用率;然后计算当前数据服务器节点数据存储利用率,函数表示式为:当数据服务部署在节点利用率较低的节点上时,集群中节点资源利用率可表示为:(2)通过公式(2)计算数据节点资源利用率,数据服务时延表示为:(3)公式(3)中,m表示计算节点数据信息的数量,表示数据信息在服务器中存储矩阵,中的i表示存储矩阵的行向量,中的j表示存储矩阵的列向量,表示节点数据信息时延矩阵, 中的表示数据质心,中的表示节点数据信息;为0时,表示服务节点j与服务节点i不进行数据调度;通过公式(2)得到数据服务时延,将数据信息部署在延时更小的节点,进而提高服务响应时间,服务节点数据信息与数据源之间的时延表示为:(4)公式(4)中,x表示数据源的数量,k表示部署的节点数据信息质心, 表示与数据源的依赖矩阵,表示数据源传输给数据节点的数据量,表示数据源的网络时延矩阵;通过公式(4)计算出数据节点与数据源之间的时延,表示出数据服务时延与数据源所需要的数据量之间的关系,在调度过程中,并更新粒子某一维度的速度与位置属性信息,更新函数记作为:(5)
公式(5)中,表示粒子惯性因子,以进行全局搜寻最优解和局部搜寻最优解,、为学习因子的加速度常数,、为粒子群算法的随机数,表示更新后的粒子速度,中的表示粒子位置标识,表示更新后的粒子位置,表示上一时刻粒子位置,、表示粒子群极值;通过公式(5)实现粒子群调度模型的更新,根据实际需求定义适应度函数,进而计算出粒子群算法中的每个粒子的最优解和全局最优解。
[0009]作为本专利技术进一步的技术方案,数据存储为FPGA高速存储模块。
[0010]本专利技术有益的积极效果在于:区别于常规技术,本专利技术公开一种改进型计算机算法模型的数据处理方法,通过兼容M+Kmeans算法模型和粒子群调度模型接口实现数据信息接收不同种类的数据信息,通过虚拟资源数据库、异构数据库、资源库或者元数据库中获取不同种类的数据信息;其中虚拟资源数据库、异构数据库、资源库或者元数据库设置有数据搜索引擎;能够将采集到本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种改进型计算机算法模型的数据处理方法,其特征在于:包括:步骤一、采集数据信息,通过兼容M+Kmeans算法模型和粒子群调度模型接口实现数据信息接收不同种类的数据信息,通过虚拟资源数据库、异构数据库、资源库或者元数据库中获取不同种类的数据信息;其中虚拟资源数据库、异构数据库、资源库或者元数据库设置有数据搜索引擎;步骤二、将采集到的数据信息进行数据转换,把不同格式的数据信息通过标准化处理,进而转换成机器能够接收的数据形式;步骤三、将机器接收到的数据信息进行分类计算,通过M+Kmeans算法模型实现数据分类和编码,并将分类后的数据信息存储起来;步骤四、对存储后的数据信息进行信息计算和挖掘,通过粒子群算法模型实现数据信息的挖掘与处理,以实现数据信息的分析与计算;步骤五、将计算后的数据信息存储起来,供用户分析和应用。2.根据权利要求1所述的一种改进型计算机算法模型的数据处理方法,其特征在于:通过采集模块实现数据信息的采集,所述采集模块包括至少一个高速串行收发器、至少一个LA逻辑模块、信道维护模块、RXUSER接口、TXUSER接口,其中所述高速串行收发器与LA逻辑模块连接,所述LA逻辑模块分别与信道维护模块、RXUSER接口和TXUSER接口连接,所述信道维护模块通过控制接口与外界设备连接,RXUSER接口与RXFIFO接口连接,TXUSER接口与TXFIFO接口连接,其中至少一个高速串行收发器和至少一个LA逻辑模块通过4个高速串行收发器接收光模块中的数据信息,并对字符进行编码和解码计算与处理。3.根据权利要求1所述的一种改进型计算机算法模型的数据处理方法,其特征在于:M+Kmeans算法实现数据信息分类的方法为:步骤(31)、开始,输入数据集和参数,并初始化一个聚类中心,假设信息数据集记作为D,聚类中心记作为;步骤(32)、遍历输入的数据信息,计算数据信息与数据中心点的距离,并按照距离的大小进行排序,记作;步骤(33)、确定K个聚类中心,选择与中心点距离为的数据点B作为下一个数据信息的中心点;步骤(34)、归类到距离最近的类并更新聚类中心,并输出聚类结果和聚类中心选择与中心点距离为的点C,计算点C与点B的距离,如果,则设点为聚类中心点;步骤(35)、经过次迭代过程,找到个种子点作为初始的个质心向量;步骤(36)、将簇划分初始化为,计算样本和各质心向量的距离,其中为初始化后的信息准换后的数据格式,其中表示质心向量个数,则距离公式表示为:
(1)公式(1)中,其中表示输入的数据样本,中的i表示第i个数据节点,表示各质心向量,中的表示第个质心向量值,将标记为所对应的类别,表示不同数据信息的距离程度,此时更新,表示更...

【专利技术属性】
技术研发人员:郑辉健
申请(专利权)人:广州晨安网络科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1