本发明专利技术公开了一种边缘数据处理方法、系统、装置及介质，其中方法包括：边缘节点将数据按照数据类型保存到边缘节点的边缘存储器中，当边缘存储器中同类型数据的存储容量达到预设的容量存储门限，将类型数据集传输到中心云端；中心云端接收并存储边缘节点传输的类型数据集，当类型数据集达到预设的训练门限，确定需要训练的机器学习算法，采用类型数据集对机器学习算法进行训练；对比算法训练前后的性能，将性能较优的机器学习算法同步更新到中心云端和边缘节点的机器学习算法池中。本发明专利技术在边缘计算框架下动态更新边缘节点机器学习算法参数，提高边缘节点数据处理的准确性，降低边缘节点处理数据的错误率，可广泛应用于工业互联网领域。互联网领域。互联网领域。
【技术实现步骤摘要】
一种边缘数据处理方法、系统、装置及介质
[0001]本专利技术涉及工业互联网领域，尤其涉及一种边缘数据处理方法、系统、装置及介质。
技术介绍
[0002]工业互联网是链接工业全系统、全产业链、全价值链，并且支撑工业智能化发展的关键基础设施，是新一代信息技术与制造业深度融合所形成的新兴业态和应用模式，是互联网从消费领域向生产领域、从虚拟经济向实体经济拓展的核心载体，也是全球新一轮产业竞争的制高点。
[0003]针对工业互联网中种类繁多的工业设备和工业控制系统的业务请求、复杂的工业网络环境，海量工业数据的异构性、异源性、异主性，引入了边缘计算的概念，以提高工业互联网中数据的计算处理能力、降低工业互联网中的网络延迟。边缘计算采用分布式架构，将之前由网络中心节点处理的应用程序、数据资料与服务的运算交由网络逻辑上的边缘节点处理。边缘计算将大型服务进行分解，切割成更小更容易处理的内容，把原本由中心节点处理的大型服务分散到边缘节点。边缘节点部署在更接近用户终端的位置，这一特点显著提高了数据传送速度，进一步降低时延，同时边缘节点采用分布式计算架构，使边缘计算具有分布式计算的特点，能够在靠近用户侧进行高效数据处理。边缘计算可以有效缓解网络带宽压力、增强服务响应能力、保护隐私数据。
[0004]边缘计算框架下的边缘节点，需要处理大量的异构异源数据，且需要得到及时响应，基于机器学习的边缘缓存系统可以依据数据源的特征，有针对性的选择适合的机器学习模型对数据进行处理，保证不同的工业互联网数据在，同时机器学习模型可以利用用户请求的数据，动态优化机器学习模型参数，进一步提高机器学习的性能，完成数据处理、模型更新的良性循环。
[0005]目前现有边缘计算框架下引入机器学习算法对数据进行处理常见的方法有以下几种：
[0006]现有技术一：基于联邦学习和边缘计算的医疗数据处理。
[0007]原理：在医疗领域引入边缘计算框架，采取联邦学习算法，使用医疗历史数据对联邦学习进行训练，生成有效模型以处理医疗数据。数据通过交换加密的参数进行模型训练，保证个人对数据的控制权，大幅降低用户数据泄露风险，实现医疗病数据共享和智能疾病数据处理。
[0008]优点：联邦学习现阶段属于较新颖的机器学习算法，在医疗领域数据处理方面具有创新性，并且联邦学习能在保证数据隐私的情况下，把不同数据源的数据联合训练，得到更好的数据处理模型，具备安全性高、大数据分析能力强、接入便捷、高效率和低成本等优势。
[0009]缺点：该方法只针对于医疗领域的数据，在处理医疗领域的数据有较好的效果，在其他领域效果变差，缺乏一定的通用性，同时该方法没有充分利用模型训练之后所产生的
历史数据进一步提高机器学习模型的参数，浪费了后期积累的可用数据。
[0010]现有技术二：基于机器学习和边缘计算的商业数据处理。
[0011]原理：通过边缘爬虫网络计算方法以及用户的输入信息获得待处理的商业数据，并对商业数据进行预处理操作，使用预处理数据对机器学习算法进行训练，同时采用边缘分布式计算过滤数据噪声，以减少机器学习算法在计算过程中的压力，提高训练效率。
[0012]优点：将网络爬虫技术和机器学习相结合，使用边缘爬虫网络计算方法能够有效获取需要处理的数据，同时对数据的预处理可以提高机器学习的训练效率，并采用了数据过滤技术去掉数据噪声，进一步提高机器学习的训练效率。
[0013]缺点：该方法只针对于商业领域的数据，在处理商业领域的数据有较好的效果，在其他领域效果变差，缺乏一定的通用性，同时该方法没有充分利用模型训练之后所产生的历史数据进一步提高机器学习模型的参数，浪费了后期积累的可用数据，并且爬虫技术的数据预处理也给整个系统增加了一定的资源开销。
技术实现思路
[0014]为至少一定程度上解决现有技术中存在的技术问题之一，本专利技术的目的在于提供一种边缘数据处理方法、系统、装置及介质。
[0015]本专利技术所采用的技术方案是：
[0016]一种边缘数据处理方法，包括以下步骤：
[0017]在对用户终端发送的服务请求处理完成后，边缘节点将所述服务请求的数据按照数据类型保存到所述边缘节点的边缘存储器中，当所述边缘存储器中同类型数据的存储容量达到预设的容量存储门限，将所述同类型数据的类型数据集传输到中心云端；
[0018]所述中心云端接收并存储所述边缘节点传输的所述类型数据集，当所述类型数据集达到预设的训练门限，确定需要训练的机器学习算法，采用所述类型数据集对所述机器学习算法进行训练；
[0019]对比算法训练前后的性能，将性能较优的机器学习算法同步更新到所述中心云端和所述边缘节点的机器学习算法池中。
[0020]进一步，所述边缘数据处理方法还包括以下步骤：
[0021]所述用户终端向所述边缘节点发送服务请求；
[0022]所述边缘节点根据所述服务请求的数据类型，确定处理所述类型数据的最佳算法；
[0023]根据确定的最佳算法，从所述边缘节点的机器学习算法池中，获取对应的机器学习算法处理所述服务请求的用户数据；
[0024]数据处理完成后，所述边缘节点将处理结果返回到所述用户终端，完成所述用户终端的服务请求。
[0025]进一步，所述确定需要训练的机器学习算法，包括：
[0026]通过所述中心云端的算法选择器确定需要训练的机器学习算法；
[0027]所述算法选择器中包含数据类型
‑
机器学习算法映射表，其中，映射表包括多种数据类型和多种机器学习算法，所述数据类型包括图像数据类型、音频数据类型、视频数据类型或者文档数据类型中的至少一种，所述机器学习算法包括主成分分析、支持向量机、条件
随机场或者神经网络模型中的至少一种。
[0028]进一步，所述确定处理所述类型数据的最佳算法包括：
[0029]通过边缘节点算法选择器确定处理所述类型数据的最佳算法；
[0030]所述算法选择器中包含数据类型
‑
机器学习算法映射表，其中，映射表包括多种数据类型和多种机器学习算法，所述数据类型包括图像数据类型、音频数据类型、视频数据类型或者文档数据类型中的至少一种，所述机器学习算法包括主成分分析、支持向量机、条件随机场或者神经网络模型中的至少一种。
[0031]进一步，所述对比算法训练前后的性能，将性能较优的机器学习算法同步更新到所述中心云端和所述边缘节点的机器学习算法池中，包括：
[0032]对比算法训练前后的性能评价结果，所述性能评价结果包括对数据处理的精度、模型的安全性以及者模型的健壮性；
[0033]获取综合评价较优的机器学习算法同步更新到所述中心云端和所述边缘节点的机器学习算法池中。
[0034]进一步，所述边缘节点包括边缘存储器、机器学习算法池和边缘节点算法选择器；
[0035]其中，机器学习算法池中包括多种机器学习算法，所述机器学习算法包括主成分分析、支持向本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种边缘数据处理方法，其特征在于，包括以下步骤：在对用户终端发送的服务请求处理完成后，边缘节点将所述服务请求的数据按照数据类型保存到所述边缘节点的边缘存储器中，当所述边缘存储器中同类型数据的存储容量达到预设的容量存储门限，将所述同类型数据的类型数据集传输到中心云端；所述中心云端接收并存储所述边缘节点传输的所述类型数据集，当所述类型数据集达到预设的训练门限，确定需要训练的机器学习算法，采用所述类型数据集对所述机器学习算法进行训练；对比算法训练前后的性能，将性能较优的机器学习算法同步更新到所述中心云端和所述边缘节点的机器学习算法池中。2.根据权利要求1所述的一种边缘数据处理方法，其特征在于，所述边缘数据处理方法还包括以下步骤：所述用户终端向所述边缘节点发送服务请求；所述边缘节点根据所述服务请求的数据类型，确定处理所述类型数据的最佳算法；根据确定的最佳算法，从所述边缘节点的机器学习算法池中，获取对应的机器学习算法处理所述服务请求的用户数据；数据处理完成后，所述边缘节点将处理结果返回到所述用户终端，完成所述用户终端的服务请求。3.根据权利要求1所述的一种边缘数据处理方法，其特征在于，所述确定需要训练的机器学习算法，包括：通过所述中心云端的算法选择器确定需要训练的机器学习算法；所述算法选择器中包含数据类型
‑
机器学习算法映射表，其中，映射表包括多种数据类型和多种机器学习算法，所述数据类型包括图像数据类型、音频数据类型、视频数据类型或者文档数据类型中的至少一种，所述机器学习算法包括主成分分析、支持向量机、条件随机场或者神经网络模型中的至少一种。4.根据权利要求2所述的一种边缘数据处理方法，其特征在于，所述确定处理所述类型数据的最佳算法包括：通过边缘节点算法选择器确定处理所述类型数据的最佳算法；所述算法选择器中包含数据类型
‑
机器学习算法映射表，其中，映射表包括多种数据类型和多种机器学习算法，所述数据类型包括图像数据类型、音频数据类型、视频数据类型或者文档数据类型中的至少一种，所述机器学习算法包括主成分分析、支持向量机、条件随机场或者神经网络模型中的至少一种。5.根据权利要求1所述的一种边缘数据处理方法，其特征在于，所述对比算法训练前后的性能，将性能较优的机器学习算法同步更新到所述中心云端和所述边缘节点的机器学习算法池中，包括：对比算法训练前后的性能评价结果，所述性能评价结果包括对数据处理的精度、模型的安全性以及者模型的健壮性；获取综...
【专利技术属性】
技术研发人员：陆以勤，沈雄，覃健诚，程喆，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。