一种适用于机器学习的数据管理方法和数据管理装置制造方法及图纸

本发明专利技术公开了一种适用于机器学习的数据管理方法和数据管理装置，该数据管理方法包括：数据管理装置接收智能应用的注册任务；获取数据标签所对应的目标数据的离散值，将该离散值填充至全局数据存储区相应的时间序列；在注册任务对应的时间序列满足回送条件时，按照数据标签的注册顺序从相应的时间序列上提取B

【技术实现步骤摘要】
一种适用于机器学习的数据管理方法和数据管理装置


[0001]本专利技术属于机器学习领域，更具体地，涉及一种适用于机器学习的数据管理方法和数据管理装置。

技术介绍

[0002]机器学习特别是深度学习技术近年得到了快速发展，通信网络越来越多地将该技术应用到网络组网规划和调优、智能节能、故障溯源、性能监测等方面。机器学习都是针对多维张量进行处理，针对通信网络设备中的各种异构样本数据必须进行合理张量表示才能应用于机器学习，这个过程也叫特征工程。虽然深度学习技术可以实现特征提取的功能，简化了特征工程的工作，但是其处理的数据依然是多维张量。样本数据的张量表示既需要能够满足模型输入的要求，同时还需要保证数据信息的完整，比如数据间的相关性、数据时间特性等。
[0003]在通信
，随着机器学习技术的应用，针对单一类数据的机器学习模型已经不能满足用户的需要，越来越多的模型需要学习不同结构数据的关联性以挖掘潜在的信息，比如，设备某些业务的性能、告警、设备状态、用户控制等都是有相关性的。
[0004]因此，需要一种方法将异构数据合理的表示在一个张本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适用于机器学习的数据管理方法，其特征在于，所述数据管理方法应用于数据管理装置，所述数据管理装置部署在通信设备的指定层级，所述数据管理方法包括：所述数据管理装置接收智能应用的注册任务，其中，所述注册任务包括所述智能应用所需数据的F个数据标签、采集步长S和返回批次B，F≥1；获取所述数据标签所对应的目标数据的离散值，将该离散值填充至全局数据存储区相应的时间序列；在所述注册任务对应的时间序列满足回送条件时，按照数据标签的注册顺序从相应的时间序列上提取B
×
S个数值形成F个向量，将F个向量联合变形得到B
×
S
×
F维张量，将该B
×
S
×
F维张量分发给相应的智能应用任务。2.根据权利要求1所述的数据管理方法，其特征在于，所述注册任务还包括采样间隔，所述目标数据包括连续数据和离散数据，每一所述时间序列均具有序列标识，所述连续数据所对应的时间序列的序列标识由该所述连续数据所对应的数据标签和采样间隔形成，所述离散数据所对应的时间序列的序列标识由该所述离散数据所对应的数据标签形成；所述管理方法包括：当目标数据为连续数据时，判断在全局数据存储区是否存在序列标识包含该连续数据的数据标签的已有时间序列，且该连续数据的采样间隔是已有时间序列的采样间隔的整数倍或约数；若存在，则共享已有时间序列，其中，共享原则为：若该连续数据的采样间隔是已有时间序列的采样间隔整数倍，则直接共享已有时间序列；若该连续数据的采样间隔是已有时间序列的采样间隔约数，则调整已有时间序列的采样间隔之后，再共享已有时间序列；若不存在，则新增时间序列，并以该连续数据的数据标签和采样间隔为该时间序列的序列标识。3.根据权利要求2所述的数据管理方法，其特征在于，所述管理方法包括：当目标数据为离散数据时，判断在全局数据存储区是否存在序列标识包含该离散数据的数据标签的已有时间序列；若存在，则共享已有时间序列；若不存在，则新增时间序列，并以该离散数据的数据标签为该时间序列的序列标识。4.根据权利要求3所述的数据管理方法，其特征在于，所述获取所述数据标签所对应的目标数据的离散值，将该离散值填充至全局数据存储区相应的时间序列包括：根据返回结果中所携带的数据标签确定该目标数据为离散数据还是连续数据，其中，所述返回结果中还携带有相应的离散值；当该目标数据为离散数据时，根据数据标签确定相应的时间序列，并将离散值和该离散值的发生时间填充到时间序列中；当该目标数据为连续数据时，根据数据标签和采样间隔确定相应的时间序列，将离散值和该离散值的时间戳填充到时间序列中。5.根据权利要求4所述的数据管理方法，其特征在于，所述当该目标数据为连续数据时，根据数据标签和采样间隔确定相应的时间序列，将离散值和该离散值的时间戳填充到时间序列中包括：当该目标数据为连续数据时，根据数据标签和采样间隔确定相应的时间序列；
根据采样间隔和上一个离散值的时间戳确定中间是否有丢失的数值，如果有...

【专利技术属性】
技术研发人员：赵家志，
申请(专利权)人：烽火通信科技股份有限公司，
类型：发明
国别省市：