数据处理方法、装置、计算设备及计算机存储介质制造方法及图纸

本发明专利技术公开了一种数据处理方法、装置、计算设备及计算机存储介质，该方法包括：获取采集设备采集的原始数据及对应的设备属性；对设备属性进行哈希处理，得到设备属性对应的哈希值，根据设备属性的哈希值构建默克尔树，以数据键值对方式将设备属性的哈希值与原始数据存储至分布式数据库中；对原始数据进行挖掘学习，生成与原始数据相关的数据模式，将数据模式存储至模式图库中，建立模式图库中数据模式与设备属性的哈希值、原始数据的索引关系；对模式图库存储的数据模式进行数据挖掘，提取得到元数据，根据元数据生成知识图谱，以完成多层次数据架构的构建，实现了在不同优化和业务类别间将数据拉通，大幅提高的资源有效利用率。率。率。

【技术实现步骤摘要】
数据处理方法、装置、计算设备及计算机存储介质


[0001]本专利技术涉及通信
，具体涉及一种数据处理方法、装置、计算设备及计算机存储介质。

技术介绍

[0002]现网数据存在种类繁杂、数据量巨大等特点，各应用为了能在有限的资源和时间限制内获取分析结果，通常会对所需使用的数据进行定制化采集或过滤，且通常的实践方式是数据采集、筛选、处理、存储、呈现等环节均针对该网优业务应用在IT实现上做了相应的优化，且各环节紧密耦合，难以分割。现有网优数据采集与监测系统往往采用schema on write(写时模式)的模式，其schema(数据模式)是预先设计的，数据按照既定schema存储和处理，且schema与数据是绑定(binding)的。这就导致网优数据的存储与处理难以在不同优化和业务类别间将数据拉通，造成巨量资源的浪费。

技术实现思路

[0003]鉴于上述问题，提出了本专利技术实施例以便提供一种克服上述问题或者至少部分地解决上述问题的数据处理方法、装置、计算设备及计算机存储介质。
[0004]根据本专利技术实施例的一个方面本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，包括：获取采集设备采集的原始数据及对应的设备属性；对所述设备属性进行哈希处理，得到所述设备属性对应的哈希值，根据设备属性的哈希值构建默克尔树，以数据键值对方式将设备属性的哈希值与原始数据存储至分布式数据库中；对所述原始数据进行挖掘学习，生成与所述原始数据相关的数据模式，将所述数据模式存储至模式图库中，建立模式图库中数据模式与设备属性的哈希值、原始数据的索引关系，其中，所述模式图库的初始数据模式为设备属性；对所述模式图库存储的数据模式进行数据挖掘，提取得到元数据，根据所述元数据生成知识图谱，以完成多层次数据架构的构建。2.根据权利要求1所述的方法，其中，所述方法还包括：对所述原始数据进行挖掘学习，生成对应的派生数据；获取派生数据对应的采集设备的设备属性；以数据键值对方式将设备属性的哈希值与派生数据存储至分布式数据库中；建立模式图库中数据模式与设备属性的哈希值、派生数据的索引关系。3.根据权利要求2所述的方法，其中，所述方法还包括：根据派生数据对应的采集设备的设备属性的哈希值更新默克尔树。4.根据权利要求1
‑
3中任一项所述的方法，其中，在根据元数据生成知识图谱之后，所述方法还包括：接收携带有网络优化指标的网络优化请求；根据所述网络优化指标查询模式图库，得到与所述网络优化指标关联的数据模式；基于所查询到的数据模式确定与所述数据模式存在索引关系的设备属性的哈希值、原始数据；对所述原始数据进行分析，确定网络优化策略，以根据所述网络优化策略进行网络优化处理。5.根据权利要求1
‑
3中任一项所述的方法，其中，在根据元数据生成知识图谱之后，所述方法还包括：接收携带有网络优化指标的网络优化请求；根据所述网络优化指标查询知识图谱，得到与所述网络优化指标关联的元数据；根据所述元数据查询模式图库，得到与所述元数据关联的数据模式；基于所查询到的数据模式确定与所述...

【专利技术属性】
技术研发人员：陈燕雷，吴兴耀，顾宁伦，高鹏，刘立卫，周胜，周兴围，殷旭，李涛，凌济民，赵文娟，刘菁，苏国庆，巩雪，马冠南，曹祺炜，蒋文杰，赵启恒，李海鸥，邱禹，毛普化，易佩迪，王康，王沁，李政，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：