电信标识网数据存储管理方法、系统、电子设备及介质技术方案

本公开提供一种电信标识网数据存储管理方法、系统、电子设备及存储介质，以解决当前无法满足TIN标识数据存储要求的问题，所述方法包括：通过数据分配节点接收发送到本区域的TIN数据存储任务，并根据管辖的MEC的本地接入节点的状态数据和预设的数据分配算法模型进行数据存储任务的分配；根据分配的任务将数据分配到对应的数据执行节点；通过数据执行节点将数据存储在本地的数据存储节点；其中，数据分配节点部署在MEC的本地汇聚节点，数据执行节点部署在MEC的本地接入节点，数据存储节点包括名称节点和数据节点。本公开可以为TIN不同用户和各类应用提供需要的各种TIN数据服务，满足TIN数据的存储需求。满足TIN数据的存储需求。满足TIN数据的存储需求。

【技术实现步骤摘要】
电信标识网数据存储管理方法、系统、电子设备及介质


[0001]本公开涉及网络通信
，具体涉及一种电信标识网数据存储管理方法，一种电信标识网数据存储管理系统，一种电子设备以及一种计算机可读存储介质。

技术介绍

[0002]电信标识网络(Telecommunication identification network，TIN)是基于电信网络，尤其是第五代通信网络(5G)构建的标识网络，提供各类标识以及标识所属的丰富的信息服务。由于TIN标识网络提供的信息服务种类繁多，因此TIN的数据在数据格式、安全性、读取延时、存储成本等方面的需求也不同。
[0003]传统的网络存储系统采用集中的存储服务器存放所有数据，已不能满足大规模存储应用的需要。分布式存储通过将数据分散存储在多台独立的设备上，并采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，从而有效提高了系统的可靠性、可用性和存取效率。Hadoop分布式文件系统(HDFS)是分布式存储的重要产品，被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统(Distributed File System)。HDFS适合部署在廉价的机器上从而降低存储成本，同时还保持了高度的容错性。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。
[0004]但HDFS架构对处理数据量大的小块数据等其他类型的数据，性能会严重下降，且数据读取的速度是统一的；而TIN标识数据种类繁多，需要对各类数据提供支持；并且需要根据不同存储区域的属性进行动态调整存储模式，以满足用户对数据安全性、成本敏感性等不同的需求；同时需要根据不用数据的特性进行读写任务策略的动态调整。因此，目前的HDFS架构还无法满足TIN标识数据的要求。

技术实现思路

[0005]为了至少解决现有技术中存在的网络存储系统无法满足TIN标识数据的要求的技术问题，本公开提供一种电信标识网数据存储管理方法、电信标识网数据存储管理系统、电子设备以及计算机可读存储介质，可以为TIN不同用户和各类应用提供需要的各种TIN数据服务，满足TIN数据的存储需求。
[0006]第一方面，本公开提供一种电信标识网数据存储管理方法，所述方法包括：
[0007]通过数据分配节点接收发送到本区域的TIN数据存储任务，并根据管辖的MEC(Mobile Edge Computing，移动边缘计)的本地接入节点的状态数据和预设的数据分配算法模型进行数据存储任务的分配；以及，
[0008]根据分配的数据存储任务将数据分配到对应的数据执行节点；
[0009]通过数据执行节点执行数据分配节点分配的任务，将数据存储在本地的数据存储节点；
[0010]其中，所述数据分配节点部署在MEC的本地汇聚节点，所述数据执行节点部署在MEC的本地接入节点，所述数据存储节点包括名称节点NameNode和数据节点DataNode。
[0011]进一步的，所述方法还包括：
[0012]根据接收到的数据类型和读写需求，通过数据读写状态管理节点对所述预设的数据分配算法模型中的分类器和神经网络单元进行参数动态学习和配置，并将数据存储节点的数据读写性能采集后发送到数据分配节点以优化所述预设的数据分配算法模型。
[0013]进一步的，所述方法还包括：
[0014]通过区域数据管理节点负责整个区域的数据分配节点的管理和监督维护；
[0015]其中，区域数据管理节点部署在MEC的本地核心节点中。
[0016]进一步的，所述方法还包括：
[0017]由数据执行节点定期向数据分配节点发送心跳信息，所述心跳信息包括该数据执行节点的工作状态、存储空间使用情况和是否可以接收新的任务情况，以使数据分配节点获知数据执行节点的状态；并且，
[0018]通过数据执行节点将任务执行结果和MEC本地接入节点的状态反馈给数据分配节点。
[0019]进一步的，所述根据预设的数据分配算法模型进行数据存储任务的分配包括：
[0020]响应于TIN数据由提交到系统，根据TIN数据对数据存储节点特性的需求和MEC不同类型数据存储节点位置的属性，通过TIN数据分配算法模型将TIN数据分配到三类数据节点；
[0021]其中，TIN数据中包含了TIN数据的属性描述，包括数据的TIN标识码、数据类型、数据大小、数据来源、存储地址和读写要求；
[0022]所述三类数据节点包括：
[0023]模式1数据节点，其分流网元UPF(User Plane Function，用户面功能)/GW
‑
U(gateway for user，用户网关)和TIN的数据节点均部署在不同等级的MEC中；
[0024]模式2数据节点，其分流网元UPF/GW
‑
U及TIN的数据节点均部署在用户本地机房，分流网元及TIN的数据节点为某个用户专享；
[0025]模式3数据节点，其分流网元UPF/GW
‑
U部署在MEC中，数据节点部署在用户本地机房。
[0026]进一步的，所述方法还包括：
[0027]通过存储设备池配置TIN存储设备介质标识，对每个存储设备和存储介质分配唯一的TIN存储介质标识；
[0028]将TIN存储介质标识对应的存储介质注册到存储设备池，并通过心跳信息将存储介质的设备的状态定期发送给存储设备池，以对存储介质的设备进行状态管理；
[0029]由存储设备池将存储设备底层的不同存储介质通过虚拟化技术封装起来，并虚拟化成逻辑卷，使上层的数据执行节点的存储操作直接对逻辑卷进行。
[0030]进一步的，所述方法还包括：
[0031]根据基于位置分离的虚拟机架安全策略和基于MEC Host的虚拟主机备份策略拓展HDFS的数据安全策略；
[0032]其中，所述基于位置分离的虚拟机架安全策略包括：
[0033]通过“TIN地址标识映射单元”将TIN地址标识中的机架标签将本地MEC和异地MEC映射成虚拟机架组，进行统一的数据存储分配，以实现分布式的本地/异地TIN数据存储容
灾和备份；
[0034]所述基于MEC Host的虚拟主机备份策略包括：
[0035]将TIN地址标识中的数据节点标识部分标映射成不同的数据节点，从而实现虚拟数据节点的映射，灵活设置数据备份数量和路由。
[0036]进一步的，所述方法还包括：
[0037]在MEC的用户应用程序生命周期管理代理中实例化一个TIN数据存储分发代理，以完成块数据存储，关系数据库存储，列数据存储，键值数据存储，及各个不同格式数据到MEC app的不同格式存储区域的路由；
[0038]通过设备应用程序Device app响应用户的请求，使用户可以直接配置数据存储类型，并通过与OSS(Operation Support System，操作支撑系统)和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种电信标识网数据存储管理方法，其特征在于，所述方法包括：通过数据分配节点接收发送到本区域的电信标识网TIN数据存储任务，并根据管辖的移动边缘计算MEC的本地接入节点的状态数据和预设的数据分配算法模型进行数据存储任务的分配；以及，根据分配的数据存储任务将数据分配到对应的数据执行节点；通过数据执行节点执行数据分配节点分配的任务，将数据存储在本地的数据存储节点；其中，所述数据分配节点部署在MEC的本地汇聚节点，所述数据执行节点部署在MEC的本地接入节点，所述数据存储节点包括名称节点NameNode和数据节点DataNode。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据接收到的数据类型和读写需求，通过数据读写状态管理节点对所述预设的数据分配算法模型中的分类器和神经网络单元进行参数动态学习和配置，并将数据存储节点的数据读写性能采集后发送到数据分配节点以优化所述预设的数据分配算法模型。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：通过区域数据管理节点负责整个区域的数据分配节点的管理和监督维护；其中，区域数据管理节点部署在MEC的本地核心节点中。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：由数据执行节点定期向数据分配节点发送心跳信息，所述心跳信息包括该数据执行节点的工作状态、存储空间使用情况和是否可以接收新的任务情况，以使数据分配节点获知数据执行节点的状态；并且，通过数据执行节点将任务执行结果和MEC本地接入节点的状态反馈给数据分配节点。5.根据权利要求1所述的方法，其特征在于，所述根据预设的数据分配算法模型进行数据存储任务的分配包括：响应于TIN数据由提交到系统，根据TIN数据对数据存储节点特性的需求和MEC不同类型数据存储节点位置的属性，通过TIN数据分配算法模型将TIN数据分配到三类数据节点；其中，TIN数据中包含了TIN数据的属性描述，包括数据的TIN标识码、数据类型、数据大小、数据来源、存储地址和读写要求；所述三类数据节点包括：模式1数据节点，其分流网元用户面功能UPF/用户网关GW
‑
U和TIN的数据节点DataNode均部署在不同等级的MEC中；模式2数据节点，其分流网元UPF/GW
‑
U及TIN的数据节点均部署在用户本地机房，分流网元及TIN的数据节点为某个用户专享；模式3数据节点，其分流网元UPF/GW
‑
U部署在MEC中，数据节点部署在用户本地机房。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：通过存储设备池配置TIN存储设备介质标识，对每个存储设备和存储介质分配唯一的TIN存储介质标识；将TIN存储介质标识对应的存储介质注册到存储设备池，并通过心跳信息将存储介质的设备的状态定期发送给存储设备池，以对存储介质的设备进行状态管理；由存储设备池将存储设备底层的不同存储介质通过虚拟化技术封装起来，并虚拟化成
逻辑卷，使上层的数据执行节点的存储操作直接对逻辑卷进行。7.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据基于位置分离的虚拟机架安全策略和基于MEC Host的虚拟主机备份策略拓展Hadoop分布式文件系统HDFS的数据安全策略；其中，所述基于位置分离的虚拟机架安全策略包括：通过“TIN地址标识映射单元”将TIN地址标识中的机架标签将本地MEC和异地MEC映射成虚拟机架组，进行统一的数据存储分配，以实现分布式的本地/异地TIN数据存储容灾和备份；所述基于MEC Host的虚拟主机备份策略包括：将TIN地址标识中的数据节点标识部分标映射成不同的数据节点，从而实现虚拟数据节点的映射，灵活设置数据备份数量和路由。8.根据权利要求1所述的方法，其特征在于，所述方法还包括：在MEC的用户应用程序生命周期管理代理中实例化一个TIN数据存储分发代理，以完成块数据存储，关系数据库存储，列数据存储，键值数据存储，及各个不同格式数据到MEC app的不同格式存储区域的路由；通过设备应用程序Device app响应用户的请求，使用户可以直接配置数据存储类型，并通过与操作支撑系统OSS和多访问边缘编配器进行交互，以处理不同类型的数据存储请求。9.根据权利要求1所述的方法，其特征在于，所述预设的数据分配算法...

【专利技术属性】
技术研发人员：李希金，安岗，赵文东，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：