数据快速变更方法、系统及相关设备技术方案

本公开提供了一种数据快速变更方法、系统及相关设备，涉及通信技术领域，该方法包括：解析原始全量网络数据得到原始库数据；同步原始库数据至业务库数据；将采集的每批次全量数据作为临时数据与原始库数据进行比对；根据比对结果对原始库数据进行相应变更操作；将原始库数据的所有变更操作形成日志记录；以及根据日志记录对业务库数据执行变更操作。本公开实施例的方法通过减小业务库处理的数据量，提高了海量数据的更新效率，提升了数据质量。进一步地，通过增量数据更新的方式，大大降低了原始库与业务库之间的全量文件同步的周期，降低了业务数据库的负载与压力。业务数据库的负载与压力。业务数据库的负载与压力。

【技术实现步骤摘要】
数据快速变更方法、系统及相关设备


[0001]本公开涉及通信
，尤其涉及一种数据快速变更方法、系统、计算机可读存储介质及电子设备。

技术介绍

[0002]在传输网络数字化平台的建设中，物理网络的数据在数字化平台中的还原有以下两个特点。首先，是数据的海量特性，以端口为例，根据传输网络数据的建模，光传输网物理端口下的逻辑端口作为连接终端点，体现了物理端口的潜在业务能力，一个SDH物理端口下所属的逻辑端口数可达到3000多个。对于超大规模的网络数字化平台建设，物理端口达千万级，纳管的设备逻辑端口数量巨大，达到十亿级。其次，是对数据准确性与实时性的要求，逻辑端口是传输网数字化运营中不可获缺的模型对象，它体现了SNC分层模型中不同层次路径的连接与终结关系，体现了告警、性能等重要运营数据的具体挂接点，需要实时准确地将物理网络中逻辑端口的变更情况还原到数字化平台中。
[0003]全量数据比对更新是数据还原的一个重要手段，它将从物理网络采集到的全量数据和数字化平台中的数据进行全量比对，并根据比对结果进行更新。全量数据比对涉及的数据范围大，耗时长，如何解决海量数据的快速更新成为需要解决的问题。同时，全量数据更新的动作对数据库的资源占用消耗较大，对生产业务的使用可能造成较大的影响。如何尽量减小全量数据比对对业务数据库的影响是需要解决的另一个问题。
[0004]因此需要设计一种数据快速变更的方法和系统，解决传输网络海量数据变更中的上述问题。
[0005]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0006]本公开的目的在于提供一种数据快速变更方法、系统、计算机可读存储介质及电子设备，以至少解决相关技术中全量数据比对涉及的数据范围大、耗时长以及全量数据变更的操作对数据库的资源占用消耗较大，对业务数据库造成较大影响的技术问题。
[0007]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0008]本公开的技术方案如下：
[0009]根据本公开的一个方面，提供一种数据快速变更方法，该方法包括：解析原始全量网络数据得到原始库数据；同步原始库数据至业务库数据；将采集的每批次全量数据作为临时数据与原始库数据进行比对；根据比对结果对原始库数据进行相应变更操作；将原始库数据的所有变更操作形成日志记录；以及根据日志记录对所述业务库数据执行变更操作。
[0010]在本公开的一些实施例中，解析原始全量网络数据得到原始库数据的步骤包括：
获取原始全量网络数据源网元的标识信息；根据标识信息确定存储分区数量；将网元唯一标识通过该算法映射到一个哈希散列值；以及根据原始全量网络数据所属的网元所映射的哈希值，存储到固定的分区得到原始库数据。
[0011]在本公开的一些实施例中，将采集的每批次全量数据作为临时数据与原始库数据进行比对的步骤包括：将采集的每批次全量数据作为临时数据和原始库数据按逐个分区进行数据比对。
[0012]在本公开的一些实施例中，根据日志记录对业务库数据执行变更操作的步骤包括：将日志记录发送至消息中间件；订阅消息中间件上的变更消息主题，接收数据变更消息，并逐条根据消息对业务库数据执行变更操作。
[0013]在本公开的一些实施例中，同步原始库数据至业务库数据的步骤包括：定期导出原始库的全量网络数据；解析全量网络数据并保存至业务库。
[0014]根据本公开的又一个方面，提供一种数据快速变更系统，该系统包括：采集层服务模块、业务库模块、原始库模块以及业务层服务模块，其中，采集层服务模块，用于解析原始全量网络数据得到原始库数据；原始库模块，用于存储原始库数据；业务库模块，用于同步原始库数据至业务库数据；采集层服务模块，还用于将采集的每批次全量数据作为临时数据与原始库数据进行比对；根据比对结果对原始库数据进行相应变更操作；原始库模块，还用于将原始库数据的所有变更操作形成日志记录；以及业务层服务模块，用于根据日志记录对业务库数据执行变更操作。
[0015]在本公开的一些实施例中，该系统还包括变更发送服务模块，其中，变更发送服务模块，用于将日志记录发送至消息中间件模块；由业务层服务模块订阅消息中间件上的变更消息主题，接收数据变更消息，并逐条根据消息对业务库数据执行变更操作。
[0016]在本公开的一些实施例中，业务库模块中还包括：全量文件导出模块和全量文件解析模块，其中，全量文件导出模块，用于定期导出原始库的全量网络数据；全量文件解析模块，用于解析全量网络数据并保存至业务库。
[0017]根据本公开的又一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述的数据快速变更方法。
[0018]根据本公开的又一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的数据快速变更方法。
[0019]本公开实施例的方法通过将传输全量网络数据的数据库分为原始库和业务库两个层级，在进行网络数据的全量比对入库时，在原始库进行全量比对并过滤大部分不变的配置数据，仅发送变更数据的消息通知，使业务库仅需要处理发生变更的数据，减小了变更的数据量，从而提高了海量数据的更新效率，提升了数据质量。
[0020]进一步地，通过增量数据更新的方式，大大降低了原始库与业务库之间的全量文件同步的周期，降低了业务数据库的负载与压力。
[0021]更进一步地，本公开方法实现了对超大规模光传输网络的数字孪生构建，实现了海量逻辑端口的实时高效数据处理，形成了统一的光传输网数字运营底座。
[0022]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0023]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0024]图1示出本公开实施例的一种数据快速变更方法的流程示意图。
[0025]图2示出本公开实施例中一种数据快速变更方法中解析原始全量网络数据得到原始库数据的方法流程图。
[0026]图3示出本公开实施例中一种数据快速变更方法中将采集的每批次全量数据作为临时数据与原始库数据进行比对的方法流程图。
[0027]图4示出本公开实施例中一种数据快速变更系统的结构示意图。
[0028]图5示出本公开实施例中又一种数据快速变更系统的流程示意图。
[0029]图6示出本公开实施例中一种数据快速变更方法的电子设备的示意性框图。
具体实施方式
[0030]现在将参考附图更全面地描本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据快速变更方法，其特征在于，所述方法包括：解析原始全量网络数据得到原始库数据；同步所述原始库数据至业务库数据；将采集的每批次全量数据作为临时数据与原始库数据进行比对；根据比对结果对所述原始库数据进行相应变更操作；将所述原始库数据的所有变更操作形成日志记录；以及根据所述日志记录对所述业务库数据执行变更操作。2.根据权利要求1所述的数据快速更新方法，其特征在于，解析原始全量网络数据得到原始库数据的步骤包括：获取所述原始全量网络数据源网元的标识信息；根据所述标识信息确定存储分区数量；将网元唯一标识通过该算法映射到一个哈希散列值；以及根据所述原始全量网络数据所属的网元所映射的哈希值，存储到固定的分区得到原始库数据。3.根据权利要求2所述的数据快速更新方法，其特征在于，将采集的每批次全量数据作为临时数据与原始库数据进行比对的步骤包括：将采集的每批次全量数据作为临时数据和所述原始库数据按逐个分区进行数据比对。4.根据权利要求1所述的数据快速变更方法，其特征在于，根据所述日志记录对所述业务库数据执行变更操作的步骤包括：将所述日志记录发送至消息中间件；订阅所述消息中间件上的变更消息主题，接收数据变更消息，并逐条根据消息对所述业务库数据执行变更操作。5.根据权利要求1所述的数据快速变更方法，其特征在于，同步所述原始库数据至业务库数据的步骤包括：定期导出所述原始库的全量网络数据；解析所述全量网络数据并保存至所述业务库。6.一种数据快速变更系统，其特征在于，所述系统包括：采集层服务模块、业务库模块、...

【专利技术属性】
技术研发人员：陈婧华，刘朝阳，姜先荣，唐亮，杨刚刚，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：