通信设备快速加载海量数据的方法技术

本发明专利技术公开了一种通信设备快速加载海量数据的方法，所述方法包括以下步骤：（１）在单板启动前，将数据库中的数据备份至数据文件中，并将数据文件保存至存储介质中；（２）单板启动时，将存储介质上的数据文件中的数据加载至单板内存中。本发明专利技术所述方法实现了通信设备启动时海量数据的快速加载。

【技术实现步骤摘要】

本专利技术涉及通信领域，更具体地涉及一种。
技术介绍
通信设备一般由多种单板组成，不同的单板完成不同的功能。同时，通信设备一般使用数据库系统存储相关的数据。通信设备本身的实时性要求将数据库中数据加载到单板内存中，实现数据的快速检索。现有的数据加载方法是将数据从数据库中检索出来，然后将数据通过网络数据包发到单板。当所有单板并发向数据库请求加载数据时，从数据库中检索数据的过程非常耗时，在多个通信设备级联时这种情况更加严重。当通信设备升级或者在运行过程中一旦出现故障发生宕机时，如果不能快速启动，有可能长时间出现业务全部中断的灾难性事故。在海量数据的情况下，通信设备如何快速加载数据，实现系统的快速启动，从而减少升级或者故障中断时间，降低风险是运营商和设备提供商非常关心的问题。
技术实现思路
本专利技术所要解决的技术问题在于提供一种，实现了通信设备启动时海量数据的快速加载。为解决上述问题，本专利技术提供了一种，其特征在于，包括以下步骤(1)在单板启动前，将数据库中的数据备份至数据文件中，并将数据文件保存至存储介质中；(2)单板启动时，将存储介质上的数据文件中的数据加载至单板内存中。本专利技术所述的，其中，步骤(2)进一步包括(21)单板启动时，在单板内存中开辟一块动态存储空间作为数据缓冲区；并在所述存储介质和单板间建立链接；(22)定位并打开数据文件，将所述存储介质上的数据文件中的数据读取至所述数据缓冲区，读取至数据缓冲区的数据容量不超过所述数据缓冲区的容量；(23)将所述数据缓冲区中的数据解析并插入到单板的内存表中；(24)判断所述数据文件中的数据是否完全加载至单板内存中；如果否，转至步骤(22)；否则转至步骤(25)；(25)判断是否所有数据文件中的数据加载完成；如果否，转至步骤(22)；否则，关闭单板与所述存储介质间的链接，释放所述数据缓冲区。本专利技术所述的，其中，单板启动时，单板与所述存储介质建立FTP链接，并通过FTP方式定位并打开数据文件。本专利技术所述的，其中，多个单板同时与所述存储介质建立FTP链接。本专利技术所述的，其中，多个单板定位并打开一个数据文件。本专利技术所述的，其中，在步骤(2)中，将发生变化的数据记录在数据库中的同步变化表中，将所述同步变化表传送至单板内存。本专利技术所述的，其中，在步骤(1)中，所述单板为多个，在存储介质中为每个单板建立一个目录，将需要加载至单板的数据文件备份到对应的目录下；建立公共目录，将公共的数据文件存放到该公共目录中。本专利技术所述的，其中，在步骤(1)中，将数据库中的数据以数据库关系表的形式，按照描述信息与数据相对应的分布关系，备份到数据文件中。本专利技术所述的，其中，步骤(2)进一步包括在系统升级之前，执行数据备份操作，将数据库的记录导出到数据文件中。本专利技术所述的，其中，步骤(2)进一步包括系统运行中发生宕机时，在系统启动恢复后，实时检查同步变化表，将发生变化的记录实时同步到单板内存中。采用本专利技术所述方法，与现有技术相比，实现了通信设备启动时海量数据的快速加载。附图说明图1是本专利技术实施例所述方法采用的系统的结构图；图2是本专利技术所述方法一种具体实施操作流程图；图3是本专利技术所述方法另一种具体实施操作流程图。具体实施例方式本专利技术为了解决传统技术方案存在的弊端，通过以下实施例进一步阐述本专利技术所述的一种，以下对具体实施方式进行详细描述，但不作为对本专利技术的限定。本专利技术实施例所述方法基于图1所示的系统而实现。如图1所示，所述系统包括数据库、存储介质、数据备份模块、数据同步模块和单板，所述单板包括数据加载模块，数据加载模块包括数据加载控制单元和数据插入单元，其中数据备份模块，用于将数据库中的数据备份至数据文件中；数据同步模块，用于记录数据库中数据的变化，并将数据的变化实时写入数据库同步变化表中；数据加载控制单元，用于在内存中开辟一块动态存储空间用作数据缓冲区，同时与存放数据文件的设备建立一条FTP(文件传输协议)链接；并通过FTP方式定位并打开数据文件，将文件的数据直接读取到单板开辟的数据缓冲区中，每次读取的数据可以设定，并且不超过数据缓冲区容量；数据插入单元，用于将数据缓冲区的数据进行解析并插入到内存表中。如图2所示，本专利技术所述方法一种具体实施操作流程图。本专利技术所述方法一种具体实施包括以下步骤步骤21，在单板启动前，将数据库中的数据备份至数据文件中，并将数据文件保存至存储介质中；步骤22，单板启动时，将存储介质上的数据文件中的数据加载至单板内存中。如图3所示，本专利技术所述方法另一种具体实施操作流程图。本专利技术所述方法另一种具体实施包括以下步骤步骤31，在单板启动前，将数据库中的数据备份至数据文件中，并将数据文件保存至存储介质中；所述单板可以为多个，在存储介质中为每个单板建立一个目录，将需要加载至单板的数据文件备份到对应的目录下；建立公共目录，将公共的数据文件存放到该公共目录中。目录可以按照“前缀+单板顺序号”的方式命名。这样对于需要加载到不同单板的数据，只需要到存储介质中各个单板对应的目录下的文件中读取。对于公共数据表，只需到公共目录下读取。将数据库中的数据以数据库关系表的形式，按照描述信息与数据相对应的分布关系，备份到数据文件中。即，所述数据文件中的数据记录具有一定的格式，如下所示前面三行是字段的描述信息，从第四行开始是每一条记录。字段1名分隔符字段2名分隔符......字段n名字段1类型分隔符字段2类型分隔符......字段n类型字段1长度分隔符字段2长度分隔符......字段n长度字段1值分隔符字段2值分隔符......字段n值字段1值分隔符字段2值分隔符......字段n值....... 数据备份模块在备份需要加载至某单板的数据时，根据所述分布关系，生成需要加载至该单板的数据文件，并将相应的数据文件存放到对应的目录中。由此可以实现大量数据的分流，减少了网络流量，同时在加载数据时，不必再作检索操作，可以直接读取数据，缩短了加载时间。步骤32，单板启动时，在单板内存中开辟一块动态存储空间作为数据缓冲区；并在所述存储介质和单板间建立FTP链接；FTP是基于TCP的成熟可靠的大宗数据传输方式，可以控制FTP链接的数目，保证单板一批一批启动，防止拥塞，而且可以为每个FTP链接限制流量。步骤33，通过FTP方式定位并打开数据文件，将所述存储介质上的数据文件中的数据读取至所述数据缓冲区，读取至数据缓冲区的数据容量不超过所述数据缓冲区的容量； 所述单板可以为多个，多个单板同时与所述存储介质建立FTP链接，互不干扰，多个单板可以定位并打开一个数据文件，从而读取同一个数据文件。通过FTP方式每次单板可以快速读取大宗数据到内存中。并且单板在并发加载数据时，相互之间并不干扰，可靠性非常高。步骤34，将所述数据缓冲区中的数据解析并插入到单板的内存表中；步骤35，判断所述数据文件中的数据是否完全加载至单板内存中；如果否，转至步骤33；否则转至步骤36；步骤36，判断是否所有数据文件中的数据加载完成；如果否，转至步骤33；否则，关闭单板与所述存储介质间的链接，释放所述数据缓冲区。由于配置数据等原因，数据库中的数据会不断更新，数据同步模块将发生变化的数据记录在数据库中的同步变化表中，将所述同步变化表传送至单板内存。如果本文档来自技高网...

【技术保护点】
一种通信设备快速加载海量数据的方法，其特征在于，包括以下步骤：（１）在单板启动前，将数据库中的数据备份至数据文件中，并将数据文件保存至存储介质中；（２）单板启动时，将存储介质上的数据文件中的数据加载至单板内存中。

【技术特征摘要】

【专利技术属性】
技术研发人员：牛家浩，王忱，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：94[中国|深圳]