一种多层分类数据体系的数据更新方法，该方法的步骤是首先在主体系表中添加各分体系数据副本表以及主体系表与分体系表之间的映射关系表，然后对主体系和各分体系进行定时扫描，将扫描数据结果格式化为json格式并加密保存，并生成更新文件的hash值检验码，接着分体系所在端定时扫描主体系端是否有最新文件和定时扫描自身是否有最新更新内容，并生成对应的更新文件，最后实现定时同步更新主体系数据和上传分体系数据。本发明专利技术的优点是不但可以减少分体系所在端对主体系所在端的访问压力，保证主体系和分体系数据相一致，而且对网络要求低，过程简单，能够保证数据的安全传递、有效更新。
【技术实现步骤摘要】
:本专利技术涉及大数据的分类和处理
，具体讲是。
技术介绍
:在数据处理特别是大数据的分类和处理领域中，存在大量的数据需要进行分类，而往往这些数据的分类依据多种分类标准由多个主体独立进行维护，这些独立维护的分类数据无法保证数据的一致性从而影响数据的更新和同步。通常，我们把数据的分类和数据的处理统称为体系数据。把由主体数据维护责任人发布的体系数据称为主体系数据，由部分数据维护责任人发布的体系数据称为部分体系数据。这样上述问题可以描述为主体系数据和部分体系数据的更新和同步问题。传统的分层数据体系更新方法是主动将主体系数据往各分体系推送以达到各分体系数据更新，主要使用的技术手段包括使用数据库自带的触发器机制和数据同步复制机制向各分体系进行推送或者通过文件Web service服务直接从主体系中读取数据来更新各分体系数据。通常数据库管理软件都带有触发器机制，比如在实际操作中，表A数据变化同时，表B同时需要变化，这时候可以在表A中添加一个触发器，只要对表A数据进行操作，立刻会按照触发器预先设置的操作要求对表B数据进行处理。上述传统分层数据体系更新方法在实际应用中存在以下缺陷:1、上述技术主要针对同源数据库，对于异构数据库由于数据格式定义的差异无法完成数据同步更新；2、对于各分体系同时从主体系中读取更新数据时会造成主体系数据访问压力；3、主体系数据跟各分体系数据进行同步交互时对于网络要求也较高。
技术实现思路
:本专利技术要解决的技术问题是，提供一种不但可以减少分体系所在端对主体系所在端的访问压力，保证主体系和分体系数据相一致，而且对网络要求低，过程简单，能够保证数据的安全传递、有效更新的多层分类数据体系的数据更新方法。本专利技术的技术解决方案是，提供，该数据更新方法包括以下步骤:①、在主体系表中添加各分体系数据副本表以及主体系表与分体系表之间的映射关系表；②、对主体系和各分体系进行定时扫描，并将扫描结果以json的方式进行格式化，同时进行加密保存，并生成更新文件的hash值检验码，如果更新文件的hash值检验码与本地已经存在的数据文件hash值检验码相同，则不替换更新文件，若生成的hash值检验码不同，则将保存最新更新文件并更新hash值校验码；③、分体系所在端定时扫描主体系端是否有最新文件和定时扫描自身是否有最新更新内容，并生成对应的更新文件，最后实现定时同步更新主体系数据和上传分体系数据。采用上述方法后，与现有技术相比，本专利技术的有益技术效果是:1、本专利技术中的主体系数据与各分体系数据是通过一个映射表进行建立管理的，当主体系表更新时，先更新主体系数据表，主体系数据表根据触发器同步更新各分体系数据，换句话说，只要主体系数据更新，各分体系数据就会同步更新，从而保证主体系和分体系数据相一致。2、各分体系端从主体系端定时将数据同步到分体系端，这样分体系端就相当于从本地读取主体系端数据，从而可以减少分体系所在端对主体系所在端的访问压力。3、本专利技术中主体系端和分体系端不需要实时连接，可以设置具体的连接时间，比如默认一个小时会同步一次主体系数据和分体系数据，这样减少分体系向主体系访问量，不需要太大的宽带服务，因此本专利技术的实施过程中对网络的要求比较低。4、本专利技术可以通过程序定时执行数据同步，无需人工手动操作，因此其过程比较简单。5、所有更新数据都是经过加密处理，保证了数据的安全，同时在数据传输完成后会检验更新文件的完整型，保证每次更新数据的有效性。【附图说明】:图1是分类名称和URI说明示意图；图2主体系与分体系之间的映射关系示意图；图3是主体系数据更新到分体系的流程图；图4是分体系数据上传到主体系的流程图。具体实施例:下面结合附图和具体实施例对本专利技术作进一步说明:多层分类数据主要是指以树形结构进行存储和展示的数据，通过URI资源定位进行层级定位区分，如图1所示，技术标准的URI为JSBZ，技术标准下面的分类综合标准的URI为JSBZ.ZHBZ,技术标准下面的信息技术为JSBZ.XXJS,这样可通过URI对多层分类数据进行解析，实现以树形结构进行展示。多层分类数据体系的数据更新涉及到两个方面的数据同步更新，一个是分体系从主体系获取最新分层数据并进行更新，另一个是分体系主动将自建数据同步到主体系中。通过这两种步骤后可以达到主体系和分体系数据进行同步更新，以及将各分体系自建数据同步到主体系中。在本具体实施例中，本专利技术包括以下步骤:、①、先建立一个公共的主体系表，然后各分体系数据副本表通过主体系表派生出来，由于每个分体系数据不同，所以派生出来的结果也不相同，主体系表与分体系表之间通过映射关系表，如图1所示，来确定对应关系；②、对主体系和各分体系进行定时扫描，并将扫描结果以json的方式进行格式化，同时进行加密处理，并生成更新文件的hash值检验码，如果生成更新文件的hash值检验码与本地已经存在的数据文件hash值检验码相同，则不替换更新文件，若生成的hash值检验码不同，则将保存最新更新文件并更新hash值校验码；③、分体系所在端定时扫描主体系端是否有最新文件和定时扫描自身是否有最新更新内容，并生成对应的更新文件，然后实现定时同步更新主体系数据和上传分体系数据。其中，映射关系表的映射原理是:主体系端保存的数据包括主体系表A和各分体系表BI，B2...，表A和各分体系表B的关系就是通过映射表来建立对应关系，该映射表存放的分别对应主体系表关键字和各分体系表关键字，如主体系表A —个分类数据为技术标准，对应当前第1页1 2 本文档来自技高网...
【技术保护点】
一种多层分类数据体系的数据更新方法，其特征在于：该数据更新方法包括以下步骤：①、在主体系表中添加各分体系数据副本表以及主体系表与分体系表之间的映射关系表；②、对主体系和各分体系进行定时扫描，并将扫描结果以json的方式进行格式化，同时进行加密保存，并生成更新文件的hash值检验码，如果更新文件的hash值检验码与本地已经存在的数据文件hash值检验码相同，则不替换更新文件，若生成的hash值检验码不同，则将保存最新更新文件并更新hash值校验码；③、分体系所在端定时扫描主体系端是否有最新文件和定时扫描自身是否有最新更新内容，并生成对应的更新文件，最后实现定时同步更新主体系数据和上传分体系数据。
【技术特征摘要】
【专利技术属性】
技术研发人员：孙建，邵奎先，张敏，
申请(专利权)人：国家电网公司，国网安徽省电力公司电力科学研究院，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。