一种信息归并方法及系统技术方案

本发明专利技术公开了一种信息归并方法，应用于包含一个以上用于存储原始数据的原始数据存储单元、中心数据存储单元和用户终端的系统中，用以解决现有技术中从多个原始数据存储单元中获取数据效率低和获取到的数据存在过多冗余的问题，该方法为：用户终端从原始数据存储单元中获取原始数据，将获取的原始数据进行归并，将归并后的数据存储到中心数据存储单元。用户需要从多个原始数据存储单元中获取数据时直接访问中心数据存储单元。本发明专利技术还公开了一种信息归并系统。采用本发明专利技术所述的方法，避免了每次都从多个原始数据存储单元中获取数据，提高了效率，同时将相似的数据进行合并，提高了数据的完整性。

【技术实现步骤摘要】

本专利技术涉及数据库信息管理
，尤其涉及一种信息归并方法及系统。
技术介绍
当今众多的大型网站都使用了网站内容发布系统。由于子公司的存在及不同部门的划分，加上电脑硬件的限制，大量数据经常被分布地存储到多个原始数据存储单元中。网站内容发布系统最关心以下两点一是发布的信息的准确性和完整性，二是从原始数据存储单元中获取信息的效率。现有的网站内容发布系统大多采用直接从原始数据存储单元中获取信息进行发布的方法，当信息涉及到多个原始数据存储单元时，每次信息获取都要访问多个原始数据存储单元，效率较低，而且随着信息量的增大，这些原始数据存储单元中的信息不可避免会地会存在重复、相似等冗余，直接从原始数据存储单元中获取信息进行发布，会造成发布信息的不完整或误差。
技术实现思路
针对以上问题，本专利技术提供一种信息归并方法及系统，用以解决现有技术中从多个原始数据存储单元中获取信息效率低和发布的信息存在过多冗余的问题。为解决上述问题，本专利技术提供的一种信息归并方法，应用于包含一个以上用于存储原始数据的原始数据存储单元、中心数据存储单元和用户终端的系统中，所述方法包括以下步骤A、用户终端从所述原始数据存储单元中获取原始数据； B、用户终端将所述获取的原始数据进行归并；C、用户终端将归并后的数据存储到中心数据存储单元。步骤A中用户终端通过多线程从所述原始数据存储单元中获取原始数据。步骤A中用户终端采用批量读取方式从所述原始数据存储单元中获取原始数据。所述系统进一步包括归并数据存储单元、数据缓冲单元和临时数据存储单元，则步骤B所述用户终端将所述获取的原始数据进行归并的步骤为B1、用户终端在归并数据存储单元中为每个原始数据存储单元建立一归并数据表，该归并数据表的字段包括对应原始数据存储单元中所有字段和归并标记字段，将从原始数据存储单元获取的原始数据存储到对应的归并数据表中，并将该归并数据表的归并标记字段内容初始化为未归并；B2、用户终端将所述归并数据表中主键内容与临时数据存储单元中主键内容相同的数据的归并标记字段内容修改为已归并；B3、用户终端将所述归并数据表中的数据存储到数据缓冲单元，在数据缓冲单元中对数据进行归并。步骤B1中用户终端在归并数据存储单元中为每个原始数据存储单元建立一归并数据表前，清除归并数据存储单元和数据缓冲单元中的数据。步骤B3包括B31、用户终端在数据缓冲单元中建立数据表，该数据表的字段包括归并数据表中的所有字段；B32、用户终端根据预先设定的归并规则将所述归并数据表中的数据存储到所述数据表；B33、用户终端将预先设定的原始数据存储单元中的字段作为归并字段，根据预先选定的运算规则和该归并字段将所述数据表中满足运算规则的所有数据归并为一条数据，将所述满足运算规则的所有数据作为被归并数据，在数据缓冲单元中删除所述被归并数据。步骤B32所述归并规则包括增量归并或全新归并。步骤B33所述运算规则包括相等归并、包含归并或等于归并。步骤B33中在数据缓冲单元中删除所述被归并数据前，在归并数据存储单元中将所述被归并数据的归并标记字段内容设置为已归并，并将归并数据存储单元中归并标记字段内容为已归并的数据存储到临时数据存储单元。一种信息归并系统，该系统包括一个以上的原始数据存储单元，所述原始数据存储单元用于存储原始数据；用户终端，用于从所述原始数据存储单元中获取原始数据，将获取的原始数据进行归并，并将归并后的数据存储到中心数据存储单元；中心数据存储单元，用于存储所述归并后的数据。所述系统进一步包括归并数据存储单元，用于存储所述从原始数据存储单元获取的原始数据；临时数据存储单元，用于存储所述归并数据存储单元中归并标记字段内容为已归并的数据；数据缓冲单元，用于存储所述归并数据存储单元中的数据。所述用户终端包括线程读取单元，用于从所述原始数据存储单元中获取原始数据；归并处理单元，用于将获取的原始数据进行归并；结果储存单元，用于将所述归并后的数据存储到中心数据存储单元。所述归并处理单元包括存储单元，用于清除归并数据存储单元和数据缓冲单元中的数据，在归并数据存储单元中为每个原始数据存储单元建立一归并数据表，该归并数据表的字段包括对应原始数据存储单元中所有字段和归并标记字段，将从原始数据存储单元获取的原始数据存储到对应的归并数据表中，并将该归并数据表的归并标记字段内容初始化为未归并； 修改单元，用于将所述归并数据表中主键内容与临时数据存储单元中主键内容相同的数据的归并标记字段内容修改为已归并；归并单元，用于将所述归并数据表中的数据存储到数据缓冲单元，在数据缓冲单元中对数据进行归并。所述归并单元包括保存单元，用于在数据缓冲单元中建立数据表，该数据表的字段包括归并数据表中的所有字段；读取单元，用于根据预先设定的归并规则将所述归并数据表中的数据存储到所述数据表；处理单元，用于将预先设定的原始数据存储单元中的字段作为归并字段，根据预先选定的运算规则和该归并字段将所述数据表中满足运算规则的所有数据归并为一条数据，将所述满足运算规则的所有数据作为被归并数据，在归并数据存储单元中将所述被归并数据的归并标记字段内容设置为已归并，并将归并数据存储单元中归并标记字段内容为已归并的数据存储到临时数据存储单元，在数据缓冲单元中删除所述被归并数据。本专利技术中，用户终端从多个原始数据存储单元中获取数据并将获取的数据进行归并后存储到中心数据存储单元，需要获取数据时直接从该中心数据存储单元中获取，采用本专利技术所述的方法，避免了每次都从多个原始数据存储单元中获取数据，提高了效率，同时将相似的数据进行合并，提高了数据的完整性。附图说明图1为本专利技术中归并处理方法的具体流程图；图2为本专利技术中归并处理系统的结构示意图。具体实施例方式本专利技术提供的一种信息归并方法，应用于包含一个以上用于存储原始数据的原始数据存储单元、中心数据存储单元、归并数据存储单元、临时数据存储单元、数据缓冲单元和用户终端的系统中，该方法的核心思想是获取多个原始数据存储单元中的原始数据并将获取的数据进行归并，将归并后的数据存入中心数据存储单元，需要荻取数据时直接访问该中心数据存储单元。参见图1，本专利技术提供的一种信息归并方法的步骤包括101、用户终端通过多线程以批量读取的方式从原始数据存储单元中获取原始数据；102、用户终端将所述获取的原始数据进行归并；本步骤中，首先，用户终端清除归并数据存储单元和数据缓冲单元中的数据，在归并数据存储单元中为每一个原始数据存储单元建立一归并数据表，该归并数据表的字段包括对应原始数据存储单元中的所有字段和归并标记字段，将从原始数据存储单元中获取的原始数据存储到对应的归并数据表中，并将该归并数据表的归并标记字段内容初始化为未归并；接着，用户终端将所述归并数据表中主键内容与临时数据存储单元中主键内容相同的数据的归并标记字段内容修改为已归并；然后，用户终端在数据缓冲单元中建立数据表，该数据表的字段包括归并数据表中的所有字段，再根据预先设定的归并规则将所述归并数据表中的数据存储到所述数据表，所述归并规则包括增量归并或全新归并，若预先设定的归并规则为增量归并，则将所述归并数据表中归并标记字段内容为未归并的数据存储到所述数据表，若预先设定的归并规则为全新归并，则将所述归并数据表中的所有数本文档来自技高网...

【技术保护点】
一种信息归并方法，应用于包含一个以上用于存储原始数据的原始数据存储单元、中心数据存储单元和用户终端的系统中，其特征在于，该方法包括以下步骤：Ａ、用户终端从所述原始数据存储单元中获取原始数据；Ｂ、用户终端将所述获取的原始数据进 行归并；Ｃ、用户终端将归并后的数据存储到中心数据存储单元。

【技术特征摘要】

【专利技术属性】
技术研发人员：张百林，易文飞，冯少辉，
申请(专利权)人：北京北大方正电子有限公司，北京大学，北大方正集团有限公司，
类型：发明
国别省市：11[中国|北京]