一种重复信息归并的提速式信息传输系统技术方案

本发明专利技术涉及重复信息归并技术领域，具体地说，涉及一种重复信息归并的提速式信息传输系统。其包括数据信息采集单元。本发明专利技术中，数据信息采集单元对将要输出的数据进行采集，数据信息分析单元对采集信息进行分析处理，并将分析内容信息传输至普通数据输出单元，普通数据输出单元对分析内容信息中不同输出内容的对应数据进行提取，重复数据提取单元对分析内容信息中出现相同输出内容对应的同类数据进行提取，数据重新整合单元结合不同输出内容的对应数据以及归并后数据进行整合，从而能够快速定位到冗余数据，并对冗余数据进行归并处理，提高数据输出效率，保证数据输出准确度。保证数据输出准确度。保证数据输出准确度。

【技术实现步骤摘要】
一种重复信息归并的提速式信息传输系统


[0001]本专利技术涉及重复信息归并
，具体地说，涉及一种重复信息归并的提速式信息传输系统。

技术介绍

[0002]随着计算机网络的飞速发展,越来越多的人们开始使用计算机,日常生活中通过采用网络达到信息交流的目的,随着网络信息量的不断增加,对网络水平提出了更高的要求，对等网络程序能够保证上述操作顺利进行,在众多领域得到了广泛应用,但信息传输正确性问题是复杂网络交流程序运行与维护经常碰到的问题,信息传输正确性对复杂网络交流的任何信息均会产生不同程度的影响,直接破坏了网络信息传输的正确性,只要其中一个环节出现故障,后续所有传输错误均会瘫痪,因此在复杂网络交流误差问题需要及时解决。
[0003]由于在进行信息传输过程中，经常需要对大量信息一次性传输，而这些传输信息中经常包含重复数据信息，导致接收者接收到冗余信息，影响信息提取接收效率，同时降低信息传输准确度。

技术实现思路

[0004]本专利技术的目的在于提供一种重复信息归并的提速式信息传输系统，以解决上述
技术介绍
中提出的问题。
[0005]为实现上述目的，提供了一种重复信息归并的提速式信息传输系统，包括数据信息采集单元，所述数据信息采集单元，所述数据信息采集单元输出端连接有数据信息分析单元，所述数据信息分析单元用于对采集信息进行分析处理，判断采集信息输出内容，所述数据信息分析单元输出端连接有普通数据输出单元，所述数据信息分析单元输出端还连接有重复数据提取单元，所述重复数据提取单元用于对采集信息数据中相同输出内容的同类数据进行提取，所述重复数据提取单元输出端连接有重复数据归并单元，所述重复数据归并单元用于对表示相同输出内容的同类数据进行数据归并，所述重复数据归并单元输出端连接有数据重新整合单元，所述数据重新整合单元输入端与所述普通数据输出单元输出端连接，所述数据重新整合单元用于结合普通数据以及归并后的重复数据进行整合，所述数据重新整合单元输出端连接有整合数据输出单元。
[0006]作为本技术方案的进一步改进，所述数据信息分析单元包括对应数据内容识别模块，所述对应数据内容识别模块用于根据采集数据分析数据所对应的内容，所述对应数据内容识别模块输出端连接有对应数据内容输出模块。
[0007]作为本技术方案的进一步改进，所述重复数据归并单元包括重复数据段排序模块，所述重复数据段排序模块用于对相同类型的各个数据中的数据段按照顺序进行排序，所述重复数据段排序模块输出端连接有相同数据段提取模块，所述相同数据段提取模块输出端连接有不同数据段合并模块。
[0008]作为本技术方案的进一步改进，所述重复数据归并单元采用数据段归并算法，其算法公式如下所示：；；其中，~表示相似数据中其中一个数据的各个数据段，为相似数据中其中一个数据的各个数据段集合，~表示相似数据中另一个数据的各个数据段，B为相似数据中另一个数据的各个数据段集合，表示两个相似数据中的各个数据段相互映射，~表示两个相似数据中的各个数据段相互映射得到的数据段，C为两个相似数据中的各个数据段相互映射得到的数据段集合，即为相同数据段。
[0009]作为本技术方案的进一步改进，所述重复数据提取单元输入端连接有数据位置定位单元，所述对应数据内容输出模块输出端连接有对应数据顺序模拟模块，所述对应数据顺序模拟模块输出端与所述数据位置定位单元输入端连接，所述数据位置定位单元输出端与所述数据重新整合单元输入端连接。
[0010]作为本技术方案的进一步改进，所述数据位置定位单元包括重复数据位置标识模块，所述重复数据位置标识模块输出端连接有参考数据选取模块。
[0011]作为本技术方案的进一步改进，所述数据重新整合单元输出端连接有输出数据判断单元，所述输出数据判断单元输出端与所述整合数据输出单元输入端连接。
[0012]作为本技术方案的进一步改进，所述输出数据判断单元包括归并数据不同位置模拟模块，所述归并数据不同位置模拟模块用于对归并后的数据回归至不同位置后形成的整合数据信息进行模拟处理。
[0013]作为本技术方案的进一步改进，所述归并数据不同位置模拟模块输出端连接有整合数据完整性判断模块，所述整合数据完整性判断模块输出端连接有最终整合位置确定模块。
[0014]与现有技术相比，本专利技术的有益效果：1、该重复信息归并的提速式信息传输系统中，数据信息采集单元对将要输出的数据进行采集，数据信息分析单元对采集信息进行分析处理，并将分析内容信息传输至普通数据输出单元，普通数据输出单元对分析内容信息中不同输出内容的对应数据进行提取，重复数据提取单元对分析内容信息中出现相同输出内容对应的同类数据进行提取，重复数据归并单元对表示相同输出内容的同类数据进行数据归并，数据重新整合单元结合不同输出内容的对应数据以及归并后数据进行整合，从而能够快速定位到冗余数据，并对冗余数据进行归并处理，提高数据输出效率，保证数据输出准确度。
[0015]2、该重复信息归并的提速式信息传输系统中，重复数据段排序模块用于对相同类
型的各个数据中的数据段按照顺序进行排序，生成数据段排序信息，并将数据段排序信息传输至相同数据段提取模块，相同数据段提取模块根据排序信息对各个相同类型的数据中的数据段中相同数据段进行识别，选取其中一个相同数据段作为备用数据段，其余相同数据段剔除，并将备用数据段信息传输至不同数据段合并模块，不同数据段合并模块对相同类型的各个数据中的不同数据段按照初始顺序进行合并，同时将备用数据段按照初始顺序进行整合，将相同类型的各个数据归并成归并数据。
[0016]3、该重复信息归并的提速式信息传输系统中，对应数据顺序模拟模块对原始采集数据中数据顺序进行排序，生成排序信息，并将排序信息传输至数据位置定位单元，通过数据位置定位单元对提取出来的重复数据位置进行记忆，生成记忆信息，并将记忆信息传输至数据重新整合单元，使得归并后的归并数据按照记忆信息重新分配至原始位置，保证信息传输的完整性。
[0017]4、该重复信息归并的提速式信息传输系统中，重复数据位置标识模块对提取出来的重复数据位置进行记忆，并对其位置信息进行标识，同时通过参考数据选取模块选取提取出来的重复数据与之相邻的参考数据位置，作为该提取出来的重复数据参考位置，进一步对提取出来的重复数据位置进行精确定位。
附图说明
[0018]图1为本专利技术的整体结构示意图；图2为本专利技术实施例1的数据信息分析单元流程图；图3为本专利技术实施例1的重复数据归并单元流程图；图4为本专利技术实施例1的数据位置定位单元流程图；图5为本专利技术实施例1的输出数据判断单元流程图。
[0019]图中各个标号意义为：10、数据信息采集单元；20、数据信息分析单元；210、对应数据内容识别模块；220、对应数据内容输出模块；230、对应数据顺序模拟模块；30、普通数据输出单元；40、重复数据提取单元；50、重复数据归并单元；510、重复数据段排序模块；520、相同数据段提取模块；530、不同数据段合并模块；60、数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种重复信息归并的提速式信息传输系统，包括数据信息采集单元（10），其特征在于：所述数据信息采集单元（10），所述数据信息采集单元（10）输出端连接有数据信息分析单元（20），所述数据信息分析单元（20）用于对采集信息进行分析处理，判断采集信息输出内容，所述数据信息分析单元（20）输出端连接有普通数据输出单元（30），所述数据信息分析单元（20）输出端还连接有重复数据提取单元（40），所述重复数据提取单元（40）用于对采集信息数据中相同输出内容的同类数据进行提取，所述重复数据提取单元（40）输出端连接有重复数据归并单元（50），所述重复数据归并单元（50）用于对表示相同输出内容的同类数据进行数据归并，所述重复数据归并单元（50）输出端连接有数据重新整合单元（60），所述数据重新整合单元（60）输入端与所述普通数据输出单元（30）输出端连接，所述数据重新整合单元（60）用于结合普通数据以及归并后的重复数据进行整合，所述数据重新整合单元（60）输出端连接有整合数据输出单元（70）。2.根据权利要求1所述的重复信息归并的提速式信息传输系统，其特征在于：所述数据信息分析单元（20）包括对应数据内容识别模块（210），所述对应数据内容识别模块（210）用于根据采集数据分析数据所对应的内容，所述对应数据内容识别模块（210）输出端连接有对应数据内容输出模块（220）。3.根据权利要求1所述的重复信息归并的提速式信息传输系统，其特征在于：所述重复数据归并单元（50）包括重复数据段排序模块（510），所述重复数据段排序模块（510）用于对相同类型的各个数据中的数据段按照顺序进行排序，所述重复数据段排序模块（510）输出端连接有相同数据段提取模块（520），所述相同数据段提取模块（520）输出端连接有不同数据段合并模块（530）。4.根据权利要求3所述的重复信息归并的提速式信息传输系统，其特征在于：所述重复数据归并单元（50）采用数据段归并算法...

【专利技术属性】
技术研发人员：覃艺，
申请(专利权)人：深圳市明珞锋科技有限责任公司，
类型：发明
国别省市：