一种跨内外网的分布式索引资源整合与共享方法技术

本发明专利技术公开了一种跨内外网的分布式索引资源整合与共享方法，包含如下三个模块：分布式存储模块：将行业所生产的数据按照具体的需求划分成不同的类别，并将数据注册生成索引，不同类别的数据将会存储在不同的物理节点上；共享模块：内外网数据分布于同一个集群不同的物理节点中，内网利用网闸的文件摆渡的方式，向外网平台提供索引数据的部分或全部信息，外网向内网提供请求；分布式检索模块：对集中整合在外网上的不同数据索引进行分布式检索，并可根据检索结果向内网回调获取详细信息。本发明专利技术实现不同类别的数据的分布式索引机制和内外网闸间的数据共享机制，并且基于大数据平台，能够近实时的分布式处理大量的数据，满足用户的检索、共享等需求。

A method for integrating and sharing distributed index resources across internal and external networks

The invention discloses a distributed index of resources across the internal network integration and sharing method, including the following three modules: distributed storage module: the production data in accordance with the specific requirements are divided into different categories, and registering the data generating index, different categories of data will be stored in different physical nodes; sharing module: internal and external network data distributed on the same physical node cluster in different network, using network files ferrying way, provide part or all of the information index data to the external network platform, network to provide network request; distributed retrieval module: distributed retrieval on different data index focus on the integration of online. And can obtain detailed information to the network according to the search result callback. Different categories of data distributed indexing mechanism and network data sharing between the present mechanism, and based on big data platform, to near real-time distributed processing of large amounts of data, to meet the user's retrieval and sharing of demand.

【技术实现步骤摘要】
一种跨内外网的分布式索引资源整合与共享方法
本专利技术涉及信息处理技术，具体涉及一种跨内外网的分布式索引资源整合与共享方法。
技术介绍
内外网间数据资源的有效整合和适时共享技术与方法，在很多注重数据信息安全的行业应用中，都是备受关注的技术瓶颈。为确保数据安全，很多行业信息化应用利用物理隔离卡或者安全网闸等硬件设备，将网络划分为内外不同的系统，实现网络间的适度信息隔离。然而，简单的单向数据隔离往往又会给具体的业务流程实践造成障碍。在各行业的现实生产过程中，为了工程管理方便的需要，通常在内外网之间建立两个不同的系统，内网为工程监控系统负责采集和存储数据，外网为调度系统负责利用数据进行管理业务，内外网之间功能的不同，使的内外网之间关注和存储的数据不同。但对于内外网之间是有安全网闸所隔开的，如何在内外网之间进行合理的信息交换一直是相关行业所关注的重点。最初的解决办法就是人工的“传递”，用U盘或光盘在内外网之间交换数据。随着业务的增多，数据量的扩大，人工的方式显然无法满足业务的需求。其次，内外网之间存放的数据不同，监控系统采集的数据也并不单一，而且数据之间往往存在相关的关系。如果将不同类别的数据按照合适的频率更新，并且在更新时能够考虑到数据间相关关系可显著提高监控系统的采集和存储数据的效率。
技术实现思路
专利技术目的：本专利技术的目的在于解决现有技术中存在的不足，提供一种跨内外网的分布式索引资源整合与共享方法，本专利技术中内网存放详细信息，外网存放概要信息，外网可根据需要通过网闸调取内网中的相关信息，内外网中所有的数据都基于划分好的数据类别分布在不同的物理节点上。技术方案：本专利技术一种跨内外网的分布式索引资源整合与共享方法，依次包括以下步骤：(1)根据行业数据的类别在内外网间部署初始的分布式节点，划分节点所属的数据类别，构建分布式检索系统；该分布式检索系统包括三个模块：分布式存储模块，共享模块和分布式检索模块；分布式存储模块将注册进来的数据以索引的形式按类别存储在于不同物理节点，共享模块传递内网和外网之间的请求和结果；分布式检索模块完成外网用户的查询功能并利用共享模块实现详细信息的回调；(2)内网通过分布式存储模块将注册进来的行业数据以索引的形式按类别存储在分布式节点上；(3)根据内外网之间所需要交换的数据特征，共享模块制定将数据转化为可读文件的格式规则，外网平台选择需要从内网共享的数据，通过网闸共享模块，内网将概要数据交换至外网；(4)用户通过分布式检索模块将检索请求提交给分布式集群，分布式集群返回搜索结果给用户，该分布式集群即是指分布式存储模块中几个物理节点组成的一个集群；(5)搜索结果包含数据的在内网中的原始地址和节点信息，用户可以通过地址回调得到数据的详情信息。进一步的，所述步骤(2)中，将索引按类别存储机制为：(2.1)解析注册数据的所属类别，并与分布式集群中的节点进行对应和比较；(2.2)对于数据类型为新的类别，即系统中没有与其对应节点的情况，用户可以选择为新的数据类型开辟新的节点，并将其存储在新的节点上。进一步的，所述步骤(3)中，外网与内网之间的数据交互利用的是安全网闸的文件摆渡的功能，需要交互的数据在递交给网闸之前需要按照一定的规则将数据转化为文件，具体流程为：(3.1)外网生成关于概要信息同步或详细信息查询的请求；(3.2)按照数据转换规则将请求转换为规定的XML或其他形式的可读文件，并通过网闸递交至内网；(3.3)内网接收外网的请求文件，调用内网中的服务来响应请求；(3.4)按照数据转换规则将响应的结果转换为规定的XML或其他形式的可读文件，并通过网闸递交至外网；(3.5)外网接收文件并将结果返回给等待响应的外网服务。进一步的，所述内网的分布式存储模块中存放行业数据的详细信息，数据量大且数据价值密度低，外网的分布式存储模块存放从内网中提取的行业数据的概要信息，数据量相对较少但数据价值密度高，内网和外网之间通过网闸隔离起来；上述概要信息由内网同步至外网并将存储在外网，详细信息存储在内网只在需要时传递至外网展示；对于详细信息的查询请求需要依据概要信息所包含的原始数据的地址等相关信息。进一步的，所述将索引按类别存储机制中，内外网中所存储的索引数据存储在不同的物理节点上，一个物理节点可对应一种或几种类别的数据，每个物理节点上的数据也可在其他物理节点上进行备份，多个物理节点的分类存储构成了分布式存储模块。利用搜索引擎工具搭建的包含多个节点的集群构成了分布式存储模块和分布式检索模块的主体部分，即是用来存储和响应检索请求的检索平台，以目前流行的搜索引擎solrcloud和Elasticsearch为例，作为能够良好支持分布式系统的搜索引擎工具，solrcloud和Elasticsearch都支持对索引集合进行分片处理，即把全部的索引分割成几个不同的片(shard),不同的shard放在不同的节点上，此外每个shard还可以有多个备份放在其他节点上用来提高系统的容错性。分布式存储模块将按照具体行业数据的类别特点来划分shard,每个shard对应一种类别的数据，当行业数据注册进内网系统，并以索引的形式进行存储时，分布式存储模块将会首先解析新注册进来数据的所属类别，当数据的类别和shard有对应关系时，分布式存储模块则会把数据存储在此shard所属的节点上，当数据类别为新的类别即没有shard和数据进行对应时，分布式存储模块将会提醒用户是否创建新的shard用来存放新的类别的数据，并让用户选择存放此shard的物理节点。进一步的，所述步骤(4)中，外网中所需要的概要信息已通过共享模块由内网交换至外网并以索引结构的形式存放起来，用户通过分布式检索模块可将检索请求发送至指定的物理节点上，也可将检索请求发送到所有的物理节点上，指定物理节点和所有物理节点均可返回给用户正确的结果。进一步的，所述步骤(5)中分布式检索模块的回调机制具体过程为：外网初步检索得到的概要信息包含这条索引数据在内网中的原始位置和节点等信息，当外网不满足于检索得到的概要信息而需要存放在在内网中的详细信息时，通过概要信息中的位置信息生成进一步的查询请求，并通过共享模块将内网中的详细信息全部交换至外网并可将结果显示出来。进一步的，所述共享模块包括数据转化模块和文件监控模块，数据转化模块将外网请求和内网检索结果转化为规定格式的XML文件；文件监控模块将包含外网查询请求的文件传递至内网和将包含内网检索结果的文件交换至外网。由于外网的请求实质是一条标准的查询语句，内网可解析查询语句并将其提交给搜索引擎，搜索引擎便会响应得出所需要的结果。查询语句在语法上有严格要求，例如包含查询字符串q，需要返回的字段fl等。同时需要追加查询的发送方和请求方以及请求时间等一系列信息，然后按照合适的规则写成XML文件，相应的，内网中的检索结果也将导出为XML文件。经过数据转换模块转换后的文件将会进入文件监控模块进行内外网间的摆渡，当网闸的另一端收到摆渡而来的文件之后将会将其提交给系统，完成用户的请求。文件监控模块中包含两个文件夹，收到文件夹和发送文件夹，收到文件夹用来暂存网闸另一端摆渡而来的文件，发送文件夹用来暂存需要摆渡到网闸另一端的文件。一个完整的摆渡过程包括，经过数据转换的请本文档来自技高网...

【技术保护点】
一种跨内外网的分布式索引资源整合与共享方法，其特征在于：依次包括以下步骤：(1)根据行业数据的类别在内外网间部署初始的分布式节点，划分节点所属的数据类别，构建分布式检索系统；该分布式检索系统包括三个模块：分布式存储模块，共享模块和分布式检索模块；分布式存储模块将注册进来的数据以索引的形式按类别存储在于不同物理节点，共享模块传递内网和外网之间的请求和结果；分布式检索模块完成外网用户的查询功能并利用共享模块实现详细信息的回调；(2)内网通过分布式存储模块将注册进来的行业数据以索引的形式按类别存储在分布式节点上；(3)根据内外网之间所需要交换的数据特征，共享模块制定将数据转化为可读文件的格式规则，外网平台选择需要从内网共享的数据，通过网闸共享模块，内网将概要数据交换至外网；(4)用户通过分布式检索模块将检索请求提交给分布式集群，分布式集群返回搜索结果给用户；(5)搜索结果包含数据的在内网中的原始地址和节点信息，用户可以通过地址回调得到数据的详情信息。

【技术特征摘要】
1.一种跨内外网的分布式索引资源整合与共享方法，其特征在于：依次包括以下步骤：(1)根据行业数据的类别在内外网间部署初始的分布式节点，划分节点所属的数据类别，构建分布式检索系统；该分布式检索系统包括三个模块：分布式存储模块，共享模块和分布式检索模块；分布式存储模块将注册进来的数据以索引的形式按类别存储在于不同物理节点，共享模块传递内网和外网之间的请求和结果；分布式检索模块完成外网用户的查询功能并利用共享模块实现详细信息的回调；(2)内网通过分布式存储模块将注册进来的行业数据以索引的形式按类别存储在分布式节点上；(3)根据内外网之间所需要交换的数据特征，共享模块制定将数据转化为可读文件的格式规则，外网平台选择需要从内网共享的数据，通过网闸共享模块，内网将概要数据交换至外网；(4)用户通过分布式检索模块将检索请求提交给分布式集群，分布式集群返回搜索结果给用户；(5)搜索结果包含数据的在内网中的原始地址和节点信息，用户可以通过地址回调得到数据的详情信息。2.根据权利要求1所述的跨内外网的分布式索引资源整合与共享方法，其特征在于：所述步骤(2)中，将索引按类别存储机制为：(2.1)解析注册数据的所属类别，并与分布式集群中的节点进行对应和比较；(2.2)对于数据类型为新的类别，即系统中没有与其对应节点的情况，用户可以选择为新的数据类型开辟新的节点，并将其存储在新的节点上。3.根据权利要求1所述的跨内外网的分布式索引资源整合与共享方法，其特征在于：所述步骤(3)中，外网与内网之间的数据交互利用的是安全网闸的文件摆渡的功能，需要交互的数据在递交给网闸之前需要按照一定的规则将数据转化为文件，具体流程为：(3.1)外网生成关于概要信息同步或详细信息查询的请求；(3.2)按照数据转换规则将请求转换为规定的XML或其他形式的可读文件，并通过网闸递交至内网；(3.3)内网接收外网的请求文件，调用内网中的服务来响应请求；(3.4)按照数据转换规则将响应的结果转换为规定的XML或其他形式的可读文件，并通过网闸递交至外网；(3.5)外网接...

【专利技术属性】
技术研发人员：冯钧，贡诚，李顶圣，陆佳民，孔盛球，佟瑶，王旭，朱跃龙，万定生，
申请(专利权)人：河海大学，
类型：发明
国别省市：江苏,32