一种面向分布式内存的安全索引系统及方法技术方案

一种面向分布式内存的安全索引系统及方法，涉及安全索引系统技术领域，包括服务器、对服务器提供的文档进行处理以生成包含特征索引的相应倒索引文件集的索引生成逻辑模块、密钥服务器、安全索引模块、元数据引擎模块、搜索请求分析模块、搜索引擎池和搜索结果生成模块；所述索引生成逻辑模块与服务器通信连接，所述安全索引模块与索引生成逻辑模块通信连接；采用本发明专利技术的安全索引系统及方法，实现了多级索引的智能加解密，不影响业务响应，省时省力，同时，能够实现索引的不断优化和更新，提高业务响应速度。

【技术实现步骤摘要】
一种面向分布式内存的安全索引系统及方法
本专利技术涉及安全索引系统
，具体涉及一种面向分布式内存的安全索引系统及方法。
技术介绍
随分布式内存系统在存储、处理、传输等过程中面临诸多安全风险。目前最好的方法就是对数据加密，断绝他人窥探隐私的可能性。搜索引擎实现都不安全，一个常见的示例是倒排索引文件以明文的形式存储，攻击者通过非法手段窃取倒排索引文件，再结合语言模型等技术就能高质量的还原出文件内容。虽然文件内容被加密存储在服务器，但还是会造成隐私泄露。为了满足分布式内存系统的安全与隐私保护需求，大数据平台搜索引擎的索引文件也需要加密。但要做到却并不容易：首先，索引是个很大的文件，而加解密的过程又非常耗时；其次，大数据平台不断更新的特性注定索引文件也会被频繁修改，这些工作必然要涉及加密和解密；最后，索引文件被加密后是不能直接响应业务请求的，额外的解密工作会再次拉长用户的等待时间。
技术实现思路
本专利技术的目的就是为了解决上述技术问题，而提供一种面向分布式内存的安全索引系统及方法。本专利技术一种面向分布式内存的安全索引系统，它包括服务器、对服务器提供的文档进行处理以生成包含特征索引的相应倒索引文件集的索引生成逻辑模块、密钥服务器、安全索引模块、元数据引擎模块、搜索请求分析模块、搜索引擎池和搜索结果生成模块；所述索引生成逻辑模块与服务器通信连接，所述安全索引模块与索引生成逻辑模块通信连接，所述密钥服务器和元数据引擎模块分别与安全索引模块通信连接，所述搜索请求分析模块与元数据引擎模块通信连接，所述搜索结果生成模块通过搜索引擎池与搜索请求分析模块通信连接，并与客户端通信相连。所述安全索引模块包括高速缓存模块、优化器和HDFS，所述高速缓存模块与索引生成逻辑模块通信相连，所述优化器与高速缓存模块通信相连，所述HDFS和密钥服务器分别与优化器通信相连。所述元数据引擎模块由元数据索引模块和元数据索引扩展模块构成。所述优化器包括检查所述高速缓存中需要持久化的索引缓存数据并生成持久化任务和分析所述元数据引擎中记录的安全索引段的状态信息生成段优化任务的分析器、根据所述分析器分析出的任务生成任务队列的任务队列模块、处理所述任务队列模块中记录的任务的执行器。一种面向分布式内存的安全索引系统的使用方法包括以下步骤：s1：用户通过客户端提交需要查询的关键字，通过所述大数据平安全索引系统接收客户端提交的关键字信息并在搜索域内根据关键字进行搜索以标识匹配关键字的文档；s2：服务器提供与关键字匹配的文档所述面向分布式内存的安全索引系统；s3：由所述面向分布式内存的安全索引系统中的索引生成逻辑模块对所述服务器提供的与关键字匹配的文档进行处理以生成包括特征索引的相应倒排索引文件集，所述倒排文件及包含特征term和文档提取凭证docID；s4：由所述面向分布式内存的安全索引系统中的安全索引模块对s3中生成的倒排文件集按照单一特征进行智能分段，所述每一段尺寸和规范统一，并对每一段进行加密以密文形式存储在分布式文件系统HDFS中；首先，通过所述安全索引模块中的高速缓存模块将所述倒排文件集写入索引缓存并同时支持在遇到新文档时进行索引缓存更新；其次，通过所述安全索引模块中的高速缓存模块将所述倒排文件集写入索引缓存并同时支持在遇到新文档时进行索引缓存更新；其次，通过所述安全索引模块中的优化器对所述高速缓存模块中的索引缓存数据进行分析，并按需生成索引持久化任务以及段优化任务；s5:通过所述面向分布式内存的安全索引系统中的元数据引擎模块对s4中生成的索引段文件进行管理，并根据需要搜索定位的文件特征快读定位特征所在的段。本专利技术具有以下优点：采用本专利技术的安全索引系统及方法，实现了多级索引的智能加解密，不影响业务响应，省时省力，同时，能够实现索引的不断优化和更新，提高业务响应速度。附图说明图1是本专利技术的面向分布式内存的安全索引系统体系结构示意图。图2是本专利技术的面向分布式内存的安全索引系统中的安全索引模块结构示意图。图3是本专利技术的面向分布式内存的安全索引方法的文档生成逻辑示意图。图4是本专利技术面向分布式内存的安全索引方法的索引分段及加密存储示意图。图5是本专利技术的面向分布式内存的安全索引方法的多层索引示意图。图6是本专利技术的面向分布式内存的安全索引方法的更新索引缓存的流程示意图。图7是本专利技术的面向分布式内存的安全索引方法的持久化索引的方法流程示意图。图8是本专利技术的面向分布式内存的安全索引方法的持久化方法的新特征持久化流程示意图。图9是本专利技术的面向分布式内存的安全索引方法持久化索引方法的老特征持久化流程示意图。图10是本专利技术的面向分布式内存的安全索引方法的段优化方法流程示意图。具体实施方式下面结合附图对本专利技术做进一步说明。如图1、2、3、4、5、6、7、8、9、10所示，本专利技术一种面向分布式内存的安全索引系统，它包括服务器、对服务器提供的文档进行处理以生成包含特征索引的相应倒索引文件集的索引生成逻辑模块、密钥服务器、安全索引模块、元数据引擎模块、搜索请求分析模块、搜索引擎池和搜索结果生成模块；所述索引生成逻辑模块与服务器通信连接，所述安全索引模块与索引生成逻辑模块通信连接，所述密钥服务器和元数据引擎模块分别与安全索引模块通信连接，所述搜索请求分析模块与元数据引擎模块通信连接，所述搜索结果生成模块通过搜索引擎池与搜索请求分析模块通信连接，并与客户端通信相连。所述安全索引模块包括高速缓存模块、优化器和HDFS，所述高速缓存模块与索引生成逻辑模块通信相连，所述优化器与高速缓存模块通信相连，所述HDFS和密钥服务器分别与优化器通信相连。所述元数据引擎模块由元数据索引模块和元数据索引扩展模块构成。所述优化器包括检查所述高速缓存中需要持久化的索引缓存数据并生成持久化任务和分析所述元数据引擎中记录的安全索引段的状态信息生成段优化任务的分析器、根据所述分析器分析出的任务生成任务队列的任务队列模块、处理所述任务队列模块中记录的任务的执行器。一种面向分布式内存的安全索引系统的使用方法包括以下步骤：s1：用户通过客户端提交需要查询的关键字，通过所述大数据平安全索引系统接收客户端提交的关键字信息并在搜索域内根据关键字进行搜索以标识匹配关键字的文档；s2：服务器提供与关键字匹配的文档所述面向分布式内存的安全索引系统；s3：由所述面向分布式内存的安全索引系统中的索引生成逻辑模块对所述服务器提供的与关键字匹配的文档进行处理以生成包括特征索引的相应倒排索引文件集，所述倒排文件及包含特征term和文档提取凭证docID；s4：由所述面向分布式内存的安全索引系统中的安全索引模块对s3中生成的倒排文件集按照单一特征进行智能分段，所述每一段尺寸和规范统一，并对每一段进行加密以密文形式存储在分布式文件系统HDFS中；首先，通过所述安全索引模块中的高速缓存模块将所述倒本文档来自技高网...

【技术保护点】
1.一种面向分布式内存的安全索引系统，其特征在于它包括服务器、对服务器提供的文档进行处理以生成包含特征索引的相应倒索引文件集的索引生成逻辑模块、密钥服务器、安全索引模块、元数据引擎模块、搜索请求分析模块、搜索引擎池和搜索结果生成模块；所述索引生成逻辑模块与服务器通信连接，所述安全索引模块与索引生成逻辑模块通信连接，所述密钥服务器和元数据引擎模块分别与安全索引模块通信连接，所述搜索请求分析模块与元数据引擎模块通信连接，所述搜索结果生成模块通过搜索引擎池与搜索请求分析模块通信连接，并与客户端通信相连。/n

【技术特征摘要】
1.一种面向分布式内存的安全索引系统，其特征在于它包括服务器、对服务器提供的文档进行处理以生成包含特征索引的相应倒索引文件集的索引生成逻辑模块、密钥服务器、安全索引模块、元数据引擎模块、搜索请求分析模块、搜索引擎池和搜索结果生成模块；所述索引生成逻辑模块与服务器通信连接，所述安全索引模块与索引生成逻辑模块通信连接，所述密钥服务器和元数据引擎模块分别与安全索引模块通信连接，所述搜索请求分析模块与元数据引擎模块通信连接，所述搜索结果生成模块通过搜索引擎池与搜索请求分析模块通信连接，并与客户端通信相连。


2.根据权利要求1所述的一种面向分布式内存的安全索引系统，其特征在于所述安全索引模块包括高速缓存模块、优化器和HDFS，所述高速缓存模块与索引生成逻辑模块通信相连，所述优化器与高速缓存模块通信相连，所述HDFS和密钥服务器分别与优化器通信相连。


3.据权利要求1所述的一种面向分布式内存的安全索引系统，其特征在于所述元数据引擎模块由元数据索引模块和元数据索引扩展模块构成。


4.据权利要求1所述的一种面向分布式内存的安全索引系统，其特征在于所述优化器包括检查所述高速缓存中需要持久化的索引缓存数据并生成持久化任务和分析所述元数据引擎中记录的安全索引段的状态信息生成段优化任务的分析器、根据所述分析器分析出的任务生成任务队列的任务队列模块、处理所述任务队列模块中记录的任务的...

【专利技术属性】
技术研发人员：冷喜武，刘翌，杨晓静，秦领，雷波，吴海斌，白静洁，武毅，武江，曹宇，
申请(专利权)人：国家电网公司，国网江苏省电力公司，国网天津市电力公司，国网辽宁省电力有限公司，国网江苏省电力公司常州供电公司，北京科东电力控制系统有限责任公司，
类型：发明
国别省市：北京;11