一种高效访问海量非结构化元数据的方法技术

本发明专利技术公开了一种高效访问海量非结构化元数据的方法，包括：步骤1，IDC Client通过IDC API向IDC Server发起索引元数据请求；步骤2，IDC Core将请求封装成报文通过IDC Net发送到元数据索引服务器，同时初始化IDC Async，准备异步响应获取索引元数据；步骤3，IDC Server接收到IDC API请求，生成异步查询标志并立即返回至IDC Client，同时异步构建查询处理，将结果集存入服务端IDC Cache；步骤4，IDC Core通过查询标志向IDC Server异步轮循请求索引元数据，并存入IDC Cache；步骤5，IDC Client从IDC Cache中查询业务需要的索引元数据。本发明专利技术在客户端和服务端引入自定义的缓存基础构件，极大地缩短元数据请求链路上占主要耗时的网络IO；提升了获取海量非结构化元数据的性能，促进了上层数据应用业务的整体可用性、并发性。发性。发性。

【技术实现步骤摘要】
一种高效访问海量非结构化元数据的方法


[0001]本专利技术涉及数据备份
，具体涉及一种高效访问海量非结构化元数据的方法。

技术介绍

[0002]在数据备份
，针对海量非结构化数据的备份恢复，为满足快速地增量备份；以及细粒度的快速恢复；通常需要搭配高性能的元数据系统服务，进行高效的映射索引，从而满足快速地检索，查询插入等操作。但是，在海量数据的场景下，离散的网络请求IO会严重的影响系统整体的吞吐量，从而降低数据备份恢复速度。

技术实现思路

[0003]为了解决上述问题，本专利技术提供了一种高效访问海量非结构化元数据的方法，通过自定义的缓存架构模型，高效地归并离散网络请求IO，从而提升数据备份性能，有效地支撑海量数据业务场景。
[0004]为了达到上述目的，本专利技术是通过以下技术方案来实现的：本专利技术是一种高效访问海量非结构化元数据的方法，具体步骤为：步骤1，IDC客户端通过IDC应用程序接口向IDC服务端发起索引元数据请求；步骤2，IDC核心模块将步骤1中请求封装成报文通过IDC网络通信模块 发送到元数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高效访问海量非结构化元数据的方法，其特征在于：包括如下步骤：步骤1，IDC客户端通过IDC应用程序接口向IDC服务端发起索引元数据请求；步骤2，IDC核心模块将步骤1中索引元数据请求封装成报文通过IDC网络通信模块发送到元数据索引服务器，同时初始化IDC异步模块，准备异步响应获取索引元数据；步骤3，IDC服务端接收到IDC应用程序接口请求，生成异步查询标志并立即返回至IDC客户端，同时异步构建查询处理，将结果集存入服务端IDC缓存模块；步骤4，IDC客户端的IDC核心模块通过步骤3中返回的查询标志，向IDC服务端异步轮循请求索引元数据，并存入本地IDC缓存模块；步骤5，IDC客户端从本地IDC缓存模块中查询业务需要的索引元数据。2.根据权利要求1所述的一种高效访问海量非结构化元数据的...

【专利技术属性】
技术研发人员：王仁杰，赵大龙，张有成，
申请(专利权)人：南京壹进制信息科技有限公司，
类型：发明
国别省市：