【技术实现步骤摘要】
一种跨站点的高能物理数据访问方法及系统
本专利技术属于数据存储领域，具体涉及一种跨站点的高能物理数据访问方法及系统。
技术介绍
高能物理作为依托大型实验装置的实验科学，具有实验数据量巨大、实验数据跨域共享的模式特点。面对海量实验数据的跨域共享，现今大多系统都采用全文件传输的模式，将数据所属文件全部传输至子站点进行数据分析，如网格计算系统WLCG、分布式文件系统EOS等。这些传统模式的跨域数据共享都受到了网络状况、子站点规模、客户端文件系统复杂语义等方面的限制，很难以低消耗的资源满足高能物理领域中的跨域数据共享，更无法做到高性能的实验数据跨域分析。高能物理领域中，传统跨站点数据访问模型如图1所示。客户端挂载某文件系统后对目标数据进行请求，图中以Event3为例。在本地数据站点进行数据查询后，如果无相应的缓存数据需要从远程站点访问，则向对外接口资源管理层(RML)发出数据请求。系统采用广播(Broadcast)的模式向资源管理层记录的相关目标站点发送数据请求，目标站点确认数据所在文件路径后，将数据文件(File2)通过网格(GridFTP)等协议传输至本地站点。本地站...
【技术保护点】
1.一种跨站点的高能物理数据访问方法，其步骤包括：在每一子站点上设置一元数据服务单元MetaD，各子站点的MetaD分别定期与主站点进行元数据同步更新，并根据每一元数据对应的文件大小在子站点的数据存储集群DataD中的目标存储点预开辟一物理空间，用于缓存对应文件；子站点的缓存模块CacheD根据更新后的元数据信息构造文件元数据信息列表，形成跨站点统一化文件视图；对于任意一子站点B的客户端发出访问请求时，子站点B的元数据服务单元MetaD根据子站点B的统一化文件视图判断主站点是否存储该访问请求所请求的目标数据块；如果存在，则查询该子站点B是否缓存该目标数据块；如果该子站点B缓...
【技术特征摘要】
1.一种跨站点的高能物理数据访问方法，其步骤包括：在每一子站点上设置一元数据服务单元MetaD，各子站点的MetaD分别定期与主站点进行元数据同步更新，并根据每一元数据对应的文件大小在子站点的数据存储集群DataD中的目标存储点预开辟一物理空间，用于缓存对应文件；子站点的缓存模块CacheD根据更新后的元数据信息构造文件元数据信息列表，形成跨站点统一化文件视图；对于任意一子站点B的客户端发出访问请求时，子站点B的元数据服务单元MetaD根据子站点B的统一化文件视图判断主站点是否存储该访问请求所请求的目标数据块；如果存在，则查询该子站点B是否缓存该目标数据块；如果该子站点B缓存该目标数据块，则将其返回给该客户端；否则，该子站点B向子站点B的数据传输模块TransferD发送数据拉取请求；该数据传输模块TransferD根据该数据拉取请求在主站点A查找对应文件并对其进行数据分块、转码、多流传输，将该目标数据块推送至子站点B，子站点B根据该目标数据的元数据将该目标数据块写入对应的物理空间。2.如权利要求1所述的方法，其特征在于，每个子站点的用户根据需求的数据不同，挂载主站点的数据源位置不同，各子站点分别从主站点获取设定的元数据，生成对应的统一化文件视图。3.如权利要求1所述的方法，其特征在于，该客户端为XRootD客户端；所述数据存储集群dataD为多台XRootD服务器构成的数据存储集群。4.如权利要求1所述的方法，其特征在于，所述缓存模块CacheD中设置一守护进程DP，该守护进程DP以服务的模式实时监控来自指定端口的访问请求。5.如权利要求1所述的方法，其特征在于，通过基于HASH的并行分布式算法计算该目标数据块的散列位置，在子站点的数据存储集群dataD中的目标存储点以fallocate的方式预开辟该物理空间。6.一种跨站点的高能物理数据访问系统，其特征在于，包括数据传输模块TransferD...
【专利技术属性】
技术研发人员：徐琪，程耀东，李海波，王聪，程振京，胡庆宝，
申请(专利权)人：中国科学院高能物理研究所，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。