一种校园网格数据传输服务中数据索引方法技术

校园网格数据传输服务中数据的索引方法在网格环境下的校园ＧｒｉｄＦＴＰ中提出了一种索引机制，方便资源的发现与数据的查询。该机制下的体系结构包括：数据传输日志、监控器和索引服务器。关键在于建立资源服务器、索引服务器和ＧｒｉｄＦＴＰ服务器三者之间的联系。图５所示，为ＭＤＳ和ｇａｎｇｌｉａ集成后获得数据资源列表，在索引服务器中建立ＧｒｉｄＦＴＰ站点，将数据数据资源列表信息映射到ＧｒｉｄＦＴＰ站点中去，方便ＧｒｉｄＦＴＰ服务器对数据资源进行查询。

【技术实现步骤摘要】

本专利技术是一种基于网格的校园数据传输服务中数据的索引方案。通过在Globus Toolkit(Globus提供的工具包)提供的MDS(监控与发现系统)和GridFTP(基于网格的数据传输协议)两个组件基础上增加了索引服务，实现了Web用户方便的获得MDS所发现的数据资源列表，主要用于解决大规模网格数据传输时数据查询，属于计算机网络

技术介绍
校园数据传输服务中的GridFTP服务数量众多，使用频繁，成为承载校园文化的重要平台，当前，现有校园GridFTP服务在数据查询上存在两个主要问题：①资源信息定位难：用户得不到第三方工具进行资源定位。②数据信息描述不充分：导致资源定位更加困难，同时难以避免不必要的数据冗余。这些问题的根源在于Globus提供的MDS是基于Web Service的服务，而GridFTP是非Web Service的服务，且Globus所提出的网格安全架构GSI(Grid SecurityInfrastructure)目前只支持Linux操作系统，极大的限制了网格跨平台的特性。为此，在校园GridFTP服务中提出了一种索引机制，方便数据的查询。
技术实现思路
技术问题：本专利技术的目的是提供一种校园网格数据传输服务中数据的索引方法，来解决原有校园GridFTP内资源共享不方便，减少数据冗余，与过去使用的GridFTP服务不同，本方法是一种基于索引的数据传输机制，通过使用本专利技术提出的方案可以达到快速发现校园GridFTP内资源，提高资源共享，以及数据高速传输的目的。技术方案：本专利技术试图通过为GridFTP服务中的数据传输建立索引机制，方便数据的高效传输，让校园GridFTP服务为我们提供一个资源共享的大平台，成为校内信息传播的重要途径。本专利技术是一种校园网格GridFTP服务中数据的索引方法，任何获得网格安全信任的数据提供者都可以方便的获得或退出网格GridFTP服务，同时又充分的兼容现有的GridFTP服务器程序及数据，我们所要做的只是在Globus的-->GridFTP基础上添加一个能提供网格服务接口的索引中间件，本专利技术校园网格数据传输服务中数据的索引方法所包含的步骤为：步骤1)在网格环境中配置外部信息提供者，并将他们与网格自带的监控器—资源监控与发现系统集成，将监控所需的环境配置完成；步骤2)数据采集者按照固定周期轮询T采集网格环境下的各个节点的主机名、处理器速度、内存使用情况、文件系统大小及使用情况等性能数据信息；步骤3)将采集到的性能数据定时汇总到目录服务中，并以图形化的形式展现给用户，方便用户选择相应的节点处理数据，并将该时刻得到的数据保存在智能监控器中；步骤4)索引服务器与基于网格的数据传输服务器的会话协议：在索引服务器中建立数据描述表，该表中登记了网格数据传输站点，协议要完成把索引服务中的数据资源，索引到基于网格的数据传输站点中去，并且写入数据传输日志，记录其传输任务编号，数据发送者标识相关信息；协议还要完成索引服务器与索引服务器之间的会话，需要解决在什么时间内有效，确定有效性的间隔时间与网络负载之间的平衡，要取得间隔时间短，但网络开销不大的平衡点，包括索引服务器列表信息、索引服务器状态信息、响应时间；步骤5)用户通过客户端登陆网格门户，查看各个节点的资源状态信息、各个节点计算处理能力，将需要的共享传输的资源发布出去，过时的资源删除，实现资源的动态的加入离开校园网格这个虚拟组织；步骤6)用户通过索引资源列表，还可以以获得信任的第三方身份控制网格节点中的数据传输，就是调用节点中打包好的网格服务，控制节点间的数据传输；步骤7)此时用户再刷新下索引服务列表，如果资源已被预先期望的节点共享，则一个网格索引服务生命周期结束。如图1所示，下面给出校园网格数据传输服务中索引方法的具体实现方案。一、体系结构一个运用这种方法的索引体系结构，它的功能部件主要包括数据传输日志，MDS监控器，索引服务器。三者关系如图2所示，下面我们给出几个具体部分的说明：数据传输日志：为了提高基于网格服务进行数据传输的可靠性，本专利技术引入了数据传输日志机制。对于一个运行着数据传输任务，由以一个或多个传输子任务组成。在传输日志中有两个部分与之对应。一部分是传输任务项，另一部分是传输子任务项。传输任务项标识了整个传输任务，传输子任务项标识了一个传输子任务。传输任务项含以下几个部分：-->1.传输任务编号：数据传输开始时被创建，作为数据传输任务的表示，全局唯一。2.数据发送者标识：根据数据发送者来设定，通过这个标识可以确定传输任务的调用者。3.数据名称：由数据发送者命名的数据逻辑名称，基于该名称和数据发送者标识可以确定一个传输任务。4.数据存储的物理位置：数据在接收者端的本地物理存储位置。5.传输数据大小：所传输数据的总大小。6.传输任务失效期：任务在异常中止之后，多长时间可以删除该任务。传输子任务项又包括以下几方面：1.传输子任务项编号：在传输任务被创建时创建，作为传输子任务的标识，全局唯一。2.传输任务编号：与传输任务项中的传输任务编号相应。3.传输数据大小：传输子任务所需要传输的数据大小。4.数据开始位置：指明传输子任务所传输的数据在整个数据中的开始位置。5.当前传输开始位置：每个传输子任务都需要进行多次数据传输才能够将该传输子任务所要传输的数据传输完毕，其中每一次传输称为“当前传输”。资源监控器：在监控节点上运行的信息收集源，收集各种类型的资源状态信息。资源监控器是基于Globus提供的MDS(Monitoring and Discovery Services资源监控与发现服务)，当它与外部信息提供者如Ganglia集成时，可以借助它们可以获得注册进MDS中的服务以及相关信息，可以获取资源信息名、所有属性(比如资源大小、修改权限等等)以及监控节点的CPU性能等。索引服务器：Globus所提供的MDS将所收集到的数据资源信息，信息提供者将获取的系统信息报告给GRAM(Grid Resource Allocation Manger组件)，然后GRAM将获得的信息汇总到索引服务中，以供GridFTP和客户端请求使用。但是由于MDS是基于Web Service的服务，而GridFTP是非Web Service的服务，用户所发出的Web请求难于响应，所以我们在索引服务器中建立了GridFTP站点目录数据库，将注册进MDS的服务映射到索引服务器当中的GridFTP站点去，从而GridFTP、索引服务器和MDS三者之间又建立了连接，这样GridFTP就可以方便获得数据资源列表。但这需要对现有的GridFTP的Web服务机制做出相应的改进，改进的Web服务单元可以实现将MDS所收集的站点数据资源和状态信息直接发送到指定的索引服务单元GridFTP站点中去，实现Web服务单元主动提交信息的索引机制。这里提到的Web服务单元和索引服务单元本文分别称其为数据节点和索引节点。每一个数据节点均可以通过索引节点准确-->地反映其有效性。所以这种索引具有时效性，即这种索引机制是数据节点和索引节点双向动态建立的，使校园用户在进行Web浏览时清楚地了解资源的内容和状态，这样用户不需要费时费力地搜索，就可以获得自己所需的所有当前正常服本文档来自技高网...

【技术保护点】
一种校园网格数据传输服务中数据的索引方法，其特征在于该方法所包含的步骤为：　步骤１）在网格环境中配置外部信息提供者，并将他们与网格自带的监控器－资源监控与发现系统集成，将监控所需的环境配置完成；　步骤２）数据采集者按照固定周期轮询Ｔ采集网格环境下的各个节点的主机名、处理器速度、内存使用情况、文件系统大小及使用情况等性能数据信息；　步骤３）将采集到的性能数据定时汇总到目录服务中，并以图形化的形式展现给用户，方便用户选择相应的节点处理数据，并将该时刻得到的数据保存在智能监控器中；　步骤４）索引服务器与基于网格的数据传输服务器的会话协议：在索引服务器中建立数据描述表，该表中登记了网格数据传输站点，协议要完成把索引服务中的数据资源，索引到基于网格的数据传输站点中去，并且写入数据传输日志，记录其传输任务编号，数据发送者标识相关信息；协议还要完成索引服务器与索引服务器之间的会话，需要解决在什么时间内有效，确定有效性的间隔时间与网络负载之间的平衡，要取得间隔时间短，但网络开销不大的平衡点，包括索引服务器列表信息、索引服务器状态信息、响应时间；　步骤５）用户通过客户端登陆网格门户，查看各个节点的资源状态信息、各个节点计算处理能力，将需要的共享传输的资源发布出去，过时的资源删除，实现资源的动态的加入离开校园网格这个虚拟组织；　步骤６）用户通过索引资源列表，还可以以获得信任的第三方身份控制网格节点中的数据传输，就是调用节点中打包好的网格服务，控制节点间的数据传输；　步骤７）此时用户再刷新下索引服务列表，如果资源已被预先期望的节点共享，则一个网格索引服务生命周期结束。...

【技术特征摘要】
1.一种校园网格数据传输服务中数据的索引方法，其特征在于该方法所包含的步骤为：步骤1)在网格环境中配置外部信息提供者，并将他们与网格自带的监控器—资源监控与发现系统集成，将监控所需的环境配置完成；步骤2)数据采集者按照固定周期轮询T采集网格环境下的各个节点的主机名、处理器速度、内存使用情况、文件系统大小及使用情况等性能数据信息；步骤3)将采集到的性能数据定时汇总到目录服务中，并以图形化的形式展现给用户，方便用户选择相应的节点处理数据，并将该时刻得到的数据保存在智能监控器中；步骤4)索引服务器与基于网格的数据传输服务器的会话协议：在索引服务器中建立数据描述表，该表中登记了网格数据传输站点，协议要完成把索引服务中的数据资源，索引到基于网格的数据传输站点中去，并且写入数据传输...

【专利技术属性】
技术研发人员：王汝传，徐冲，季一木，任勋益，邓松，季一木，易侃，杨明慧，付雄，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：84[中国|南京]