【技术实现步骤摘要】
本专利技术属于计算系统网络传输领域，具体涉及。
技术介绍
GridFTP (用于网格计算的标准文件传输协议)是Globus项目组开发的一个新的数据传输协议，它基于规范的FTP协议，并对其进行全面扩展，旨在为网格上分离的存储系统间的互操作提供一个通用的、可扩展的底层数据传输协议。GridFTP不但支持Kerberos安全机制和GSI安全机制，还支持完整性检查、安全鉴别、 可靠数据传输和容错传输；并且在GridFTP中我们可通过自动调整TCP buffer/ffindow大小来有效地提高数据传输性能。因为以上特点，GridFTP更安全、快速和高效。PostgreSQL是由加州大学伯克利分校计算机系开发的开源的对象关系型数据库管理系统(ORDBMS)，PostgreSQL采用客户端/服务器模式，可以通过SSH(Secure Shell)和SSL (Secure Socket Layer)连接方式提高访问的安全性。PostgreSQL支持大部分SQL标准并且提供了许多其他现代特性复杂查询、外键、触发器、视图、事务完整性、多版本并发控制。同样，PostgreSQL可以用许...
【技术保护点】
【技术特征摘要】
1.一种用于高能物理试验大批量数据的传输系统，其特征在于它包括位于源端高效传送模块的多路径源数据扫描模块、数据缓冲区模块、高效轮询模块、传输优化模块、发送模块和数据缓冲区自动释放模块，包括位于目的端的高效接收模块、数据校验模块、接收优化模块和存储模块，包括用户管理配置模块和监视模块；其间关系是多路径源数据扫描模块将保存在多个磁盘阵列的数据直接映射到数据缓冲区模块，高效轮询模块则实时扫描数据缓冲区，并把扫描到的数据给传输优化模块，传输优化模块对数据进行优化处理后传给发送模块，发送模块与远程的目的端通信，进行数据传输；由于数据缓冲区具有容量，为了保证数据能够正常的接收和传输到远程的数据中心和计算中心，数据缓冲区自动释放模块会定时地对数据缓冲区可用空间大小进行检测，并根据设定的阀值，按照规则将数据缓冲区的数据进行清理；高效接收模块接收到源端发送模块发送的数据后，会把它提交给数据验证模块，对接收到的数据进行有效性和完整性的验证，验证成功后，接收优化模块对数据进行优化处理，并提交给存储模块，储存模块将数据按照规则进行存放；用户管理配置模 块为用户提供了管理和配置系统的WEB页面接口，包括远程目的端服务器IP的设置、远程目的端数据存储的路径、磁盘阵列和数据缓冲区的目录结构的映射关系，监视模块则提供WEB图形化的方法实时显示每个时刻的传输状态以及系统子模块的工作状态； 该多路径源数据扫描模块是轮询数据库中新增加的数据文件，找到新产生的数据被存放的磁盘阵列的位置，根据用户管理配置模块设置的磁盘阵列和系统缓冲区的目录结构的映射关系，将原始数据映射到系统的缓冲区，实现多路径源数据扫描； 该数据缓冲区模块是保存多路径源数据扫描模块获取的数据文件；其结构是由24T的磁盘阵列通过RAID5来搭建完成的，保证了数据的可靠性和完整性，并且挂载在数据传输的源端服务器上供传输系统和系统用户使用和共享数据； 该高效轮询模块是轮询数据缓冲区中的数据，并将新发现的数据传输至传输优化模块；其结构是利用系统Cron的功能，通过启动后台进程crond，在预设的轮询时间基础上对数据缓冲区的数据进行轮询； 该传输优化模块是用于减少传输中数据的丢失，减小数据传输过程中的开销，提高数据传输速率；其结构是首先对需要传输的数据生成md5文件，将该文件和需要传输的数据文件一块进行打包归档，然后通过设置GridFTP的并行传输流数来实现多流并行传输，从而实现了传输优化功能； 该发送模块是将数据传送至用户管理配置模块设置好的目的端的数据接收模块；其结构是采用传输优化模块设置好的GridFTP将打包好的归档文件传输到目的端； 该数据缓冲区自动释放模块是用于保证数据缓冲区中始终保持足够的空间接收新产生的数据；其结构是通过设置上水位和下水位，并按照规则对缓冲区中的数据进行清除，当数据缓冲区占用的磁盘空间大于上水位时，该自动释放模块会对数据缓冲区中的已经传输到远程的计算中心或者数据中心的数据按照时间先后顺序进行删除，直到数据缓冲区占用的磁盘空间小于下水位为止；为了保证数据缓冲区中的数据能够始终保持时间范围内的数据，在进行数据删除操作的时候只对符合时间...
【专利技术属性】
技术研发人员：曾珊，齐法制，李卫东，王萌，孙功星，陈刚，
申请(专利权)人：中国科学院高能物理研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。