【技术实现步骤摘要】
一种海量数据文件高效持续受控共享分发方法及系统
[0001]本专利技术涉及数据信息处理
，尤其是涉及一种海量文件持续交换汇聚后准实时同步分发共享给多客户端的场景下如何及时发现新到的文件以及可以按照一定的设置规则过滤所需的文件给客户端发现和持续同步分发的系统及方法。
技术介绍
[0002]在气象水文等领域存在多种采集来源的观测数据，为了共享数据，通常由组织的特定部门收集然后分发，这些文件的文件名都是按照一定的业务规范的要求命名，包含着数据特征信息，这些文件会持续密集的到达采集服务器，到达文件的个数每小时达几百万乃至上千万的级别，同时由于使用这些数据的应用的时效性的要求，需要尽可能快的受控共享分发出去。通常采用的技术是网页段发布某一目录下对应的数据的业务含义，然后建立FTP服务器，给相应的应用客户端授权，应用端通过FTP的方式查找、挑选文件下载，或者应用客户端基于目录的全量下载应用时按照一定的文件名特征选择数据，存在时效性差、下载量大但是有效性和效率差的技术问题。如何能够及时发现需要的文件并自动同步分发到多客户端，是需要在...
【技术保护点】
【技术特征摘要】
1.一种海量数据文件高效持续受控共享分发方法，其步骤包括：1)选取多个服务器作为接收数据的文件服务器，选取一服务器作为中央服务器；在每一所述文件服务器上部署一文件到达监控模块；在所述中央服务器上部署元数据设置模块、数据信息浏览模块、共享权限与特征设置模块、数据分发客户端模块；在所述中央服务器上设置一数据库，所述数据库包含一数据文件信息表、一用户表、一用户数据文件类别授权表、一用户数据文件请求特征表、一用户数据文件下载队列表；2)所述文件服务器上的文件到达监控模块实时监控到达的数据文件，并将所述数据文件的元数据发送到所述数据文件信息表中；3)将每一所述文件服务器上的文件目录进行网络共享，所述中央服务器对各共享目录进行聚合，形成一个包含所有文件资源的虚拟目录；所述元数据设置模块设置所述虚拟目录中每一级目录下对应数据文件的元数据信息，将目录结构和每一级目录上元数据描述结合形成一数据资源目录；数据信息浏览模块接收用户通过浏览所述数据资源目录所请求的文件数据资源，并将请求信息保存到所述用户数据文件请求特征表；4)所述共享权限与特征设置模块根据用户表、用户数据文件类别授权表、用户数据文件请求特征表，设置每一用户的共享分发范围和过滤特征；5)中央服务器根据用户对应的共享分发范围、过滤特征以及所述数据文件信息表，向该用户所属的用户数据文件下载队列表中添加该用户可下载的文件信息，形成用户下载队列信息；所述数据分发客户端模块根据用户下载队列信息形成下载指令；6)该用户通过客户端接收所述下载指令，并将对应文件下载到指定位置。2.根据权利要求1所述的方法，其特征在于，所述用户表中的信息包括用户id、用户姓名、所属单位、用户角色；所述用户数据文件类别授权表中的信息包括用户id、数据类别、对应文件目录；所述用户数据文件请求特征表中的信息包括用户id、数据类别id、是否正则表达式、表达式内容、表达式之间逻辑关系类型。3.根据权利要求2所述的方法，其特征在于，形成所述用户下载队列信息的方法为：31)所述中央服务器根据用户的标识，在所述用户数据文件类别授权表查询得到该用户被授权范围内的数据类别，根据该数据类别确定对应的共享分发范围；32)根据该用户的标识，获取用户数据文件请求特征表中的过滤特征；33)根据所获取的共享分发范围和过滤特征，循环递归检查设置共享的数据类别或者子类别是否在授权范围类别范围内，过滤掉不在授权范围内的数据类别；34)对于所述授权范围内的数据类别，周期性的从所述数据文件信息表中获取新到达的文件信息，并且校验是否符合文件名过滤规则，将符合规则的文件信息加入到该用户的用户数据文件下载队列表中，形成该用户的所述用户下载队列信息。4.根据权利要求1或2或3所述的方法...
【专利技术属性】
技术研发人员：何晓涛，刘学敏，李翀，柯勇，曾丹，
申请(专利权)人：中国科学院计算机网络信息中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。