一种基于文件直通技术的文件传输系统技术方案

本发明专利技术涉及一种基于文件直通技术的文件传输系统，包括：多个业务系统与数据传输API连接，数据传输API与数据传输任务引擎连接，数据传输任务引擎通过构建在底层统一存储平台中的数据隧道分别与多个存储区连接。本发明专利技术在统一存储系统中，构建不同存储区域之间的数据隧道。通过数据隧道技术，将原有的数据带外迁移工作，转化为基于存储内部数据隧道进行高效迁移的操作。本发明专利技术可以极大的提高文件传输效率，降低系统资源消耗，还可以节省存储空间，并且可以实现不同的存储协议之间的快速共享，可以在使用不同访问协议的存储区之间实现快速文件交换功能。

【技术实现步骤摘要】

本专利技术涉及一种基于文件直通技术的文件传输系统，是计算机网络数据计算和处理技术的系统，是一种基于文件直通技术的传输系统。
技术介绍
视音频处理和视音频发布等领域，特别是在电视台、网络电视台、有线网络公司、IPTV、互联网电视、OTT、手机电视等领域存在大量的用户，都有视音频文件的传输和系统间交换的需求，迫切需要系统间快速的文件传输和交换的方法。在现有的用户中，系统间的文件交换需要通过文件拷贝来完成，文件数据会先通过网络经由执行拷贝的计算机内存，传输到目标应用系统的文件系统中。这个过程会大量的消耗网络带宽资源和存储带宽资源，效率也比较低，而且会大量的占用存储空间，如何能解决快速的系统间文件交换是一个迫切需要解决的问题。另外，现有用户中，由于有不同的业务类型对文件访问协议也有不同的需求，有的用户使用NAS存储，使用NFS/CIFS协议，还有的用户需要使用对象存储，使用S3协议来访问文件。如何在不同的文件访问协议之间实现快速的文件拷贝和共享，也是当前迫切需要解决的问题。
技术实现思路
为了克服现有技术的问题，本专利技术提出了一种基于文件直通技术的文件传输系统。所述的系统通过数据隧道，在统一存储系统中解决了大量文件高效传输的问题。本专利技术的目的是这样实现的：一种基于文件直通技术的文件传输系统，包括：构建于底层统一存储平台上的多个存储区，所述的多个存储区分别与至少一个业务系统连接，所述的业务系统与数据传输API连接，所述的数据传输API与数据传输任务引擎连接，所述的数据传输任务引擎通过构建在所述底层统一存储平台中的底层数据隧道分别与每个存储区连接。进一步的，所述的底层数据隧道所使用的网络设备物理上复用存储内网，逻辑上通过分布式存储的数据分布算法，调度多台存储节点对数据的不同分片进行跨存储区的快速数据传输，或者是多口绑定的10Gbps网络，或者是IB网络。进一步的，所述的数据传输任务引擎负责接收各个用户的数据传输任务，并根据任务参数，创建相应的任务进程，监控各个任务进程的状态并收集任务执行结果；数据传输任务引擎中控制的传输装置包括：多文件系统间的数据零拷贝装置；多文件系统间的数据深度拷贝装置；文件系统和对象存储间的数据复制装置；不同存储区域间数据局部更新装置；传输过程中数据隧道流量QoS控制装置。进一步的，所述的数据传输API为基于http的RestfulAPI装置。进一步的，所述的存储区至少包括NFS文件访问协议存储区、CIFS文件访问协议存储区、对象存储访问协议存储区中的一种，或者是NFS文件访问协议存储区、CIFS文件访问协议存储区、对象存储访问协议存储区的组合。本专利技术产生的有益效果是：本专利技术在统一存储系统中，构建不同存储区域之间的数据隧道。通过数据隧道技术，将原有的数据带外迁移工作，转化为基于存储内部数据隧道进行高效迁移的操作。本专利技术可以极大的提高文件交换效率，降低系统资源消耗，还可以节省存储空间。并且可以实现不同的存储协议之间的快速共享，可以在使用NFS/CIFS和S3协议的存储区之间实现快速文件交换功能。附图说明下面结合附图和实施例对本专利技术作进一步说明。图1是本专利技术的实施例一所述文件传输系统的原理示意图；图2是本专利技术的实施例五所述文件传输系统的原理示意图；图3是本专利技术的实施例六所述方法的工作流程示意图。具体实施方式：实施例一：本实施例是一种基于文件直通技术的文件传输系统，如图1所示。为了方便起见，图1中只画出了一个业务系统，实际中可以有多个业务系统。本实施例所提供的文件传输系统可以支持在底层统一存储平台上构建多个存储区，例如可以构建10个存储区或者更多。本实施例对存储区的个数原则上没有限制，但是在实际使用中，构建过多的存储区可能会带来系统运行维护复杂性的提升，所以存储区的个数通常会控制在几十个以内，具体以业务系统对存储区的使用需求、数据隔离需求而定。同时，多个存储区的访问协议可以是NFS文件访问协议、CIFS文件访问协议、对象存储访问协议中的一种，或者是NFS文件访问协议、CIFS文件访问协议、对象存储访问协议的组合。为叙述简便起见，本实施例以三个存储区，分别使用NFS文件访问协议、CIFS文件访问协议、对象存储访问协议为例来说明。本实施例包括：构建于底层统一存储平台上的对象存储区、NFS文件存储区和CIFS文件存储区，所述的对象存储区与归档子系统连接，所述的NFS文件存储区与转码子系统连接，所述的CIFS文件存储区与编辑子系统连接，其特征在于，所述的归档子系统、转码子系统、编辑子系统与数据传输API连接，所述的数据传输API与数据传输任务引擎连接，所述的数据传输任务引擎通过构建在所述底层统一存储平台中的底层数据隧道分别与对象存储区、NFS文件存储区和CIFS文件存储区连接。本实施例所述系统中，有几个重要组件构成：底层数据隧道、数据传输任务引擎以及数据传输API。数据隧道借助于底层统一存储平台各节点间互联通道构建。这些内部数据交换通道，通常是由高通量的网络设备组成，例如：多口绑定的10Gbps网络或者IB网络。而存储内网不涉及用户，各节点处于同一子网，没有防火墙或其他网络设备对于流量的限制；因此借由存储内网构建的数据隧道其性能在绝大多数情况下，都高于用户间的网络通道。这也为数据隧道提供了一个天然的高速路径进行数据传输。同时数据在存储底层，都是分片打散的方式存放，因此基于存储内部的数据隧道在进行数据传输时，所有相关存储区的存储节点都可参与到数据传输过程，比用户中单台独立的传输服务器更加高效。数据传输任务引擎是一个全局任务调度引擎。它负责接收各个用户的数据传输任务，并根据任务参数，创建相应的任务进程，监控各个任务进程的状态并收集任务执行结果。用户可通过相关API查询任务进度或者通过注册回调函数，接受任务执行状态的通知。数据传输任务引擎中也控制着各类传输装置，包括：多文件系统间的数据零拷贝装置、多文件系统间的数据深度拷贝装置、文件系统和对象存储间的数据复制装置、不同存储区域间数据局部更新装置、传输过程中数据隧道流量QoS控制。数据传输API是一组提供给用户调用的API，该组API可方便地实现数据传输任务的创建，查询，终止以及删除等操作。考虑到各类用户的兼容性以及网络防火墙的通常配置，系统构建一组基于http的RestfulAPI。实施例二：本实施例是实施例一的改进，是实施例一关于底层数据隧道的细化。本实施例所述的底层数据隧道物理上复用存储内网，逻辑上通过分布式存储的数据分布算法，调度多台存储节点对数据的不同分片进行跨存储区的快速数据传输，旨在复用存储集群各个节点间专用的高通量网络传输链路（下文称为存储内网），例如多口绑定的10Gbps网络或是IB（InfinityBand）网络等，完成快速的跨存储区数据传输。对比于传统的基于带外的数据传输机制，该传输通路避免了用户先从存储集群的某个区域读取数据，通过传输服务器，中间的网络设备（例如防火墙等），再存放到存储集群的另一个存储区域中的复杂模型。而仅需通过发送数据传输指令给传输任务引擎，由该引擎完成基于存储内网的数据传输。在存储内网传输的过程中，由于底层分布式存储对于数据都是分片存放于各个存储服务器节点上，因此，针对大型文件的传输，集群中的所有节点都将扮演传本文档来自技高网...

【技术保护点】
一种基于文件直通技术的文件传输系统，包括：构建于底层统一存储平台上的多个存储区，所述的多个存储区分别与至少一个业务系统连接，其特征在于，所述的业务系统与数据传输API连接，所述的数据传输API与数据传输任务引擎连接，所述的数据传输任务引擎通过构建在所述底层统一存储平台中的底层数据隧道分别与每个存储区连接。

【技术特征摘要】
1.一种基于文件直通技术的文件传输系统，包括：构建于底层统一存储平台上的多个存储区，所述的多个存储区分别与至少一个业务系统连接，其特征在于，所述的业务系统与数据传输API连接，所述的数据传输API与数据传输任务引擎连接，所述的数据传输任务引擎通过构建在所述底层统一存储平台中的底层数据隧道分别与每个存储区连接。2.根据权利要求1所述的文件传输系统，其特征在于，所述的底层数据隧道物理上复用存储内网，逻辑上通过分布式存储的数据分布算法，调度多台存储节点对数据的不同分片进行跨存储区的快速数据传输，所使用的网络设备或者是多口绑定的10Gbps网络，或者是IB网络。3.根据权利要求2所述的文件传输系统，其特征在于，所述的数据传输任务引擎负责接收各个用户的数...

【专利技术属性】
技术研发人员：郭昌雄，吴剑海，瞿向雷，杜歆文，李铜舒，毛烨，李彬，刘皓，杜伟，王兵，韩利明，刘胜，游宗霖，
申请(专利权)人：苏州市广播电视总台，北京中科大洋科技发展股份有限公司，上海极存信息科技有限公司，
类型：发明
国别省市：江苏;32