一种基于文件直通技术的文件传输方法技术

本发明专利技术涉及一种基于文件直通技术的文件传输方法，包括：创建传输任务、隧道传输数据、查询传输状态、结束，所述隧道传输数据所使用的隧道物理上复用存储内网，逻辑上通过分布式存储的数据分布算法，调度多台存储节点对数据的不同分片进行跨存储区的快速数据传输。本发明专利技术在统一存储系统中，构建不同存储区域之间的数据隧道。通过数据隧道技术，将原有的数据带外迁移工作，转化为基于存储内部数据隧道进行高效迁移的操作。本发明专利技术可以极大的提高文件交换效率，降低系统资源消耗，还可以节省存储空间。并且可以实现不同的存储协议之间的快速共享，可以在使用不同访问协议的存储区之间实现快速文件交换功能。

【技术实现步骤摘要】

本专利技术涉及一种基于文件直通技术的文件传输方法，是计算机网络数据计算和处理技术的方法，是一种基于文件直通技术的传输方法。
技术介绍
视音频处理和视音频发布等领域，特别是在电视台、网络电视台、有线网络公司、IPTV、互联网电视、OTT、手机电视等领域存在大量的业务系统，都有视音频文件的传输和系统间交换的需求，迫切需要系统间快速的文件传输和交换的方法。在现有的业务系统中，系统间的文件交换需要通过文件拷贝来完成，文件数据会先通过网络经由执行拷贝的计算机内存，传输到目标应用系统的文件系统中。这个过程会大量的消耗网络带宽资源和存储带宽资源，效率也比较低，而且会大量的占用存储空间，如何能解决快速的系统间文件交换是一个迫切需要解决的问题。另外，现有业务系统中，由于有不同的业务类型对文件访问协议也有不同的需求，有的业务系统使用NAS存储，使用NFS/CIFS协议，还有的业务系统需要使用对象存储，使用S3协议来访问文件。如何在不同的文件访问协议之间实现快速的文件拷贝和共享，也是当前迫切需要解决的问题。
技术实现思路
为了克服现有技术的问题，本专利技术提出了一种基于文件直通技术的文件传输方法。所述的方法通过数据隧道，在统一存储系统中解决了大量文件高效传输的问题。本专利技术的目的是这样实现的：一种基于文件直通技术的文件传输系统，包括：构建于底层统一存储平台上的多个存储区，所述的多个存储区分别与至少一个业务系统连接，所述的业务系统与数据传输API连接，所述的数据传输API与数据传输任务引擎连接，所述的数据传输任务引擎通过构建在所述底层统一存储平台中的底层数据隧道分别与每个存储区连接，所述方法的步骤如下：创建传输任务的步骤：用于业务系统通过数据传输API向存储的任何节点发送数据文件传输请求，创建一个数据传输任务，并获取该任务的taskId；隧道传输数据的步骤：用于数据传输任务引擎收到任务后，创建工作进程，通过内部数据隧道进行数据传输工作，所述的内部数据隧道物理上复用存储内网，逻辑上通过分布式存储的数据分布算法，调度多台存储节点对数据的不同分片进行跨存储区的快速数据传输；查询传输状态的步骤：用于业务系统通过数据传输API，以taskId为参数查询数据传输任务状态；或者任务引擎通过创建任务时注册的回调函数，通知业务系统任务执行状态；结束的步骤：用于数据传输完成后，由业务系统或数据传输任务引擎通过数据传输API删除相关任务。进一步的，所述的数据传输步骤中数据传输任务引擎负责接收各个业务系统的数据传输任务，并根据任务参数，创建相应的任务进程，监控各个任务进程的状态并收集任务执行结果；数据传输任务引擎中控制的传输策略包括：多文件系统间的数据零拷贝策略；多文件系统间的数据深度拷贝策略；文件系统和对象存储间的数据复制策略；不同存储区域间数据局部更新策略；传输过程中数据隧道流量QoS控制。进一步的，所述的数据传输API为基于http的RestfulAPI。进一步的，所述的存储区至少包括NFS文件访问协议存储区、CIFS文件访问协议存储区、对象存储访问协议存储区中的一种，或者是NFS文件访问协议存储区、CIFS文件访问协议存储区、对象存储访问协议存储区的组合。本专利技术产生的有益效果是：本专利技术在统一存储系统中，构建不同存储区域之间的数据隧道。通过数据隧道技术，将原有的数据带外迁移工作，转化为基于存储内部数据隧道进行高效迁移的操作。本专利技术可以极大的提高文件交换效率，降低系统资源消耗，还可以节省存储空间。并且可以实现不同的存储协议之间的快速共享，可以在使用NFS/CIFS和S3协议的存储区之间实现快速文件交换功能。附图说明下面结合附图和实施例对本专利技术作进一步说明。图1是本专利技术的实施例一所述文件方法所使用的传输系统的原理示意图；图2是本专利技术的实施例一所述方法的工作流程示意图。具体实施方式实施例一：本实施例是一种基于文件直通技术的文件传输方法。本实施例所使用的系统可以支持在底层统一存储平台上构建多个存储区，例如可以构建10个存储区或者更多。本实施例对存储区的个数原则上没有限制，但是在实际使用中，构建过多的存储区可能会带来系统运行维护复杂性的提升，所以存储区的个数通常会控制在几十个以内，具体以业务系统对存储区的使用需求、数据隔离需求而定。同时，多个存储区的访问协议可以是NFS文件访问协议、CIFS文件访问协议、对象存储访问协议中的一种，或者是NFS文件访问协议、CIFS文件访问协议、对象存储访问协议的组合。为叙述简便起见，本实施例以三个存储区为例，分别使用NFS文件访问协议、CIFS文件访问协议、对象存储访问协议为例来说明。本实施例所述方法所使用的系统（如图1所示）包括：构建于底层统一存储平台上的对象存储区、NFS文件存储区和CIFS文件存储区，所述的对象存储区与归档子系统连接，所述的NFS文件存储区与转码子系统连接，所述的CIFS文件存储区与编辑子系统连接，所述的归档子系统、转码子系统、编辑子系统与数据传输API连接，所述的数据传输API与数据传输任务引擎连接，所述的数据传输任务引擎通过构建在所述底层统一存储平台中的底层数据隧道分别与对象存储区、NFS文件存储区和CIFS文件存储区连接，所述方法的步骤如下：创建传输任务的步骤：用于业务系统通过RestfulAPI向存储的任何节点发送数据文件传输请求，创建一个数据传输任务，并获取该任务的taskId。隧道传输数据的步骤：用于数据传输任务引擎收到任务后，创建工作进程，通过内部数据隧道进行数据传输工作，所述的内部数据隧道物理上复用存储内网，逻辑上通过分布式存储的数据分布算法，调度多台存储节点对数据的不同分片进行跨存储区的快速数据传输。本实施例所述的底层数据隧道物理上复用存储内网，逻辑上通过分布式存储的数据分布算法，调度多台存储节点对数据的不同分片进行跨存储区的快速数据传输，旨在复用存储集群各个节点间专用的高通量网络传输链路（下文称为存储内网），例如多口绑定的10Gbps网络或是IB网络等，完成快速的跨存储区数据传输。对比于传统的基于带外的数据传输机制，该传输通路避免了业务系统先从存储集群的某个区域读取数据，通过传输服务器，中间的网络设备（例如防火墙等），再存放到存储集群的另一个存储区域中的复杂模型。而仅需通过发送数据传输指令给传输任务引擎，由该引擎完成基于存储内网的数据传输。在存储内网传输的过程中，由于底层分布式存储对于数据都是分片存放于各个存储服务器节点上，因此，针对大型文件的传输，集群中的所有节点都将扮演传输服务器的角色，存储内网的专用性及拓扑模型的简单性（内部数据交换无需防火墙，和业务系统是完全隔离的网络，不会受到业务系统网络负载等各方面的影响）进一步提升了传输效率。总之，数据隧道物理上复用存储内网，逻辑上通过分布式存储的数据分布算法，调度多台存储节点对数据的不同分片进行跨存储区的快速数据传输，从而提供了简单高效的数据传输机制。而具体基于策略的传输方法将借助于数据任务传输引擎完成。该引擎机制将在下一节中详细说明。查询传输状态的步骤：用于业务系统通过RestfulAPI，以taskId为参数查询数据传输任务状态；或者任务引擎通过创建任务时注册的回调函数，通知业务系统任务执行状态；结束的步骤：用于数据传输本文档来自技高网...

【技术保护点】
一种基于文件直通技术的文件传输方法，所述方法所使用的系统包括：构建于底层统一存储平台上的多个存储区，所述的多个存储区分别与至少一个业务系统连接，所述的业务系统与数据传输API连接，所述的数据传输API与数据传输任务引擎连接，所述的数据传输任务引擎通过构建在所述底层统一存储平台中的底层数据隧道分别与每个存储区连接，其特征在于，所述方法的步骤如下：创建传输任务的步骤：用于业务系统通过数据传输API向存储的任何节点发送数据文件传输请求，创建一个数据传输任务，并获取该任务的taskId；隧道传输数据的步骤：用于数据传输任务引擎收到任务后，创建工作进程，通过内部数据隧道进行数据传输工作，所述的内部数据隧道物理上复用存储内网，逻辑上通过分布式存储的数据分布算法，调度多台存储节点对数据的不同分片进行跨存储区的快速数据传输；查询传输状态的步骤：用于业务系统通过数据传输API，以taskId为参数查询数据传输任务状态；或者任务引擎通过创建任务时注册的回调函数，通知业务系统任务执行状态；结束的步骤：用于数据传输完成后，由业务系统或数据传输任务引擎通过数据传输API删除相关任务。

【技术特征摘要】
1.一种基于文件直通技术的文件传输方法，所述方法所使用的系统包括：构建于底层统一存储平台上的多个存储区，所述的多个存储区分别与至少一个业务系统连接，所述的业务系统与数据传输API连接，所述的数据传输API与数据传输任务引擎连接，所述的数据传输任务引擎通过构建在所述底层统一存储平台中的底层数据隧道分别与每个存储区连接，其特征在于，所述方法的步骤如下：创建传输任务的步骤：用于业务系统通过数据传输API向存储的任何节点发送数据文件传输请求，创建一个数据传输任务，并获取该任务的taskId；隧道传输数据的步骤：用于数据传输任务引擎收到任务后，创建工作进程，通过内部数据隧道进行数据传输工作，所述的内部数据隧道物理上复用存储内网，逻辑上通过分布式存储的数据分布算法，调度多台存储节点对数据的不同分片进行跨存储区的快速数据传输；查询传输状态的步骤：用于业务系统通过数据传输API，以taskId为参数查询数据传输任务状态；或者任务引擎通过创建任务时注册的回调函数，通知业务系统...

【专利技术属性】
技术研发人员：郭昌雄，吴剑海，瞿向雷，杜歆文，李铜舒，毛烨，李彬，刘皓，杜伟，王兵，韩利明，刘胜，游宗霖，
申请(专利权)人：苏州市广播电视总台，北京中科大洋科技发展股份有限公司，上海极存信息科技有限公司，
类型：发明
国别省市：江苏;32