面向视频文件大数据的RDMA混合传输方法、系统及介质技术方案

本发明专利技术提供了一种面向视频文件大数据的RDMA混合传输方法，包括：步骤1：RDMA初始化建立；步骤2：获取视频数据请求；步骤3：对视频数据请求进行识别分类；步骤4：对视频数据请求进行传输。本发明专利技术针对分布式文件系统下视频大数据传输的问题，提供了一种RDMA混合传输方法，所述的方法和装置能够很好的降低视频大数据传输延迟；同时能够适配分布式非易失性内核态文件系统，优化了分布式系统中视频流的传输过程，具有良好的市场前景和应用价值。

RDMA hybrid transmission method, system and media for video file big data

【技术实现步骤摘要】
面向视频文件大数据的RDMA混合传输方法、系统及介质
本专利技术涉及计算机系统结构
，具体地，涉及一种面向视频文件大数据的RDMA混合传输方法、系统及介质。
技术介绍
远程直接内存访问(RemoteDirectMemoryAccess，RDMA)是指在没有双方主机操作系统直接参与下，直接访问远端内存，从而提供高带宽、低延迟的特性。分布式环境下的数据传输决定了系统整体的I/O性能，这类技术被广泛的应用在分布式文件系统和数据库系统中。近年来互联网视频数据逐渐增多，而现有的分布式文件系统中，还没有系统能够针对视频流数据的实时传输特性，进行特异性的传输策略设计，很大的影响了用户的体验。RDMA技术的广泛应用，使得分布式环境下的数据传输有了新的解决方案。RDMA的连接方式有三种，分别是可靠连接(ReliableConnections，RC)、不可靠连接(UnreliableConnections，UC)和不可靠数据报(UnreliableDatagrams，UD)。现有技术基本是采用了RC或者UD中的一种进行传输，没有办法充分利用两种传输各自的优点。RDMA：RemoteDirectMemoryAccess，远程直接内存访问，是指在没有双方主机操作系统直接参与下，直接访问远端内存，从而提供高带宽、低延迟的特性。Metadata：元数据，主要是描述数据属性的信息，又被称为数据的数据。NVM：Non-volatileMemory，非易失性内存，其特点是断电后信息不丢失，可字节寻址。r>专利文献CN105657434B(申请号：201610036778.7)公开了一种基于数模混合的大数据辅助视频传输方法，包括步骤：1)基于信噪比最大化的无线视频传输系统，具体可分为：建立伪模拟视频传输框架，基于贝叶斯推理得到接收端重建视频信号的最小均方误差估计，最佳先验知识获取；2)基于数模混合的大数据辅助视频传输系统的信号发送端信号发送；3)基于数模混合的大数据辅助视频传输系统的信号接收端视频重建。我们假设发送端与接收端存在相同的云端数据，提取大数据中与传输信号最相关的信息用于辅助视频重建，通过最大化接收端信噪比提取最佳先验知识，在发送端制定相应标准决定是否传输原始视频信号，以节省传输带宽。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种面向视频文件大数据的RDMA混合传输方法、系统及介质。根据本专利技术提供的面向视频文件大数据的RDMA混合传输方法，包括：步骤1：RDMA初始化建立；步骤2：获取视频数据请求；步骤3：对视频数据请求进行识别分类；步骤4：对视频数据请求进行传输。优选地，所述步骤1包括：步骤1.1：获取输入参数，包括网络地址和网络端口；步骤1.2：对服务端节点进行地址绑定，并对服务端地址进行解析；步骤1.3：解析成功后，发送客户端和服务端的连接请求；步骤1.4：连接后在内存中创建保护区域，存放资源；创建完成队列，存放已完成的RDMA操作；创建发送队列和接收队列，存放RDMA的操作请求；对内存进行注册，将内存地址注册到保护区域，并创建两个关键字来指向内存注册区域；所述连接请求包括三次握手操作。优选地，所述步骤3包括：分类视频数据，包括：步骤3.1：设定视频数据识别逻辑；步骤3.2：根据视频数据识别逻辑对发送目的地和时延要求进行判断分类；步骤3.3：当视频数据的时延要求超出预设范围，发送请求时，归入立即发送队列；当视频数据的时延要求在预设范围内，发送的目的地数量超出预设范围，发送请求时，归入广播队列；当视频数据的时延要求在预设范围内，且发送目的地数量在预设范围内，发送请求时，归入等待队列。优选地，所述步骤3包括：分类视频元数据，包括：步骤3.4：设定视频元数据识别逻辑；步骤3.5：根据视频元数据识别逻辑对操作原语种类和时延要求进行判断分类；步骤3.6：当视频元数据的时延要求超出预设范围并且进行RDMA编写的视频元数据请求时，归入快速发送队列；当其他情形的视频元数据发送请求时，归入普通发送队列。优选地，所述步骤4包括：传输视频数据，包括：步骤4.1：对立即发送队列中的请求进行处理，包括：根据发送目的地的数量，直接进行不可靠数据报单播发送或者不可靠数据报广播发送；步骤4.2：对广播队列中的请求进行处理；步骤4.3：对等待队列中的请求进行处理。优选地，所述步骤4.2包括：当处理立即发送队列为空时，将请求推送到立即发送队列进行发送；当处理立即发送队列不为空时，在立即发送队列中设置发送计数器，当计数器满足预设广播发送阈值时，将广播队列中最靠前的请求推送到立即发送队列中进行发送，然后将计数器清零。优选地，所述步骤4.3包括：对视频数据大小进行判断；当视频数据大小大于预设阈值时，立即进入待发送状态；当视频数据大小小于预设阈值时，将视频数据与等待队列中其他相同目的地的视频数据进行合并，若合并后的视频数据大小超过预设阈值，则进入待发送状态；若不超过预设阈值，则继续寻找等待列队中其他相同目的地的视频数据进行合并；当处理立即发送队列为空时，将待发送请求推送到立即发送队列进行发送；当处理立即发送队列不为空时，在立即发送队列中设置发送计数器，当计数器满足预设单播发送阈值时，将队列中最靠前的待发送请求推送到立即发送队列中进行发送，然后将计数器清零。优选地，所述步骤4包括：传输视频元数据，包括：步骤4.4：对快速发送队列中的请求进行处理，直接使用不可靠连接方式，进行RDMA编写；步骤4.5：对普通发送队列中的请求，使用可靠连接方式，进行RDMA读取或者RDMA编写。根据本专利技术提供的面向视频文件大数据的RDMA混合传输系统，包括：模块M1：RDMA初始化建立；模块M2：获取视频数据请求；模块M3：对视频数据请求进行识别分类；模块M4：对视频数据请求进行传输。与现有技术相比，本专利技术具有如下的有益效果：1、本专利技术针对分布式文件系统下视频大数据传输的问题，提供了一种RDMA混合传输方法，所述的方法和装置能够很好的降低视频大数据传输延迟；2、本专利技术同时能够适配分布式非易失性内核态文件系统，优化了分布式系统中视频流的传输过程，具有良好的市场前景和应用价值。附图说明通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1是本专利技术实施例中装置总模块示意图；图2是本专利技术实施例的使用RDMA的各种方法示意图；图3是本专利技术实施例中智能传输模块示意图；图4是本专利技术实施例中元数据发送流程的示意图；图5是本专利技术实施例中数据发送流程的示意图。本文档来自技高网...

【技术保护点】
1.一种面向视频文件大数据的RDMA混合传输方法，其特征在于，包括：/n步骤1：RDMA初始化建立；/n步骤2：获取视频数据请求；/n步骤3：对视频数据请求进行识别分类；/n步骤4：对视频数据请求进行传输。/n

【技术特征摘要】
1.一种面向视频文件大数据的RDMA混合传输方法，其特征在于，包括：
步骤1：RDMA初始化建立；
步骤2：获取视频数据请求；
步骤3：对视频数据请求进行识别分类；
步骤4：对视频数据请求进行传输。


2.根据权利要求1所述的面向视频文件大数据的RDMA混合传输方法，其特征在于，所述步骤1包括：
步骤1.1：获取输入参数，包括网络地址和网络端口；
步骤1.2：对服务端节点进行地址绑定，并对服务端地址进行解析；
步骤1.3：解析成功后，发送客户端和服务端的连接请求；
步骤1.4：连接后在内存中创建保护区域，存放资源；创建完成队列，存放已完成的RDMA操作；创建发送队列和接收队列，存放RDMA的操作请求；对内存进行注册，将内存地址注册到保护区域，并创建两个关键字来指向内存注册区域；
所述连接请求包括三次握手操作。


3.根据权利要求1所述的面向视频文件大数据的RDMA混合传输方法，其特征在于，所述步骤3包括：
分类视频数据，包括：
步骤3.1：设定视频数据识别逻辑；
步骤3.2：根据视频数据识别逻辑对发送目的地和时延要求进行判断分类；
步骤3.3：当视频数据的时延要求超出预设范围，发送请求时，归入立即发送队列；
当视频数据的时延要求在预设范围内，发送的目的地数量超出预设范围，发送请求时，归入广播队列；
当视频数据的时延要求在预设范围内，且发送目的地数量在预设范围内，发送请求时，归入等待队列。


4.根据权利要求1所述的面向视频文件大数据的RDMA混合传输方法，其特征在于，所述步骤3包括：
分类视频元数据，包括：
步骤3.4：设定视频元数据识别逻辑；
步骤3.5：根据视频元数据识别逻辑对操作原语种类和时延要求进行判断分类；
步骤3.6：当视频元数据的时延要求超出预设范围并且进行RDMA编写的视频元数据请求时，归入快速发送队列；
当其他情形的视频元数据发送请求时，归入普通发送队列。


5.根据权利要求1所述的面向视频文件大数据的RDMA混合传输方法，其特征在于，所述步骤4包括：
传输视频数据，包括：
步骤4.1：对立即发送队列中的请求进行...

【专利技术属性】
技术研发人员：黄林鹏，郑圣安，屠要峰，杨洪章，沈艳艳，陈雨亭，舒继武，陈茂棠，
申请(专利权)人：上海交通大学，清华大学，
类型：发明
国别省市：上海;31