公开了在网络环境中进行文件传输和处理的系统和方法。在一个实施例中，该系统可以包括一个或多个处理器。该一个或多个处理器可以耦接到第一装置。该一个或多个处理器可以被配置成从文件队列检索文件。该文件可以存储于第一装置的本地存储器中。该文件可以从第二远程装置经由远程直接存储器访问被传输。该一个或多个处理器可以进一步被配置成判断文件是否完整。该一个或多个处理器可以进一步被配置成，如果判定所述文件是完整的，从所述文件队列去除所述文件。
System and method for information tapestry and instant granulate information catapult
A system and method for file transmission and processing in a network environment are disclosed. In one embodiment, the system can include one or more processors. The one or more processors can be coupled to the first device. The one or more processors can be configured to retrieve files from file queues. The file can be stored in the local memory of the first device. The file can be transferred from the second remote device through remote direct memory access. The one or more processors can be further configured to determine whether the file is complete. The one or more processors can be further configured to remove the file from the file queue if the file is judged to be intact.
【技术实现步骤摘要】
【国外来华专利技术】用于网络挂毯和瞬间粒度上的信息弹弓的系统和方法本申请要求2015年12月11日提交的美国临时申请No.62/266,060的优先权，该临时申请以引用方式并入本文。本申请要求2016年2月17日提交的美国临时申请No.62/296,257的优先权，该临时申请以引用方式并入本文。在此通过引用将国际专利申请No.PCT/US15/64242、PCTUS16/12178、PCT/US16/15276、PCT/US16/15278、PCT/US16/26467、PCT/US16/26481、PCT/US16/26489、PCT/US16/37180和PCT/IB16/00110全文并入本文。
本公开总体上涉及网络，尤其涉及通过在根本上改变发送方和接收方装置之间的交换性质，加快中长距离的数据传输。方法迁移正在从往返分组传输变为单向弹弓式文件发送，以及采用高性能计算的原理提高处理量。本公开具体描述了一种单向信息弹弓，其向远程存储器通过网络挂毯以接近线速保存完整的任意大小的数据文件。信息弹弓可以与现有网络织构集成，或者可以是独立工作的独立机制，或者是两者的混合。本公开还总体上涉及软件和网络，更具体而言，涉及管理更高层级功能的瞬间时间粒度。
技术介绍
网络挂毯上的信息弹弓常规技术和那些技术的局限或缺点展示了不同方法为何可能是有益的。本文描述的本公开的特征、方法和应用简述了如何构建和使用这种技术。它还提供了本公开如何浸透特定改进以克服常规技术局限性的前景。本公开可能对符合各种联网需求而言是有益的。本文提供了金融行业对本公开的利用作为示例，以例示特征以及它们如何克服常规技术的缺点。不过，本公开的应用和使用范围和尺度超越了这一狭窄的关注点，并适用于很多其他使用情形。因特网是多个网络的网络。网络织构可以被定义为一个管理实体控制之下的网络，或一种网络协议，例如，互联网协议(IP)或用于一地理区域之内的网络等。可以通过在边缘连接在一起的网络织构的对等合作将织构编织在一起。可以使用诸如网络地址转换(NAT)等方法。全局虚拟网络(GVN)是一种存在于因特网顶端(OTT)的网络类型，将织构的各层编织到网络挂毯中，在每个织构边缘处具有进出点(EIP)。一种网络织构可以是广域网(WAN)，其由两个局域网(LANS)点之间的专用线路，例如多协议标签交换(MPLS)或数字数据网络(DDN)等构成。这些专用链路还可以对等连接到其他网络，基于定义为单跳的一对一关系，或经由多跳对等的一对多网络关系，通过两个或更多端点之间中间有很多可能的路径或路由。网络织构还可以定义端到端的网络织构类型的尺度和范围。以太网定义一种网络，但这也可以进一步由协议分类，例如以太网上的互联网协议(IP)，例如互联网协议版本4(IPv4)或互联网协议版本6(IPv6)和其他网络类型。构建于IP顶端的是诸如传输控制协议(TCP)和用户数据报协议(UDP)的协议。TCPoverIP(TCP/IP)更冗长并具有相对于UPDoverIP(UDP/IP)发送的数据的可靠性进行更大内置误差检查和处理，UPDoverIP更多被配置为进行数据流传输，例如音频或视频数据，其中丢失一个分组不会造成显著负面效应。除了以太网顶部构建的不同协议和IP版本之外，以太网自身具有以太网、千兆比特以太网(可有1或10或40或100千兆比特的速度)，预计要引入其他版本。以太网正在写入常见必选协议以将各种装置连接在一起，它们能够彼此通信。无限带宽(IB)是一种以太网替代协议，IB利用不同的物理NIC端口、插头和电缆，且IB以不同方式工作。为了将很多节点连接到高性能计算/计算机(UPC)环境中，IB是优先的选择。IB允许在绕过网络的节点和用于接入的主机装置的操作系统(O/S)堆栈之间进行本地远程直接存储器访问(RDMA)，其中连接了RDMA存储器(或其他)装置。还有替代方案，例如，光纤信道和其他网络技术，其可以提供维持快速本地RDMA传输并经过长距离向并行文件系统(PFS)或RAM中保存文件或向另一远程存储装置保存。尽管光纤信道是IB的备选方案，但出于本公开的目的，本公开集中于IB为用于连接UPC节点，尤其是通过大距离的网络类型选择。IB被用作用于展示的示例，但可以使用能够提供类似基础连接的任何替代网络类型作为替代以支持信息弹弓。在比较网络类型时，可靠性是极为重要的。影响网络类型和网络协议选择的另一个主要驱动力还与通信跨过物理路径距离行进的时间相关。延迟是数据沿一个方向行进的时间度量，或者也可以被表达为通过两点之间指定距离的往返时间(RTT)。带宽是网段、通信路由、网络织构或其他网络路径的数据传输速率的度量。在本文中有些物理规律被作为基础援引。由于时间和距离很显著，本公开使用以下基线：-本文中的距离是在实验系统下以英里为单位测量的-本文中距离的度量可以是有或没有逗号和/或小数的数字，或者可以表达为整数-所用距离的一个例外是下文所述光缆的折射率，其中以米制体系下的米为单位表达距离-时间按秒度量，表达为秒的整数、分数和或小数-本文引用的时间单位是秒、毫秒(ms)和微秒(μs)-比微秒更精细的任何粒度，例如纳秒(ns)可能在本公开的特定实际应用中重要，但出于展示的目的，本文中最细的粒度为μs。在计算时，用于联网的时间的当前主要或标准度量是毫秒(ms)，用于处理的是微秒(μs)。极短时间的粒度例如可以被度量为毫秒的分数(每1/20或1/10或1/100)或小数(0.05、0.1、0.01)。下表是一些可能值及其对应等价转换的参考。#说明秒毫秒(ms)微秒(μs)11秒的1/100.10000100100,00021秒的1/200.050005050,00031秒的1/1000.010001010,000410微秒0.000010.010105100微秒0.000100.10010061000微秒0.001001.0001,000表1-时间的度量下表比较了真空中的光速和光纤玻璃芯内部光速。这个表例示了光纤效率的物理极限以为希望光通过光纤实现的理论最佳速度建立基线。表2-考虑由于折射造成光纤延迟的光纤线速度：基于如下网站提供的数据：http：//www.m2optics.com/blog/bid/70587/Calculating-Optical-Fiber-Latency尽管光缆的折射率可能会轻微变化，但平均值在本文中如下假设：针对68.05％的效率，平均值大约为203m到204m/μs，相对于光速299.792m/μs。有些特殊行业的应用对具有最低可能延迟和零距离丢包的最佳服务质量(QoS)具有绝对要求。这些特殊行业需要交换针对应用的信息，例如金融信息、交易执行到确认、科学计算等。在很多情况下，将使用专用光纤线路传输，以比开放因特网上传输预期实现更高可靠性和更高吞吐量。陆地光纤线路通信的一种替代方案是通过卫星传输进行中继。弹弓能够在卫星链路上工作，并且通信速度可能接近使用这样的基础传输介质的光速。卫星链路容易受到带宽限制、天气风险、宇宙干扰和其他挑战的影响。对于本公开而言，信息弹弓的交点是在陆地光纤线路网络上部署其展示。以太网及其联网技术的组合是使用最广泛的网络类型，从办公室内的局域网、数据中心和其他设备集本文档来自技高网...
【技术保护点】
1.一种用于在网络环境中进行文件传输和处理的系统，包括：耦接到第一装置的一个或多个处理器，被配置成：从文件队列中检索文件，其中所述文件存储于所述第一装置的本地存储器中，其中所述文件从第二远程装置经由远程直接存储器访问被传输；判断所述文件是否完整；如果判定所述文件是完整的，从所述文件队列去除所述文件。
【技术特征摘要】
【国外来华专利技术】2015.12.11 US 62/266，060;2016.02.17 US 62/296,2571.一种用于在网络环境中进行文件传输和处理的系统，包括：耦接到第一装置的一个或多个处理器，被配置成：从文件队列中检索文件，其中所述文件存储于所述第一装置的本地存储器中，其中所述文件从第二远程装置经由远程直接存储器访问被传输；判断所述文件是否完整；如果判定所述文件是完整的，从所述文件队列去除所述文件。2.根据权利要求1所述的系统，其中所述第二远程装置是骨干交换服务器。3.根据权利要求1所述的系统，还包括所述第一装置和所述第二远程装置之间的专用链路。4.根据权利要求1所述的系统，其中所述文件包括包头、主体和文件尾。5.根据权利要求4所述的系统，其中所述文件尾包括指示所述文件结束的标记。6.根据权利要求4所述的系统，其中所述文件包括密钥值对。7.根据权利要求4所述的系统，其中所述文件尾包括校验和以验证所述主体的完整性。8....
【专利技术属性】
技术研发人员：J·E·鲁本斯坦，
申请(专利权)人：安博科技有限公司，
类型：发明
国别省市：中国香港,81
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。