【技术实现步骤摘要】
静态网络中的数据传输系统及其方法
本公开涉及一种数据传输技术，更具体地说，本公开涉及一种用于静态网络中用于节省数据传输开销的数据传输系统及其方法。
技术介绍
随着分布式计算的普及，大型的作业会通过分割而将不同部分的数据部署到不同的分布式数据处理系统的各个计算设备上进行处理，这样，在具体作业的处理过程中，部署在一个计算设备上的计算中间参数或结果会成为另一个计算设备上的计算任务的输入数据，这样为了实现中间参数的数据同步，这会引起计算设备之间的数据传输开销。而网络性能通信的性能不好，就会影响多机分布式数据处理架构的加速比和扩展性。在静态分布式数据处理架构中，数据的搬运或传输都采用容量固定的注册内存。在进行数据传输的时候，通常是对整个注册内存的整个容量进行传输。但是，在实际数据处理过程中，为了保证注册内存不会导致内存溢出，通常所需存储的数据块不会超过注册内存的容量。而在静态网络中，注册内存的数据在被传输时，整个注册内存的容量将被传输。在这种情形下由于注册内存的数据块尺寸通常小于注册内存的容量，因此导致实际传输的数据量通常会大...
【技术保护点】
1.一种静态网络中的数据传输系统，所述静态网络至少包括一个数据发送设备和一个数据接收设备，其中，/n所述数据发送设备包括：/n第一级发送内存，具有固定容量，用于存储待传输数据块；/n第二级发送注册内存组，其容量之和为预定容量模量的整数倍并且大于或等于所述第一级发送内存的固定容量，并包括两个容量为预定容量模量的第二级发送注册内存以及多个容量以所述预定容量模量为基数等比例增加的第二级发送注册内存；/n数据分割转存单元，用于在待传输数据块尺寸小于或等于容量最小的第二级发送注册内存容量时从两个容量为预定容量模量的第二级发送注册内存中选择专用于存储余量的第二级发送注册内存，否则从所有...
【技术特征摘要】
1.一种静态网络中的数据传输系统，所述静态网络至少包括一个数据发送设备和一个数据接收设备，其中，
所述数据发送设备包括：
第一级发送内存，具有固定容量，用于存储待传输数据块；
第二级发送注册内存组，其容量之和为预定容量模量的整数倍并且大于或等于所述第一级发送内存的固定容量，并包括两个容量为预定容量模量的第二级发送注册内存以及多个容量以所述预定容量模量为基数等比例增加的第二级发送注册内存；
数据分割转存单元，用于在待传输数据块尺寸小于或等于容量最小的第二级发送注册内存容量时从两个容量为预定容量模量的第二级发送注册内存中选择专用于存储余量的第二级发送注册内存，否则从所有第二级发送注册内存中选择其容量小于或等于所述待传输数据块的尺寸的最大第二级发送注册内存，并按照所选择的第二级发送注册内存的容量从所述待传输数据块按序分割出的最大数据子块转存到所选择的第二级发送注册内存中；
所述数据接收设备包括：
第一级接收内存，具有与第一级发送内存相同的容量；
第二级接收注册内存组，其包括与所述第二级发送注册内存组中的每一个对应并具有的相同的容量的第二级接收注册内存；以及
数据合并转存单元，其将第二级接收注册内存组中接收到的数据子块按照从大到小顺序合并转存到第一级接收内存中；以及
布置在每一对第二级发送注册内存与第二级接收注册内存之间的数据传输单元，在所选择的第二级发送注册内存被转存待发送的最大数据子块时，获得传输指令，将所选择的第二级发送注册内存内的最大数据子块发送到对应的第二级接收注册内存。
2.一种静态网络中的数据传输系统，所述静态网络至少包括一个数据发送设备和一个数据接收设备，其中，
所述数据发送设备包括：
第一级发送内存，具有固定容量，用于存储待传输数据块；
第二级发送注册内存组，其容量之和为预定容量模量的整数倍并且大于或等于所述第一级发送内存的固定容量，并包括两个容量为预定容量模量的第二级发送注册内存以及多个容量以所述预定容量模量为基数等比例增加的第二级发送注册内存；
数据分割转存单元，用于在待传输数据块尺寸小于或等于容量最小的第二级发送注册内存容量时从两个容量为预定容量模量的第二级发送注册内存中选择专用于存储余量的第二级发送注册内存，否则从所有第二级发送注册内存中选择其容量大于所述待传输数据块的尺寸并且与所述待传输数据块的尺寸之差值小于所述预定容量模量的第二级发送注册内存以及在所有第二级发送注册内存中没有其容量大于所述待传输数据块的尺寸并且与所述待传输数据块的尺寸之差值小于所述预定容量模量的第二级发送注册内存时从所有第二级发送注册内存中选择其容量小于或等于所述待传输数据块的尺寸的最大第二级发送注册内存，并按照所选择的第二级发送注册内存的容量从所述待传输数据块按序分割出的最大数据子块转存到所选择的第二级发送注册内存中；
所述数据接收设备包括：
第一级接收内存，具有与第一级发送内存相同的容量；
第二级接收注册内存组，其包括与所述第二级发送注册内存组中的每一个对应并具有的相同的容量的第二级接收注册内存；以及
数据合并转存单元，其将第二级接收注册内存组中接收到的数据子块按照从大到小顺序合并转存到第一级接收内存中；以及
布置在每一对第二级发送注册内存与第二级接收注册内存之间的数据传输单元，在所选择的第二级发送注册内存被转存待发送的最大数据子块时，获得传输指令，将所选择的第二级发送注册内存内的最大数据子块发送到对应的第二级接收注册内存。
3.一种静态网络中的数据传输系统，所述静态网络至少包括一个数据发送设备和一个数据接收设备，其中，
所述数据发送设备包括：
第一级发送内存，具有预定容量模量的整数倍的固定容量，用于存储待传输数据块；
第二级发送注册内存组，其容量之和为预定容量模量的整数倍并且大于或等于所述第一级发送内存的固定容量，并包括两个容量为预定容量模量的第二级发送注册内存以及多个容量以所述预定容量模量为基数等比例增加的第二级发送注册内存；
数据分割转存单元，用于在待传输数据块尺寸小于或等于容量最小的第二级发送注册内存容量时从两个容量为预定容量模量的第二级发送注册内存中选择专用于存储余量的第二级发送注册内存，否则从所有第二级发送注册内存中选择其容量小于或等于所述待传输数据块的尺寸的最大第二级发送注册内存，并记录所选择的第二级发送注册内存以及按照所选择的第二级发送注册内存的容量从所述待传输数据块能够按序分割出的最大数据子块，以及基于所述记录将所有所能分割的最大数据子块对应转存到所选择的第二级发送注册内存中；
所述数据接收设备包括：
第一级接收内存，具有与第一级发送内存相同的容量；
第二级接收注册内存组，其包括与所述第二级发送注册内存组中的每一个对应并具有的相同的容量的第二级接收注册内存；以及
数据合并转存单元，其将第二级接收注册内存组中接收到的数据子块按照从大到小顺序合并转存到第一级接收内存中；以及
布置在每一对第二级发送注册内存与第二级接收注册内存之间的数据传输单元，在所选择的第二级发送注册内存被转存待发送的最大数据子块时，获得传输指令，将所选择的第二级发送注册内存内的最大数据子块发送到对应的第二级接收注册内存。
4.一种静态网络中的数据传输系统，所述静态网络至少包括一个数据发送设备和一个数据接收设备，其中，
所述数据发送设备包括：
第一级发送内存，具有固定容量，用于存储待传输数据块；
第二级发送注册内存组，其容量之和为预定容量模量的整数倍并且大于或等于所述第一级发送内存的固定容量，并包括两个容量为预定容量模量的第二级发送注册内存以及多个容量以所述预定容量模量为基数等比例增加的第二级发送注册内存；
数据分割转存单元，用于在待传输数据块尺寸小于或等于容量最小的第二级发送注册内存容量时从两个容量为预定容量模量的第二级发送注册内存中选择专用于存储余量的第二级发送注册内存，否则从所有第二级发送注册内存中选择其容量大于所述待传输数据块的尺寸并且与所述待传输数据块的尺寸之差值小于所述预定容量模量的第二级发送注册内存以及在所有第二级发送注册内存中没有其容量大于所述待传输数据块的尺寸并且与所述待传输数据块的尺寸之差值小于所述预定容量模量的第二级发送注册内存时从所有第二级发送注册内存中选择其容量小于或等于所述待传输数据块的尺寸的最大第二级发送注册内存，并记录所选择的第二级发送注册内存以及按照所选择的第二级发送注册内存的容量从所述待传输数据块能够按序分割出的最大数据子块，以及基于所述记录将所有所能分割的最大数据子块对应转存到所选择的第二级发送注册内存中；
所述数据接收设备包括：
第一级接收内存，具有与第一级发送内存相同的容量；
第二级接收注册内存组，其包括与所述第二级发送注册内存组中的每一个对应并具有的相同的容量的第二级接收注册内存；以及
数据合并转存单元，其将第二级接收注册内存组中接收到的数据子块按照从大到小顺序合并转存到第一级接收内存中；以及
布置在每一对第二级发送注册内存与第二级接收注册内存之间的数据传输单元，在所选择的第二级发送注册内存被转存待发送的最大数据子块时，获得传输指令，将所选择的第二级发送注册内存内的最大数据子块发送到对应的第二级接收注册内存。
5.一种静态网络中的数据传输方法，包括：
在待传输数据块尺寸小于或等于容量最小的第二级发送注册内存容量时从两个容量为预定容量模量的第二级发送注册内存中选择专用于存储余量的第二级发送注册内存，否则从所有第二级发送注册内存中选择其容量小于或等于所述待传输数据块的尺寸的最大第二级发送注册内存；
比照所选择的第二级发送注册内存的容量从所述待传输数据块按序分割出的最大数据子块转存到所选择的第二级发送注册内存中；
在所选择的第二级发送注册内存被转存待发送的数据子块时，基于传输指令，将所选择的第二级发送注册内存内的最大数据子块发送到与所选择的第二级发送注册内存对应的第二级接收注册内存中；以及
将第二级接收注册内存内的各个数据子块按照从大到小顺序合并转存到第一级接收内存中。
6.一种静态网络中的数据传输方法，包括：
在待传输数据块尺寸小于或等于容量最小的第二级发送注册内存容量时从两个容量为预定容量模量的第二级发送注册内存中选择专用于存储余量的第二级发送注册内存，否则从所有第二级发送注册内存中选择其容量大于所述待传输数据块的尺寸并且与所述待传输数据块的尺寸之差值小于所述预定容量模量的第二级发送注册内存以及在所有第二级发送注册内存中没有其容量大于所述待传输数据块的尺寸并且与所述待传输数据块的尺寸之差值小于所述预定容量模量的第二级发送注册内存时从所有第二级发送注册内存中选择其容量小于或等于所述待传输数据块的尺寸的最大第二级发送注册内存；
比照所选择的第二级发送注册内存的容量从所述待传输数据块按序分割出的最大数据子块，并将所分割出的最大数据子块转存到所选择的第二级发送注册内存中；
在所选择的第二级发送注册内存被转存待发送的数据子块时，基于传输指令，将所选择的第二级发送注册内存内的最大数据子块发送到与所选择的第二级发送注册内存对应的第二级接收注册内存中；以及
将第二级接收注册内存内的各个数据子块按照从大到小顺序合并转存到第一级接收内存中。
7.一种静态网络中的数据传输方法，包括：
在待传输数据块尺寸小于或等于容量最小的第二级发送注册内存容量时从两个容量为预定容量模量的第二级发送注册内存中选择专用于存储余量的第二级发送注册内存，否则从所有第二级发送注册内存中选择其容量小于或等于所述待传输数据块的尺寸的最大第二级发送注册内存；
记录所选择的第二级发送注册内存以及按照所选择的第二级发送注册内存的容量从所述待传输数据块能够按序分割出的最大数据子块；
基于所述记录，比照所选择的第二级发送注册内存的容量从所述待传输数据块按序分割出的最大数据子块，并将所有分割的最大数据子块对应转存到所选择的第二级发送注册内存中；
在所选择的第二级发送注册内存被转存待发送的数据子块时，基于传输指令，将所选择的第二级发送注册内存内的最大数据子块发送到与所选择的第二级发送注册内存对应的第二级接收注册内存中；以及
将第二级接收注册内存内的各个数据子块按照从大到小顺序合并转存到第一级接收内存中。
8.一种静态网络中的数据传输方法，包括：
在待传输数据块尺寸小于或等于容量最小的第二级发送注册内存容量时从两个容量为预定容量模量的第二级发送注册内存中选择专用于存储余量的第二级发送注册内存，否则从所有第二级发送注册内存中选择其容量大于所述待传输数据块的尺寸并且与所述待传输数据块的尺寸之差值小于所述预定容量模量的第二级发送注册内存以及在所有第二级发送注册内存中没有其容量大于所述待传输数据块的尺寸并且与所述待传输数据块的尺寸之差值小于所述预定容量模量的第二级发送注册内存时从所有第二级发送注册内存中选择其容量小于或等于所述待传输数据块的尺寸的最大第二级发送注册内存；
记录所选择的第二级发送注册内存以及按照所选择的第二级发送注册内存的容量从所述待传输数据块能够按序分割出的最大数据子块；
基于所述记录，比照所选择的第二级发送注册内存的容量从所述待传输数据块按序分割出的最大数据子块，并将所有分割的最大数据子块对应转存到所选...
【专利技术属性】
技术研发人员：李新奇，成诚，柳俊丞，袁进辉，
申请(专利权)人：北京一流科技有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。