System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于RDMA的多通道高通量双光子显微镜数据传输方法及系统技术方案_技高网

基于RDMA的多通道高通量双光子显微镜数据传输方法及系统技术方案

技术编号:40104667 阅读:6 留言:0更新日期:2024-01-23 18:14
本发明专利技术提供基于RDMA的多通道高通量双光子显微镜数据传输方法及系统,针对多通道高通量双光子显微镜数据实时传输,在显微镜子服务器与主服务器上分别安装RDMA板卡,子服务器与主服务器的RDMA板卡通过万兆交换机进行互联,并分配RDMA网卡的I P地址,设置子服务器为发送端,主服务器为接收端;在各路服务器上利用新数据值引用/置入元素结构实现数据的远端直接内存访问,无需经过CPU拷贝等操作,提升了数据传输效率,同时在每组数据传输前加载子服务器机箱板卡编号用于解析具体拼接的通道位置,避免通道串扰;主服务器通过TCP/I P协议对各路子服务器实现指令同步操控,最终实现不低于128个通道数据实时采集与显示。

【技术实现步骤摘要】

本专利技术涉及双光子显微镜数据处理,特别涉及基于rdma的多通道高通量双光子显微镜数据传输方法及系统。


技术介绍

1、在诸多使用荧光标记物的高分辨光学显微成像技术中,双光子成像技术具有天然的层析成像能力、亚微米级别的空间分辨率和毫秒级别的实时性,而且穿透深度可以达到近1毫米,是当前动物在体神经活动信号研究的最佳方法之一。

2、为了实现大视场甚至全脑皮层的实时细胞分辨率成像,需要借助于多通道高通量双光子显微镜,且成像时间分辨率不低于10hz,光学分辨率优于1μm(横向),视野面积不低于60mm2。以0.5μm作为像素大小进行初略计算,单个区域像素为(6mm/0.5μm)12000pi xe l×12000pi xe l=1.4亿个像素,60mm2视野内总共大约有60/36×1.4亿=2.3×108(2.3亿)个像素,若时间分辨率为10hz,则每秒需要扫描2.3×109(23亿)个像素。当前最好的实时双光子显微镜的像素扫描速度,在尽可能大视野的配置条件下约为4*107像素/秒(2048*2048像素@10hz),这与目标的2.3*109像素/秒相差有2个数量级。因此,如何减小双光子服务器在实时处理十亿像素级别数据的运算压力成为亟待解决的问题。

3、针对上述情况,传统的内网传输技术(如tcp、udp)已经不满足当前需求,急需一种能够运用在高速高通量双光子显微镜单神经元解析成像的高吞吐、低延迟的网络通信方案。


技术实现思路

1、为了实现本专利技术的上述目的和其他优点,本专利技术的第一目的是提供基于rdma的多通道高通量双光子显微镜数据传输方法,包括以下步骤:

2、控制多通道高速数据采集卡采集双光子显微镜图像数据;

3、将采集到的原始数据按照通道数进行拆分并进行数据重构;

4、将重构后的数据入数组队列后再转换成一维数组;

5、将所述一维数组与数据id地址信息绑定;

6、同步开启rdma网卡函数,调用rdma连接函数设置子服务器与主服务器的ip地址及端口号;

7、设置传输数据行列信息;

8、在rdma网卡的置入元素结构中,通过设置数据引用节点来传输数据。

9、进一步地,还包括以下步骤:

10、rdma网卡的置入元素结构在传输数据时,锁住引用指向的数据,并动态分配内存,将数据直接远程访问内存的形式传输给接收端的rdma网卡的置入元素结构。

11、进一步地,所述原始数据为一维数组,重构后的数据为二维数组。

12、进一步地,所述将重构后的数据入数组队列后再转换成一维数组包括通过reshape array函数将数据转换成一维数组,并在转换后的一维数组的第一行绑定数据id地址信息。

13、进一步地,所述数据id地址信息包括帧头、子服务器编号、机箱编号、板卡编号、通道编号、帧尾。

14、进一步地,还包括步骤:子服务器通过主服务器的tcp函数设置的端口号实时读取指令信息,当读取到指令后进行字符串解析,并根据解析结果执行对应的操作。

15、本专利技术的第二目的是提供基于rdma的多通道高通量双光子显微镜数据传输方法,包括以下步骤:

16、调用rdma监听函数设置主服务器的ip地址及监听的子服务器的端口号;

17、将主服务器设置为接收监听端,并设置主服务器接收数据大小;

18、设置数据引用节点,循环接收数据;

19、监听每个端口号对应的子服务器传来的数据,并将读取的一维数据进行id地址信息解析;

20、将解析地址信息后的数组转换成二维数组信息并按照对应的队列窗口入队列;

21、将队列引出的二维数组转换成图像;

22、按照拼接位置及地址信息将图像对号入座,并对图像加入红色、绿色、蓝色三种伪彩色进行动态实时显示。

23、进一步地,所述队列按照先入先出规则进行传输数据;

24、所述将队列引出的二维数组转换成图像包括对于队列引出的二维数组通过arrayto image函数将数组转换成图像。

25、进一步地,还包括步骤:通过tcp函数设置主服务器监听的子服务器的ip地址及端口号。

26、进一步地,还包括步骤:将操控子服务器的指令按照字符串形式进行捆绑发送。

27、本专利技术的第三目的是提供基于rdma的多通道高通量双光子显微镜数据传输系统,实现上述的方法,包括若干机箱、若干子服务器、交换机、主服务器,每个机箱挂载若干多通道高速数据采集卡,所述高速数据采集卡用于实现多个通道同步采集双光子显微镜图像数据,每个通道均有地址编码,每个通道的地址编码与数据进行捆绑传输,所述机箱与所述子服务器之间通过高速级联卡通讯连接,所述子服务器与所述主服务器上分别安装有rdma网卡,所述子服务器的rdma网卡与所述主服务器的rdma网卡通过交换机互联,所述主服务器用于分配rdma网卡的ip地址、子服务器的ip地址、rdma端口号及tcp端口号,设置子服务器为发送端及设置主服务器为接收端,所述子服务器将获取的数据通过rdma网卡的置入元素结构进行高速传输,所述主服务器通过交换机获取所述rdma网卡传输的数据并进行地址解析,将解析后的数据按通道编号进行拼接显示,以及通过网卡的tcp/ip协议同时向若干子服务器同步发送指令,所述子服务器接收到指令后对机箱进行操控,并按照指令进行操作。

28、进一步地,所述机箱为pxi机箱,所述高速数据采集卡为pxie采集卡,所述高速级联卡为高速pxie-pcie级联卡。

29、进一步地,所述高速数据采集卡的每个通道的地址编码包括帧头、子服务器编号、机箱编号、板卡编号、通道编号、帧尾。

30、与现有技术相比,本专利技术的有益效果是:

31、本专利技术提供基于rdma的多通道高通量双光子显微镜数据传输方法及系统,主要针对多通道高通量双光子显微镜数据实时传输,在显微镜子服务器与主服务器上分别安装rdma板卡,子服务器与主服务器的rdma板卡通过万兆交换机进行互联,并分配rdma网卡的ip地址,通过labview调用rdma函数设置子服务器为发送端,主服务器为接收端;在各路服务器上利用新数据值引用/置入元素结构(in place element structure)实现数据的远端直接内存访问,无需经过cpu拷贝等操作,大大提升了数据传输效率,同时在每组数据传输前加载子服务器机箱板卡编号用于解析具体拼接的通道位置,避免通道串扰;此外,主服务器通过tcp/ip协议对各路子服务器实现指令同步操控,最终实现不低于128个通道数据实时采集与显示,图像总像素达到2.88×109pixel/s,传输速率达到5.76gb/s。

32、上述说明仅是本专利技术技术方案的概述,为了能够更清楚了解本专利技术的技术手段,并可依照说明书的内容予以实施,以下以本专利技术的较佳实施例并配合附图详细说明如后。本专利技术的具体实施方式由以下实本文档来自技高网...

【技术保护点】

1.基于RDMA的多通道高通量双光子显微镜数据传输方法,其特征在于,包括以下步骤:

2.如权利要求1所述的基于RDMA的多通道高通量双光子显微镜数据传输方法,其特征在于:还包括以下步骤:

3.如权利要求1所述的基于RDMA的多通道高通量双光子显微镜数据传输方法,其特征在于:所述原始数据为一维数组,重构后的数据为二维数组。

4.如权利要求3所述的基于RDMA的多通道高通量双光子显微镜数据传输方法,其特征在于:所述将重构后的数据入数组队列后再转换成一维数组包括通过Reshape Array函数将数据转换成一维数组,并在转换后的一维数组的第一行绑定数据ID地址信息。

5.如权利要求1或4所述的基于RDMA的多通道高通量双光子显微镜数据传输方法,其特征在于:所述数据ID地址信息包括帧头、子服务器编号、机箱编号、板卡编号、通道编号、帧尾。

6.如权利要求1所述的基于RDMA的多通道高通量双光子显微镜数据传输方法,其特征在于,还包括步骤:子服务器通过主服务器的TCP函数设置的端口号实时读取指令信息,当读取到指令后进行字符串解析,并根据解析结果执行对应的操作。

7.基于RDMA的多通道高通量双光子显微镜数据传输方法,其特征在于,包括以下步骤:

8.如权利要求7所述的基于RDMA的多通道高通量双光子显微镜数据传输方法,其特征在于:所述队列按照先入先出规则进行传输数据;

9.如权利要求7所述的基于RDMA的多通道高通量双光子显微镜数据传输方法,其特征在于,还包括步骤:通过TCP函数设置主服务器监听的子服务器的IP地址及端口号。

10.如权利要求9所述的基于RDMA的多通道高通量双光子显微镜数据传输方法,其特征在于,还包括步骤:将操控子服务器的指令按照字符串形式进行捆绑发送。

11.基于RDMA的多通道高通量双光子显微镜数据传输系统,实现如权利要求1~6任一项所述的方法或如权利要求7~10任一项所述的方法,其特征在于:包括若干机箱、若干子服务器、交换机、主服务器,每个机箱挂载若干多通道高速数据采集卡,所述高速数据采集卡用于实现多个通道同步采集双光子显微镜图像数据,每个通道均有地址编码,每个通道的地址编码与数据进行捆绑传输,所述机箱与所述子服务器之间通过高速级联卡通讯连接,所述子服务器与所述主服务器上分别安装有RDMA网卡,所述子服务器的RDMA网卡与所述主服务器的RDMA网卡通过交换机互联,所述主服务器用于分配RDMA网卡的IP地址、子服务器的IP地址、RDMA端口号及TCP端口号,设置子服务器为发送端及设置主服务器为接收端,所述子服务器将获取的数据通过RDMA网卡的置入元素结构进行高速传输,所述主服务器通过交换机获取所述RDMA网卡传输的数据并进行地址解析,将解析后的数据按通道编号进行拼接显示,以及通过网卡的TCP/IP协议同时向若干子服务器同步发送指令,所述子服务器接收到指令后对机箱进行操控,并按照指令进行操作。

12.如权利要求11所述的基于RDMA的多通道高通量双光子显微镜数据传输系统,其特征在于:所述机箱为PXI机箱,所述高速数据采集卡为PXIe采集卡,所述高速级联卡为高速PXIe-PCIe级联卡。

13.如权利要求11所述的基于RDMA的多通道高通量双光子显微镜数据传输系统,其特征在于:所述高速数据采集卡的每个通道的地址编码包括帧头、子服务器编号、机箱编号、板卡编号、通道编号、帧尾。

...

【技术特征摘要】

1.基于rdma的多通道高通量双光子显微镜数据传输方法,其特征在于,包括以下步骤:

2.如权利要求1所述的基于rdma的多通道高通量双光子显微镜数据传输方法,其特征在于:还包括以下步骤:

3.如权利要求1所述的基于rdma的多通道高通量双光子显微镜数据传输方法,其特征在于:所述原始数据为一维数组,重构后的数据为二维数组。

4.如权利要求3所述的基于rdma的多通道高通量双光子显微镜数据传输方法,其特征在于:所述将重构后的数据入数组队列后再转换成一维数组包括通过reshape array函数将数据转换成一维数组,并在转换后的一维数组的第一行绑定数据id地址信息。

5.如权利要求1或4所述的基于rdma的多通道高通量双光子显微镜数据传输方法,其特征在于:所述数据id地址信息包括帧头、子服务器编号、机箱编号、板卡编号、通道编号、帧尾。

6.如权利要求1所述的基于rdma的多通道高通量双光子显微镜数据传输方法,其特征在于,还包括步骤:子服务器通过主服务器的tcp函数设置的端口号实时读取指令信息,当读取到指令后进行字符串解析,并根据解析结果执行对应的操作。

7.基于rdma的多通道高通量双光子显微镜数据传输方法,其特征在于,包括以下步骤:

8.如权利要求7所述的基于rdma的多通道高通量双光子显微镜数据传输方法,其特征在于:所述队列按照先入先出规则进行传输数据;

9.如权利要求7所述的基于rdma的多通道高通量双光子显微镜数据传输方法,其特征在于,还包括步骤:通过tcp函数设置主服务器监听的子服务器的ip地址及端口号。

10.如权利要求9所述的基于rdma的多通道高...

【专利技术属性】
技术研发人员:吕晶贾宏博李敏周镇乔唐玉国陈月岩王艳王斯博
申请(专利权)人:中国科学院苏州生物医学工程技术研究所
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1