一种基于FPGA的高速连续数据流存储处理装置及方法制造方法及图纸

本发明专利技术公开了一种基于FPGA的高速连续数据流存储处理装置及方法，属于数据流存储处理领域。本方法面对多路并行高速数据，可完成并行数据流三级组帧，组帧后的数据可按照文件，数据段，数据块三种大小完成数据搜索；本方法采用FPGA全并行方案组帧数据流，完成数据流处理过程；本方法针对组帧后的高速数据流，提出了高速传输口数据传输控制方案，通过数据流组帧缓存端和数据存储端之间的交互控制，完成在线切换数据存储板，并保证数据存储处理连续。并保证数据存储处理连续。并保证数据存储处理连续。

【技术实现步骤摘要】
一种基于FPGA的高速连续数据流存储处理装置及方法


[0001]本专利技术属于数据流存储处理领域，具体涉及一种基于FPGA的高速连续数据流存储处理装置及方法。

技术介绍

[0002]现有的基于FPGA实现的数据流组帧方法，利用原始数据和GPS模块内的时间信息结合秒脉冲完成组帧，数据流内含有原始数据和时间信息，组帧模式为单级组帧模式。数据流内含有的附加信息有限，采用单级模式组帧数据流，无法对数据进行灵活搜索，数据查询效率低。采用DDR缓存数据，最终将数据存储到硬盘中，当需要扩展系统存储空间而在系统中搭载多个存储模块时，往往缺乏有效的控制机制，以保证切换存储模块的过程中数据可以高速连续存储。
[0003]高速连续数据流存储处理是数据存储处理领域的一项关键技术。
[0004]随着通信技术的飞速发展，需要获取、处理更高采样率的数据，瞬时数据处理速率需要匹配每秒数十Gb的处理速度。如何完成高速并行数据的数据流组帧保证后续数据搜索的灵活性，并将高速数据流连续存储下来成为数据处理业务领域的重要课题。面对多路并行的高速数据，为了提高后续数据搜索的灵活性和高效性，亟需优化数据流组帧，以满足数据块灵活检索的需求。并且，为了存储高速连续数据，需要设计可靠的数据存储处理方案，保证数据可靠地连续存储到存储模块中。
[0005]现有技术，基于FPGA的数据流组帧原理如图1所示，基于FPGA算法从GPS模块等时间系统中获得时间信息，利用秒脉冲进行时间同步，获得整秒时间信息，然后利用系统时钟生成小数秒时间信息。结合原始数据和时间数据，按图1中的组帧格式，生成数据流。此方案生成的数据流进行解析，在帧头中可以解析出时间信息，该帧头后可解析出该对应时刻采集到的数据流第一个数据点及后续数据。
[0006]组帧生成后的数据写入存储模块完成数据存储，为了适配存储模块变化的数据写入速率，需要将数据流写入DDR模块中进行缓存。最后，数据从DDR模块中缓存，写入数据存储模块中，完成数据存储。
[0007]现有技术，采用单级模式完成数据流组帧，在后续数据查询过程中，搜索感兴趣数据的方式单一，效率低。同时，数据流中缺少采样率，校准信息等与采集通道相关的参数信息，数据后续处理过程中可分析信息有限。数据连续存储时，面对多个存储模块存储数据时缺乏实时性好的控制方案，控制在线切换存储单元的过程中数据存储的连续性。
[0008]本专利技术提出了一种多级数据流组帧方案，采用三级数据(文件、数据段、数据块)组帧数据流，文件、数据段头、数据块头内含有丰富的头信息，数据可分析性好，可以灵活地按照多种长度进行数据搜索，提高数据查询效率；采用全并行的FPGA方法完成数据流组帧和数据存储处理，实时性高，速度快；针对高速数据存储处理，设计了高速数据连续存储处理控制方案，可方便的实现在线切换存储模块，保证存储模块切换过程中数据的连续。

技术实现思路

[0009]针对现有技术中存在的上述技术问题，本专利技术提出了一种基于FPGA的高速连续数据流存储处理装置及方法，设计合理，克服了现有技术的不足，具有良好的效果。
[0010]为了实现上述目的，本专利技术采用如下技术方案：
[0011]一种基于FPGA的高速连续数据流存储处理装置，包括FPGA、DDR数据缓存模块、高速传输口以及四块数据存储板；
[0012]FPGA，被配置为用于完成数据流组帧和高速口数据传输控制算法；
[0013]DDR数据缓存模块，被配置为用于完成高速数据缓存以适配存储板变化的数据存储速度；
[0014]高速传输口，包括Aurora1、Aurora2、Aurora3、Aurora4，被配置为用于实现数据流从数据流组帧端向数据流存储端的高速传输；
[0015]数据存储板，被配置为用于完成数据流存储。
[0016]此外，本专利技术还提到一种基于FPGA的高速连续数据流存储处理方法，该方法采用如权利要求1所述的一种基于FPGA的高速连续数据流存储处理装置，包括如下步骤：
[0017]步骤1：数据流三级组帧；
[0018]步骤2：数据缓存；
[0019]步骤3：AURORA数据高速连续存储处理。
[0020]优选地，在步骤1中，首先利用文件头、数据段头、数据块头及多路并行数据按照预设的文件格式，进行数据流组帧；数据流按照三级——文件、数据段和数据块进行组帧；数据流由多个文件组成；单个文件包含文件头数据和文件数据；文件数据又由M个数据段组成，单个数据段包含数据段头和数据段数据两部分；单个数据段数据又由N个数据块组成，单个数据块包含数据块头和数据块数据两部分；数据块又由Q个数据组成；
[0021]设定单个文件中数据段个数为M，单个数据段中数据块个数为N，单个数据块中数据个数为Q，开始组帧以后，利用FPGA算法解析出时间数据和地理信息数据，并将采集通道参数数据寄存，并将此时刻开始的数据依次缓存进256位宽的FIFO中，按照文件头的格式组帧文件头，填充位置填充希望存入的数据，补位位置用来补充数据，统一填充为全1，补充后的文件头数据位数为256的整数倍，这里暂定为256，1个周期传输；然后，生成数据段头，数据段头的填充位置填充希望存入的数据，补位位置用来补充数据，统一填充为全1，补充后的数据段头数据位数为256的整数倍，这里暂定为512，分2个时钟周期传输；接着，生成数据块头，数据块头有效标志为其核心数据，标志该数据处于稳定采样期间，具有可使用性。数据块头的填充位置填充希望存入的数据，补位位置用来补充数据，统一填充为全1，补充后的数据块头数据位数为256的整数倍，这里暂定为256，1个周期传输；最后从缓存FIFO中读出256位并行数据，组帧数据块，完成后数据块个数加1；当数据块组帧个数未达到N，继续组帧数据块头、组帧数据块，直到完成单个数据段组帧，完成时数据段个数加1；然后循环组帧数据段的过程；当数据段组帧个数未达到M，继续组帧数据段头、组帧数据段，直到完成文件中全部数据段组帧，完成文件个数加1；然后开始下一个文件的组帧。
[0022]优选地，在步骤1中，数据流组帧采用三级结构，通过搜索文件头、数据段头、数据块头能够完成分级搜索；通过搜索文件头中的文件类型数据，即实现文件级的数据搜索，文件ID标识不同的文件；通过搜索数据段头中数据段头类型，即实现数据段级的数据搜索，数
据段头ID标识文件中不同的数据段；在同一个数据段中，通过搜索数据段头中的数据块ID数据，即能够区分该数据段内中不同的数据块；基于此原理，能够在文件、数据段和数据块三个级别上完成数据查询。
[0023]优选地，在步骤2中，组帧完成的数据流采用双DDR4缓存。
[0024]优选地，在步骤3中，数据流通过AURORA数据传输控制模块控制选通，然后分别通过高速传输口Aurora1、Aurora2、Aurora3、Aurora4传输到数据存储板完成数据存储。
[0025]优选地，在步骤3中，AURORA数据传输控制模块与数据存储板之间通过信号线交互信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于FPGA的高速连续数据流存储处理装置，其特征在于：包括FPGA、DDR数据缓存模块、高速传输口以及四块数据存储板；FPGA，被配置为用于完成数据流组帧和高速口数据传输控制算法；DDR数据缓存模块，被配置为用于完成高速数据缓存以适配存储板变化的数据存储速度；高速传输口，包括Aurora1、Aurora2、Aurora3、Aurora4，被配置为用于实现数据流从数据流组帧端向数据流存储端的高速传输；数据存储板，被配置为用于完成数据流存储。2.一种基于FPGA的高速连续数据流存储处理方法，其特征在于：采用如权利要求1所述的一种基于FPGA的高速连续数据流存储处理装置，包括如下步骤：步骤1：数据流三级组帧；步骤2：数据缓存；步骤3：AURORA数据高速连续存储处理。3.根据权利要求2所述的基于FPGA的高速连续数据流存储处理方法，其特征在于：在步骤1中，首先利用文件头、数据段头、数据块头及多路并行数据按照预设的文件格式，进行数据流组帧；数据流按照三级——文件、数据段和数据块进行组帧；数据流由多个文件组成；单个文件包含文件头数据和文件数据；文件数据又由M个数据段组成，单个数据段包含数据段头和数据段数据两部分；单个数据段数据又由N个数据块组成，单个数据块包含数据块头和数据块数据两部分；数据块又由Q个数据组成；设定单个文件中数据段个数为M，单个数据段中数据块个数为N，单个数据块中数据个数为Q，开始组帧以后，利用FPGA算法解析出时间数据和地理信息数据，并将采集通道参数数据寄存，并将此时刻开始的数据依次缓存进256位宽的FIFO中，按照文件头的格式组帧文件头，填充位置填充希望存入的数据，补位位置用来补充数据，统一填充为全1，补充后的文件头数据位数为256的整数倍，这里暂定为256，1个周期传输；然后，生成数据段头，数据段头的填充位置填充希望存入的数据，补位位置用来补充数据，统一填充为全1，补充后的数据段头数据位数为256的整数倍，这里暂定为512，分2个时钟周期传输；接着，生成数据块头，数据块头有效标志为其核心数据，标志该数据处于稳定采样期间，具有可使用性；数据块头的填充位置填充希望存入的数据，补位位置用来补充数据，统一填充为全1，补充后的数据块头数据位数为256的整数倍，这里暂定为256，1个周期传输；最后从缓存FIFO中读出256位并行数据，组帧数据块，完成后数据块个数加1；当数据块组帧个数未达到N，继续组帧数据块头、组帧数据块...

【专利技术属性】
技术研发人员：赵金龙，顾军，李晓慧，徐健，邵华君，蒋国庆，成华强，
申请(专利权)人：中电科思仪科技股份有限公司，
类型：发明
国别省市：