一种基于制造技术

本发明专利技术提供一种基于

【技术实现步骤摘要】
一种基于FPGA低延时金融大数据流的解压方法


[0001]本专利技术涉及证券行业行情数据解析加速领域，具体涉及一种基于
FPGA
低延时金融大数据流的解压方法
。

技术介绍

[0002]FPGA
，是
Field Programmable Gate Array
的简称，中文名称为现场可编程门阵列，是一种可编程器件，是在
PAL
（可编程逻辑阵列）
、GAL
（通用阵列逻辑）
、CPLD
（复杂可编程逻辑器件）等传统逻辑电路和门阵列的基础上发展起来的一种半定制电路，既解决了半定制电路的不足，又克服了原有可编程器件门电路数有限的缺点，其计算存储
、
算法加速和低延时传输等方面的独特优势在金融领域有着深入的技术应用价值
。
[0003]目前在金融证券行业，行情数据在传输过程中为了保证传输速率，都进行了一定的压缩
。
行情数据都具有速率高，吞吐量大，颗粒大的特点
。
使得行情系统接收系统既要保证传输速率，也要保证解压速率，解决解压压力大的问题
。
同时，
CPU
相对固定的处理模式，无法提供底层更细颗粒度的操作调度，所以高吞吐量的行情数据的解压缩延时较高，对
CPU
的负载占用较大，是现用行情系统传输速率的短板所在
。

技术实现思路

[0004]本专利技术要解决的技术问题是提供一种基于
FPGA
低延时金融大数据流的解压方法，实现了对来自网络的行情数据流的硬件解压缩，采用有针对性的霍夫曼表数据结结构，序列检测器和三级解压缩流水，降低数据流对于解压模块流数据的解压压力
。
[0005]为解决上述技术问题，本专利技术的实施例提供一种基于
FPGA
低延时金融大数据流的解压方法，包括如下步骤：
S1、16bits
‑
AXIS
数据流经由接收模块进行协议上的转换，将
AXIS
总线上的信号综合到一条信号线上，得到压缩行情数据；
S2、
调用头部解析模块对到来的压缩行情数据进行元数据解析，包括一级头部数据解析和尾部数据解析，然后进行头部信息整合，生成
128
‑
bit
的元数据；若压缩行情数据的压缩标志为0，则该压缩行情数据为非压缩数据，将元数据和非压缩数据流一同发往发送模块；
S3、
解压模块接收压缩标志为1的压缩行情数据，通过
ZIP
模式识别压缩行情数据的头部信息，然后根据解压模式生成相应的数组码表，采用
16
‑
bits
的序列匹配器进行数组码表的解码；
S4、
解压模式将数据解码分为三级：一级数据解码将压缩行情数据的数据进行转换；二级数据解码将
COPY
操作与数据流解耦；三级数据解码进行数据解析，进行相应的
COPY
操作和补零操作；
S5、
经由上采样模块，将压缩行情数据流中的操作数丢弃，并将到来的数据补齐到
64bits
防止数据阻塞；最后经过发送模块转换成
AXIS
总线协议，实现与下游模块的握手和
协议一致
。
[0006]其中，步骤
S2
中，一级头部数据解析和尾部数据解析获得头部和尾部的关键信息，包括压缩标志
、
序列号
、
压缩后长度和产品类别
。
[0007]其中，步骤
S3
中，数组码表的存储数据结构以数组形式存储
。
[0008]其中，步骤
S4
中，一级数据解码将压缩行情数据的数据转换成对应的
literal
结果；二级数据解码将
COPY
操作与数据流解耦，将操作指示从数据流中剥离出来；三级数据解码进行数据解析，同时将解析的数据存入
FPGA
上的
BRAM
，在接收到操作数指示时，寻址对应的地址进行相应的
COPY
操作和补零操作
。
[0009]优选的，步骤
S3
中的数组码表为霍夫曼码表
。
[0010]本专利技术还提供一种基于
FPGA
低延时金融大数据流的解压系统，包括：接收模块：用于
16bits
‑
AXIS
数据流在协议上的转换，得到压缩行情数据；头部解析模块：将压缩行情数据进行元数据解析得到元数据；解压模块：将到来的压缩行情数据分三级流水进行解压，得到原始的行情数据；发送模块：用于
64bits
‑
AXIS
数据流在协议上的转换，实现与下游模块的握手和协议一致本专利技术的上述技术方案的有益效果如下：本专利技术提供一种基于
FPGA
低延时金融大数据流的解压方法，采用
XILINX
‑ꢀ
Alveo U
系列的
FPGA
硬件加速卡；结合
Verilog
硬件描述语言与
HLS
硬件描述语言实现，在
FPGA
加速卡上开发了低延时行情数据解压，对高吞吐的行情数据的解析和缓存过程进行一定的优化
。
设计了针对高吞吐压缩行情数据的数组码表数据结构和三级解析流水线，降低
CPU
负载，从而提高了对大颗粒低延时行情数据的硬件解压的速率
。
附图说明
[0011]图1为本专利技术的架构图
。
具体实施方式
[0012]为使本专利技术要解决的技术问题
、
技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述
。
[0013]如图1所示，本专利技术提供一种基于
FPGA
低延时金融大数据流的解压方法，包括如下步骤：
S1、16bits
‑
AXIS
数据流先经过接收模块进行协议上的转换，将
AXIS
总线上的
STRB
，
READY
，
VALID
和
LAST
信号综合到一条信号线上，得到压缩行情数据，减少对
AXIS
信号的交互操作，保证下游模块的协议一致性
。
[0014]S2、
调用头部解析模块对到来的压缩行情数据进行元数据解析，包括一级头部数据解析和尾部数据解析，获取头部和尾部的关键信息，比如压缩标志
、
序列号
、
压缩后长度和产品类别等等
。
并进行头部信息整合，生成
128
‑
bit
的元数据，等待和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于
FPGA
低延时金融大数据流的解压方法，其特征在于，包括如下步骤：
S1、16bits
‑
AXIS
数据流经由接收模块进行协议上的转换，将
AXIS
总线上的信号综合到一条信号线上，得到压缩行情数据；
S2、
调用头部解析模块对到来的压缩行情数据进行元数据解析，包括一级头部数据解析和尾部数据解析，然后进行头部信息整合，生成
128
‑
bit
的元数据；若压缩行情数据的压缩标志为0，则该压缩行情数据为非压缩数据，将元数据和非压缩数据流一同发往发送模块；
S3、
解压模块接收压缩标志为1的压缩行情数据，通过
ZIP
模式识别压缩行情数据的头部信息，然后根据解压模式生成相应的数组码表，采用
16
‑
bits
的序列匹配器进行数组码表的解码；
S4、
解压模式将数据解码分为三级：一级数据解码将压缩行情数据的数据进行转换；二级数据解码将
COPY
操作与数据流解耦；三级数据解码进行数据解析，进行相应的
COPY
操作和补零操作；
S5、
经由上采样模块，将压缩行情数据流中的操作数丢弃，并将到来的数据补齐到
64bits
防止数据阻塞；最后经过发送模块转换成
AXIS
总线协议，实现与下游模块的握手和协议一致
。2.
根据权利要求1所述的基于
FPGA
低延时金融大数据流的解压方法，其特征在于，步骤
S2
中，一级头部数据解析和尾部数据解析获得头...

【专利技术属性】
技术研发人员：崔建军，高伟峻，王洪旺，朱清文，李斌，房俊，
申请(专利权)人：上海特高信息技术有限公司，
类型：发明
国别省市：