一种用于行情实时网络传输的行情数据压缩方法技术

本发明专利技术涉及一种用于行情实时网络传输的行情数据压缩方法，包括以下步骤：确定每笔行情二进制数据大小

【技术实现步骤摘要】
一种用于行情实时网络传输的行情数据压缩方法


[0001]本专利技术涉及数据处理
，尤其是涉及一种用于行情实时网络传输的行情数据压缩方法
。

技术介绍

[0002]随着金融市场自动化交易用户专业化程度不断提高，股票
/
期货交易对性能的要求也越来越高
。
自动化交易程序对从行情到交易的耗时十分敏感，更低的耗时往往会在市场上产生更多的盈利机会
。
目前的全部耗时阶段可分为3个部分：
[0003]一
、
从交易所发行情到自动化交易程序接收到行情；
[0004]二
、
自动化交易程序内部各类运算；
[0005]三
、
自动化程序将交易指令提交到交易所
。
[0006]其中行情通常要经过网络进行传输，占了较大的比重，因此对行情传输耗时进行优化的意义重大
。
行情传输的优化主要分为硬件和软件方面，硬件上通常使用低延迟网卡
、
万兆网络等；软件上则可通过软件
Kernel By Pass、Cache Friendly
等技术来降低数据包从网卡到操作系统间的耗时
。
此外，当前行情传输主要的几种方法如下：
[0007]1、
二进制数据直接传输
[0008]大多数自动化交易程序使用自定义的行情格式，直接使用二进制格式进行传输
。
优点是对底层程序友好，发送和接收时无任何附加逻辑，编解码耗时为0；缺点是数据量较大，有可能因为较大的带宽产生拥堵或丢包
。
[0009]2、
文本形式传输
[0010]将行情数据以文本形式传输，优点是数据可读，易于抓包解析，耦合较低；缺点是行情数据与文本间的转换增加了额外的耗时，性能差于二进制数据直接传输
。
[0011]3、Protobuf
协议传输
[0012]基于二进制数据直接传输方法，将二进制数据使用
Protobuf
协议进行编码，该编码根据每个字段的类型进行数据压缩
。
优点是对传输的数据有一定的压缩降，且压缩
/
解压的耗时比文本形式提升较大
、
不同开发语言都有第三方库
、
数据内容扩展方便；缺点是语法复杂
、
压缩率不高
、
压缩
/
解压耗时较大
。
[0013]4、FastFIX
协议传输
[0014]FastFIX
与
Protobuf
类似，但其针对金融数据特点进行了编解码优化，优点是支持标准化的
FIX
协议
、
针对金融数据进行优化；缺点是当前应用较少，
FIX
支持标准化的意义不大
、
压缩率较低
、
压缩
/
解压耗时较大
、
代码耦合度可维护性较差
。

技术实现思路

[0015]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种用于行情实时网络传输的行情数据压缩方法，能够有效提高压缩率
、
降低压缩
/
解压带来的性能开销
。
[0016]本专利技术的目的可以通过以下技术方案来实现：一种用于行情实时网络传输的行情
数据压缩方法，包括以下步骤：
[0017]S1、
确定每笔行情二进制数据大小
X
字节以及最差容忍行情错误关联行情个数
N
；
[0018]S2、
分别统计得到每
D
字节数据包网络传输耗时表
、
每
Y
笔行情压缩性能表；
[0019]S3、
根据每
D
字节数据包网络传输耗时表
、
每
Y
笔行情压缩性能表，确定是否对行情进行压缩，若判断为是，则执行步骤
S4
，否则执行步骤
S5
；
[0020]S4、
进一步根据每
D
字节数据包网络传输耗时表
、
每
Y
笔行情压缩性能表，确定出
Y
的最优值
Ym
，之后针对每
Ym
笔行情进行压缩处理后再传输；
[0021]S5、
直接传输二进制行情
。
[0022]进一步地，所述步骤
S2
中，
1≤Y≤N。
[0023]进一步地，所述步骤
S2
中每
D
字节数据包网络传输耗时表具体包括不同字节对应的网络传输耗时数据
。
[0024]进一步地，所述步骤
S2
中每
Y
笔行情压缩性能表具体包括不同行情笔数对应的压缩率和平均每笔耗时数据
。
[0025]进一步地，所述步骤
S3
具体包括以下步骤：
[0026]S31、
查表获取压缩
X
字节数据包对应的网络传输耗时
Ttrans[X]；
[0027]S32、
计算
Y
＝
i
时的压缩后数据大小
S[i]；
[0028]S33、
查表获取压缩后
S[i]字节数据包对应的网络传输耗时
Ttrans[i]；
[0029]S34、
查表获取
Y
＝
i
时平均每笔耗时
Tcomp[i]；
[0030]S35、
结合
Ttrans[X]、Ttrans[i]和
Tcomp[i]，判断是否满足第一预设条件，若判断为是，则确定对行情进行压缩，否则不对行情进行压缩
。
[0031]进一步地，所述步骤
S32
中计算
S[i]的公式为：
[0032]S[i]＝
X*R[i][0033]其中，
R[i]为
Y
＝
i
时对应的压缩率
。
[0034]进一步地，所述步骤
S35
中第一预设条件具体为：
[0035]Ttrans[X]>Ttrans[i]+Tcomp[i]。
[0036]进一步地，所述步骤
S4
具体包括以下步骤：
[0037]S41、
计算
Y
＝
i
时的压缩后数据大小
S[i]；
[0038]S42、
查表获取压缩后
S[i]字节数据包网络传输耗时
Ttrans[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种用于行情实时网络传输的行情数据压缩方法，其特征在于，包括以下步骤：
S1、
确定每笔行情二进制数据大小
X
字节以及最差容忍行情错误关联行情个数
N
；
S2、
分别统计得到每
D
字节数据包网络传输耗时表
、
每
Y
笔行情压缩性能表；
S3、
根据每
D
字节数据包网络传输耗时表
、
每
Y
笔行情压缩性能表，确定是否对行情进行压缩，若判断为是，则执行步骤
S4
，否则执行步骤
S5
；
S4、
进一步根据每
D
字节数据包网络传输耗时表
、
每
Y
笔行情压缩性能表，确定出
Y
的最优值
Ym
，之后针对每
Ym
笔行情进行压缩处理后再传输；
S5、
直接传输二进制行情
。2.
根据权利要求1所述的一种用于行情实时网络传输的行情数据压缩方法，其特征在于，所述步骤
S2
中，
1≤Y≤N。3.
根据权利要求1所述的一种用于行情实时网络传输的行情数据压缩方法，其特征在于，所述步骤
S2
中每
D
字节数据包网络传输耗时表具体包括不同字节对应的网络传输耗时数据
。4.
根据权利要求3所述的一种用于行情实时网络传输的行情数据压缩方法，其特征在于，所述步骤
S2
中每
Y
笔行情压缩性能表具体包括不同行情笔数对应的压缩率和平均每笔耗时数据
。5.
根据权利要求4所述的一种用于行情实时网络传输的行情数据压缩方法，其特征在于，所述步骤
S3
具体包括以下步骤：
S31、
查表获取压缩
X
字节数据包对应的网络传输耗时
Ttrans[X]
；
S32、
计算
Y
＝
i
时的压缩后数据大小
S[i]
；
S33、
查表获取压缩后
S[i]
字节数据包对应的网络传输耗时
Ttrans[i]
；
S34、
查表获取
Y
...

【专利技术属性】
技术研发人员：朱文龙，
申请(专利权)人：上海源慎科技有限公司，
类型：发明
国别省市：