【技术实现步骤摘要】
本专利技术涉及金融数据压缩领域，特别是一种用于金融数据压缩的软件。
技术介绍
1、交易所金融行情数据流是实时传输，在很多情况下需要对些数据进行回放，来实现：系统测试、问题复盘、算法回测等等，但对实时行情数据进行保存，其数据量特别巨大，占用大量的磁盘空间。
2、目前的模拟系统源头模拟行情系统无法在确定的时间内真实记录数据的变化过程，常常有数据播放时间点不正确，还有数据丢失的情况发生，记录回放的数据量巨大，记录原始数据是占用行情实时处理时间，导致行情揭示慢。
3、因此，不丢失数据且保证数据量不会过大，保证行情揭示时间准确十分重要。
技术实现思路
1、有鉴于此，本专利技术提供了一种用于金融数据压缩的软件。
2、为实现上述目的，本专利技术提供如下技术方案，一种用于金融数据压缩的软件，包括有，二级传输驱动模块、延时模块以及落盘模块，所述二级传输驱动模块包括有，处理控制、推送分发、控制台、全局、数据模块、交易处理、参数以及通讯功能，所述落盘模块包括有，处理控制、行情记录以及录制数据功能。
3、优选地，所述处理控制与控制台、全局、交易处理、通讯、参数以及数据模块耦接，并将数据推送分发到落盘模块以及传输平台，所述控制台以及全局与传输平台耦接，所述通讯与交易处理、参数以及远程传输平台耦接。
4、优选地，所述推送分发的数据处理控制后进行行情记录并录制数据。
5、优选地，所述二级传输驱动模块上，通过配置加载标志来决定是否加载落盘模块
6、优选地，所述二级传输模块驱动模块中，用户可以根据配置来决定是否加载落盘录制数据模块，落盘模块、延时模块、模拟行情记录模拟都是由配置来决定是否加载。
7、优选地，所述落盘模块中，有一个快照数据，用于记录二级传输推送过来的行情数据，落盘模块根据配置的时间，将快照数据按顺序保存到录制数据文件中，保存记录数据时，数据都沿用交易所原始数据。
8、优选地，还包括有原始行情数据记录以及原始行情数据播放，所述原始行情数据记录，需要将该市场的模拟行情模块下挂到该市场的二级传输之下，通过二级传输的配置来启动模拟行情原始数据记录功能；所述原始行情数据播放，需要挂载模拟行情服务器上，模拟行情模块此时模拟一个二级传输的源，通过播放模拟文件将行情数据发送出去。
9、优选地，本系统存在两种压缩算法，第一种为数据差异化压缩，第二种为对整个内存块的数据进行压缩，所述第二种压缩方式为压缩算法，所述第一种数据差异化压缩分两种方案：按字段进行区分和按字节进行区分：
10、按字段区分：数据结构一个个变量字段来对比哪些字段数据有差异，组成的数据由差异头和差异体组成；
11、差异头：将数据结构按一个个变量字段与差异头中的字节位一一对应，字节位上的1或0来表示后面数据中那些字段有无，第一字节第一位表示第一个字段，第二位表示第二个字段，以此类推，如第一位为0表示第一个字段不存在差异，即与上次的相同，而第二位为1表示差异体中第一个数据为第二个字段的内容，差异头还包含2个字节的下一个差异头的位置，及当前差异头长度；
12、差异体：无差异的字段将不存在，只有与上次数据存在差异的字段才在差异体中存在，其中有无差异，由差异头决定；
13、例子：如有一个结构存在10个变量字段“共30个字节”，其中第三个字段“字段类型：unsigned long”和第五个字段“字段类型：double”存在数据差异，则差异头为2个字节，差异体为12字节，整个差异数据为14个字节。其中差异头中第一个字节第3位和第5位为1其它的都为0；
14、优点：可以知道是那一个字段发生了变化及具体的值应该为多少；
15、缺点：就是必须知道结构中每个字段的数据类型及长度；当有4个字节“unsignedlong”的某字段只有一个字节发生变化时，即需要使用4个字节才能表示；
16、按字节区分：
17、将数据结构按二进制串的一个个字节来对比哪些字节数据有差异，组成的数据由差异头和差异体组成；
18、差异头：将数据结构中的一个个字节映射到差异头中的一个个位上，用位上的1或0表示该字节有无变化，差异头还包含2个字节的下一个差异头的位置和差异头的长度；
19、差异体：无差异的字节将不存在，只有与上次数据存在差异的字节才在差异体中存在，其中有无差异，由差异头决定；
20、例子：如有一个结构存在10个变量字段“共30个字节”，其中第三个字段“字段类型：unsigned long”中有2个字节存在数据差异和第五个字段“字段类型：double”中有2个字节存在数据差异，则差异头为4个字节，差异体为4字节，整个差异数据为8个字节。如果第1、2、4字段为long型，即每个字段4个字节，则差异头中第一个字节全为0，第二字节第1、2位为1，第三字节第1、2位为1，其它的都为0；
21、优点：与用户具体数据及结构无关，通用性高；
22、缺点：差异头比较大，无法区分出是哪个数据发生了变化，且也不知道具体字段的值是多少，且差异头中有些字段全为0的可能性较大。
23、与现有技术相比，本专利技术能模拟出真实行情信息，不会有丢失数据或数据与市场实际不配对问题，所记录下的数据量小，拥有两层压缩机制，模拟行情的速度可快可慢，系统的模块化程度高，方便维护。
本文档来自技高网...【技术保护点】
1.一种用于金融数据压缩的软件,其特征在于，包括有，二级传输驱动模块、延时模块以及落盘模块，所述二级传输驱动模块包括有，处理控制、推送分发、控制台、全局、数据模块、交易处理、参数以及通讯功能，所述落盘模块包括有，处理控制、行情记录以及录制数据功能。
2.根据权利要求1所述的一种用于金融数据压缩的软件，其特征在于，所述处理控制与控制台、全局、交易处理、通讯、参数以及数据模块耦接，并将数据推送分发到落盘模块以及传输平台，所述控制台以及全局与传输平台耦接，所述通讯与交易处理、参数以及远程传输平台耦接。
3.根据权利要求2所述的一种用于金融数据压缩的软件，其特征在于，所述推送分发的数据处理控制后进行行情记录并录制数据。
4.根据权利要求1所述的一种用于金融数据压缩的软件，其特征在于，所述二级传输驱动模块上，通过配置加载标志来决定是否加载落盘模块，且在该配置下还有落盘文件的录制数据文件名以及保存时间间隔。
5.根据权利要求4所述的一种用于金融数据压缩的软件，其特征在于，所述二级传输模块驱动模块中，用户可以根据配置来决定是否加载落盘录制数据模块
6.根据权利要求5所述的一种用于金融数据压缩的软件，其特征在于，所述落盘模块中，有一个快照数据，用于记录二级传输推送过来的行情数据，落盘模块根据配置的时间，将快照数据按顺序保存到录制数据文件中，保存记录数据时，数据都沿用交易所原始数据。
7.根据权利要求1所述的一种用于金融数据压缩的软件，其特征在于，还包括有原始行情数据记录以及原始行情数据播放，所述原始行情数据记录，需要将该市场的模拟行情模块下挂到该市场的二级传输之下，通过二级传输的配置来启动模拟行情原始数据记录功能；所述原始行情数据播放，需要挂载模拟行情服务器上，模拟行情模块此时模拟一个二级传输的源，通过播放模拟文件将行情数据发送出去。
8.根据权利要求1-7任意一项所述的一种用于金融数据压缩的软件，其特征在于，本系统存在两种压缩算法，第一种为数据差异化压缩，第二种为对整个内存块的数据进行压缩，所述第二种压缩方式为压缩算法，所述第一种数据差异化压缩分两种方案：按字段进行区分和按字节进行区分：
...【技术特征摘要】
1.一种用于金融数据压缩的软件,其特征在于，包括有，二级传输驱动模块、延时模块以及落盘模块，所述二级传输驱动模块包括有，处理控制、推送分发、控制台、全局、数据模块、交易处理、参数以及通讯功能，所述落盘模块包括有，处理控制、行情记录以及录制数据功能。
2.根据权利要求1所述的一种用于金融数据压缩的软件，其特征在于，所述处理控制与控制台、全局、交易处理、通讯、参数以及数据模块耦接，并将数据推送分发到落盘模块以及传输平台，所述控制台以及全局与传输平台耦接，所述通讯与交易处理、参数以及远程传输平台耦接。
3.根据权利要求2所述的一种用于金融数据压缩的软件，其特征在于，所述推送分发的数据处理控制后进行行情记录并录制数据。
4.根据权利要求1所述的一种用于金融数据压缩的软件，其特征在于，所述二级传输驱动模块上，通过配置加载标志来决定是否加载落盘模块，且在该配置下还有落盘文件的录制数据文件名以及保存时间间隔。
5.根据权利要求4所述的一种用于金融数据压缩的软件，其特征在于，所述二级传输模块驱动模块中，用户可以根据配置来决定是否加...
【专利技术属性】
技术研发人员：安赵禄，刘青勇，
申请(专利权)人：上海乾隆高科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。