一种多源实时交易行情数据接收与归并处理的方法技术

本发明专利技术属于金融数据处理领域，其具体公开了一种多源实时交易行情数据接收与归并处理的方法，包括由多个可配置可组合的单一功能的节点构成的处理系统，该处理系统是将行情数据的每个处理步骤抽象为独立节点，每个节点负责一种类型的数据处理任务，一个节点可以从一个或者多个前序节点获取数据并进行处理，处理完成后再将数据传递给它的一个或者多个后继节点继续进行处理；本发明专利技术将行情数据的处理步骤划分成独立的节点，通过将相关节点级联起来协作完成行情数据的接收、格式转换、数据合并的功能，这些处理节点可以根据不同的数据处理需求进行灵活配置，通过增加或者组合现有的处理节点就可以支持接入新的行情源。

【技术实现步骤摘要】
一种多源实时交易行情数据接收与归并处理的方法
本专利技术涉及金融数据处理领域，具体涉及一种多源实时交易行情数据接收与归并处理的方法。
技术介绍
程序化交易系统对所接入的实时行情数据的低延时和高稳定性一般都有比较高的要求，在实际实施过程中往往有多个实时行情数据源可选，这些不同渠道提供的行情源的延时情况不尽相同，而且可能会随时间发生变化，某段时间A渠道的更快，而在另外的时段可能B渠道的更快，所以无法事先决定采用那一个渠道的行情源会带来更低的延时，更快的实时行情数据对较高频的程序化交易非常重要；另外，单个的实时行情数据源它的稳定性也是有限的，无法保证100％的时间都可用。基于上述原因，程序化交易系统中有同时接入多个渠道行情源的需求，多个实时行情数据源既可以构成多备份，提高实时行情数据的高可用性，另外结合多路行情源，如果任何时刻都能从中选取出最快的行情数据，那么对于交易系统来说在低延时上也是很大的提高。需要交易多品种的程序化交易系统往往还需要同时接入多个品种的行情，而单一行情源可能无法同时提供多个品种的行情数据，所以也需要能从多个渠道接入不同交易品种的实时行情数据。
技术实现思路
本专利技术所要解决的技术问题是提供一种多源实时交易行情数据接收与归并处理的方法，支持同时接收多个实时行情源的数据，这些实时行情源的数据之间既可以存在交集，比如同时都包含某些市场某些合约的行情，也可以不存在交集，对从多个实时行情源接收的实时行情数据进行实时检测，如果存在有交集的数据则对数据进行归并处理，只将最先接收到的数据向后推送，后续达到且与先前数据重复的行情数据需要过滤掉。当某一路行情源接收中断时，只要其包含的行情数据在系统的其他行情源中存在，行情接收系统可以不中断的继续提供该部分的行情数据，行情系统同时提供数据格式转换功能，将从不同行情源接收到的异构数据转换为行情接收系统中定义的格式，方便行情数据的使用。。本专利技术是通过以下技术方案来实现的：一种多源实时交易行情数据接收与归并处理的方法，包括由多个可配置可组合的单一功能的节点构成的处理系统，该处理系统是将行情数据的每个处理步骤抽象为独立节点，每个节点负责一种类型的数据处理任务，一个节点可以从一个或者多个前序节点获取数据并进行处理，处理完成后再将数据传递给它的一个或者多个后继节点继续进行处理；该处理系统具体包括：数据接收节点：该类节点没有前序节点，它们负责特定数据源的接收任务，然后将接收到的数据打上本地时间戳标记以及具体数据类型的标记，然后将加工后的数据传递给它的后继节点；数据重建节点：该类节点在收到前序数据接收节点的数据后，按照数据上的类型标记对特定数据源的数据进行格式转换，转换为行情系统内部统一的格式然后向后继节点传递；数据合并节点：该节点从多个数据重建节点接收数据，这几路行情数据中可能同时包含某些相同市场和合约的数据，在该节点处需要检测这种情况并进行处理，保证不会向后推送重复的数据，同时可以在包含重叠数据的多路数据流中选取出最先到达的，也就是延时最小的数据进行推送；数据监测节点：负责将接收到的实时行情数据进行输出和显示；数据采集节点：负责将接收到的实时行情数据保存到本地磁盘，作为历史行情数据进行归档存储。作为优选的技术方案，数据合并节点的具体处理方法如下：一、节点收到一帧实时行情数据后，从中提取出该帧行情数据所属的合约信息，然后与该合约在该节点已经推送过的上一帧行情数据进行比较；二、根据新旧两帧数据上的成交量变化判断新收到的行情数据是否体现了更新的市场行情变化；三、如果判断为成交量增加则允许该帧行情数据向后推送，反之，丢弃该帧数据；四、如果成交量相同，再对两帧行情数据中的订单簿信息进行比较，如果订单簿有变化则认为行情已经改变，也允许新的一帧行情数据通过，反之，丢弃该帧数据；五、如果订单簿没有变化，则判断新旧两帧数据的接收时间差是否大于设定的阈值，如果大于阈值也允许该帧行情数据通过；六、通过上面步骤的处理，可以过滤掉重复的行情，同时也能让最新的行情可以通过。本专利技术的有益效果是：一、本专利技术将行情数据的处理步骤划分成独立的节点，通过将相关节点级联起来协作完成行情数据的接收、格式转换、数据合并的功能，这些处理节点可以根据不同的数据处理需求进行灵活配置，通过增加或者组合现有的处理节点就可以支持接入新的行情源。二、从多个行情源同步接收行情数据并进行数据帧的归并降低了数据的整体延时，在单个行情源中断时由于存在行情归并的处理，系统的行情不会中断，提高了实时行情数据的稳定性健壮性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术的基于可配置节点的数据处理流程图；图2为本专利技术的多源行情数据接收处理系统结构图；图3为本专利技术的数据归并处理流程图。具体实施方式本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。如图1和图2所示，包括由多个可配置可组合的单一功能的节点构成的处理系统，该处理系统是将行情数据的每个处理步骤抽象为独立节点，每个节点负责一种类型的数据处理任务，一个节点可以从一个或者多个前序节点获取数据并进行处理，处理完成后再将数据传递给它的一个或者多个后继节点继续进行处理；该处理系统具体包括：数据接收节点：该类节点没有前序节点，它们负责特定数据源的接收任务，然后将接收到的数据打上本地时间戳标记以及具体数据类型的标记，然后将加工后的数据传递给它的后继节点；数据重建节点：该类节点在收到前序数据接收节点的数据后，按照数据上的类型标记对特定数据源的数据进行格式转换，转换为行情系统内部统一的格式然后向后继节点传递；数据合并节点：该节点从多个数据重建节点接收数据，这几路行情数据中可能同时包含某些相同市场和合约的数据，在该节点处需要检测这种情况并进行处理，保证不会向后推送重复的数据，同时可以在包含重叠数据的多路数据流中选取出最先到达的，也就是延时最小的数据进行推送；数据监测节点：负责将接收到的实时行情数据进行输出和显示；数据采集节点：负责将接收到的实时行情数据保存到本地磁盘，作为历史行情数据进行归档存储。如图3所示，数据合并节点的具体处理方法如下：一、节点收到一帧实时行情数据后，从中提取出该帧行情数据所属的合约信息，然后与该合约在该节点已经推送过的上一帧行情数据进行比较；二、根据新旧两帧数据上的成交量变化判断新收到的行情数据是否体现了更新的市场行情变化；三、如果判断为成交量增加则允许该帧行情数据向后推送，反之，丢弃该帧数据；四、如果成交量相同，再对两帧行情数据中的订单簿信息进行比较，如果订单簿有变化则认为行情已经改变，也允许新的一帧行情数据通过，反之，丢弃该帧数据；五、如果订单簿没有变化，则判断新旧两帧数据的接收时间差是否大于设定的阈本文档来自技高网...

【技术保护点】
1.一种多源实时交易行情数据接收与归并处理的方法，其特征在于：包括由多个可配置可组合的单一功能的节点构成的处理系统，该处理系统是将行情数据的每个处理步骤抽象为独立节点，每个节点负责一种类型的数据处理任务，一个节点可以从一个或者多个前序节点获取数据并进行处理，处理完成后再将数据传递给它的一个或者多个后继节点继续进行处理；该处理系统具体包括：数据接收节点：该类节点没有前序节点，它们负责特定数据源的接收任务，然后将接收到的数据打上本地时间戳标记以及具体数据类型的标记，然后将加工后的数据传递给它的后继节点；数据重建节点：该类节点在收到前序数据接收节点的数据后，按照数据上的类型标记对特定数据源的数据进行格式转换，转换为行情系统内部统一的格式然后向后继节点传递；数据合并节点：该节点从多个数据重建节点接收数据，这几路行情数据中可能同时包含某些相同市场和合约的数据，在该节点处需要检测这种情况并进行处理，保证不会向后推送重复的数据，同时可以在包含重叠数据的多路数据流中选取出最先到达的，也就是延时最小的数据进行推送；数据监测节点：负责将接收到的实时行情数据进行输出和显示；数据采集节点：负责将接收到的实时行情数据保存到本地磁盘，作为历史行情数据进行归档存储。...

【技术特征摘要】
1.一种多源实时交易行情数据接收与归并处理的方法，其特征在于：包括由多个可配置可组合的单一功能的节点构成的处理系统，该处理系统是将行情数据的每个处理步骤抽象为独立节点，每个节点负责一种类型的数据处理任务，一个节点可以从一个或者多个前序节点获取数据并进行处理，处理完成后再将数据传递给它的一个或者多个后继节点继续进行处理；该处理系统具体包括：数据接收节点：该类节点没有前序节点，它们负责特定数据源的接收任务，然后将接收到的数据打上本地时间戳标记以及具体数据类型的标记，然后将加工后的数据传递给它的后继节点；数据重建节点：该类节点在收到前序数据接收节点的数据后，按照数据上的类型标记对特定数据源的数据进行格式转换，转换为行情系统内部统一的格式然后向后继节点传递；数据合并节点：该节点从多个数据重建节点接收数据，这几路行情数据中可能同时包含某些相同市场和合约的数据，在该节点处需要检测这种情况并进行处理，保证不会向后推送重复的数据，同时可以在包含重叠数据的多路数据流中选取出最先到达的，也就是...

【专利技术属性】
技术研发人员：黄国柱，周明山，金成勋，
申请(专利权)人：深圳市深弈科技有限公司，
类型：发明
国别省市：广东,44