针对多源实时行情数据实现高可用接收及处理的系统技术方案

本发明专利技术涉及一种针对多源实时行情数据实现高可用接收及处理的系统，包括数据接收适配模块对接多路行情数据，将行情数据转换为统一格式；数据中转模块将数据维护至多个主题中；业务服务模块根据需要对各类业务数据进行计算处理及提供相应API；数据存储模块缓存和持久化数据；数据访问模块为客户端提供数据访问服务。采用了本发明专利技术的针对多源实时行情数据实现高可用接收及处理的系统，通过多个接收节点间的协作实现数据接收环节的热备和故障自动切换，保障多路数据源的高可用接收；充分利用Pulsar作为数据中转，将数据处理划分为多个相对独立的模块，架构灵活，扩展方便；通过Pulsar可靠传输到远端云机机房，支持轻量化部署，具有高可用、高性能、易扩展的特征。易扩展的特征。易扩展的特征。

【技术实现步骤摘要】
针对多源实时行情数据实现高可用接收及处理的系统


[0001]本专利技术涉及金融数据处理领域，尤其涉及多源实时行情数据处理领域，具体是指一种针对多源实时行情数据实现高可用接收及处理的系统。

技术介绍

[0002]目前在国内金融市场，证券公司行情系统一般通过网络专线通道与交易所内部的行情网关服务对接。行情系统一般需要会与多路实时行情数据源建立连接，多路行情源互为热备，这样有诸多好处：当一路行情源数据出现故障时，系统能自动切换到备选路线，确保行情不中断；多路行情源的延时不同，如果系统能识别并选用对应行情源，能获取更实时的数据更新。
[0003]现有行情系统多是单体系统，集成了数据接收和处理等功能，虽然比较容易部署，但是可伸缩性和扩展性都比较差。此外，行情系统对数据完整性要求高，当系统运维升级或运行故障导致数据缺失时需要具备数据恢复功能。行情系统进行多机房部署时，通常需要再各机房单独部署一套完整系统，包括数据接收、数据处理、数据访问等，成本很高。

技术实现思路

[0004]本专利技术的目的是克服了上述现有技术的缺点，提供了一种满本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对多源实时行情数据实现高可用接收及处理的系统，其特征在于，所述的系统包括：数据接收适配模块，用于对接多路行情数据，进行协议解析和数据格式转换，将行情数据转换为统一格式，并根据市场类型或合约类型分别发送至数据中转模块；数据中转模块，与所述的数据接收适配模块相连接，用于对多路数据进行自动去重和归并，并将数据维护至多个主题中；业务服务模块，与所述的数据中转模块相连接，用于读取统一格式的行情结构体数据，根据需要对各类业务数据进行计算处理及提供相应API，并封装业务相关的API接口；数据存储模块，与所述的业务服务模块相连接，用于缓存和持久化中间数据、结果数据和行情快照数据；数据访问模块，输入端与所述的数据中转模块、业务服务模块相连接，输出端与客户端相连接，用于为客户端提供数据访问服务，并接收客户端的主题订阅请求建立长连接，向客户端实时推送相应数据。2.根据权利要求1所述的针对多源实时行情数据实现高可用接收及处理的系统，其特征在于，所述的数据接收适配模块包括：数据接收单元，用于对接多路实时行情数据源及其他行情数据源；数据解析单元，与所述的数据接收单元相连接，用于解析行情数据源，并从每帧实时行情数据中提取多条数据；结构转换单元，与所述的数据解析单元相连接，用于根据数据源的接入要求进行协议适配并数据转换，提取数据所属类型；初始化单元，与所述的结构转换单元相连接，用于提取毫秒级时间戳用作消息数据的序列ID属性值；转发单元，与所述...

【专利技术属性】
技术研发人员：俞枫，叶振博，赵振江，龚恩照，胡爽，
申请(专利权)人：国泰君安证券股份有限公司，
类型：发明
国别省市：