基于债券交易的数据采集系统及其数据采集方法技术方案

公开了一种基于债券交易的数据采集系统及其数据采集方法，所述数据采集系统包括客户端(1)、服务端(2)、管理端(3)和数据采集服务器(23)，数据采集服务器(23)包括数据提取模块(24)、数据处理模块(25)、分布式数据存储管理模块(26)和查询模块(27)，数据处理模块(25)包括利用参数特征进行关联的数据关联模块(29)、基于时序分类的分类模块(30)和对数据进行去重的聚类模块(31)，分布式数据存储管理模块(26)包括存储时间序列数据的时序数据存储器(32)和存储非时间序列数据的数据存储器(33)，所述查询模块(27)基于查询命令在所述分布式数据存储管理模块(26)中进行查询。

【技术实现步骤摘要】
基于债券交易的数据采集系统及其数据采集方法
本专利技术涉及数据采集领域，特别是一种基于债券交易的数据采集系统及其数据采集方法。
技术介绍
债券交易系统首先要完成交易全流程的处理，包括报价处理、报价展示、点击请求处理、交易检查等功能，同时提供债券持仓、可用资金、市场行情等交易信息服务。还要对市场的交易过程进行全程记录，为交易管理人员提供查询、监测、应急等市场管控功能，保障交易系统的平稳运转。随着债券交易面临例如百万级的并发用户访问、每秒数以千计的并发事务处理等巨大规模的数据冲击，因此有必要优化数据采集，有效应对当前业务系统中数据量大，数据变化快等技术问题，解决数据采集重复、质量不高的问题，提高数据采集的可靠性和拓展性。专利文献1公开的一种数据采集与结算分离处理的方法，应用于包含第一管理子系统、第二管理子系统和用户终端的系统，其包括：A、获取用户终端的历史结算数据；B、采集用户终端的当前数据；C、利用所述历史结算数据与用户终端的当前数据进行合并计算，根据所述计算结果接收用户终端的结算请求，根据所述结算请求获得新的历史结算数据；D、将所述新的历史结算数据同步到所述第一、第二管理子系统。该专利能够实现数据处理过程中的即时数据采集、结算以及系统数据的同步，就可以充分利用网络资源完成系统需求数据处理操作，提高网络资源的利用效率和基于网络的数据处理效率。但该专利无法适用于债券交易处理，不具备在完成交易全流程的处理，包括报价处理、报价展示、点击请求处理、交易检查、提供债券持仓、可用资金、市场行情等基础上，对市场的交易过程进行全程记录，保障交易系统的平稳运转，更无法避免系统中数据量大，数据变化快导致无法在保持债券交易处理的顺畅运行下提高数据采集效率、数据采集质量和数据采集的可靠性，从而提高系统整体运行的可靠性，也无法避免数据采集重复等问题。专利文献2公开的一种数据采集装置置包括：下载单元，用于获取基础数据和/或业务数据；更新单元，用于更新所述下载单元获取的数据；上传单元，用于上传所述更新单元更新后的数据至中心服务器。该专利避免了重复采集，实现了采集端的数据共享。但该专利无法适用于债券交易处理，不具备在完成交易全流程的处理，包括报价处理、报价展示、点击请求处理、交易检查、提供债券持仓、可用资金、市场行情等基础上，对市场的交易过程进行全程记录，保障交易系统的平稳运转，更无法避免系统中数据量大，数据变化快导致无法在保持债券交易处理的顺畅运行下提高数据采集效率、数据采集质量和数据采集的可靠性，从而提高系统整体运行的可靠性，也无法避免在债券交易的大数据量和高频变化下的数据采集重复问题。专利文献3公开的一种数据采集的方法包括：获取待关联的各个业务系统的数据结构表；将所述数据结构表中同义字段建立同步映射关系；根据已经录入完毕的字段内容和所述字段的同步映射关系，更新各业务系统中存储的字段内容。该专利实现数据的单次采集、多业务平台共享，提高数据录入效率。但该专利无法适用于债券交易处理，不具备在完成交易全流程的处理，包括报价处理、报价展示、点击请求处理、交易检查、提供债券持仓、可用资金、市场行情等基础上，对市场的交易过程进行全程记录，保障交易系统的平稳运转，更无法避免系统中数据量大，数据变化快导致无法在保持债券交易处理的顺畅运行下提高数据采集效率、数据采集质量和数据采集的可靠性，从而提高系统整体运行的可靠性，也无法避免在债券交易的大数据量和高频变化下的数据采集重复问题。现有技术文献专利文献专利文献1：中国专利公开CN1741059A号专利文献2：中国专利公开CN101038597A号专利文献3：中国专利公开CN104657430A号
技术实现思路
专利技术要解决的问题本专利技术鉴于如上所述适用于债券交易处理，具备在完成交易全流程的处理，包括报价处理、报价展示、点击请求处理、交易检查、提供债券持仓、可用资金、市场行情等基础上，对市场的交易过程进行全程记录，保障交易系统的平稳运转，在系统中数据量大，数据变化快的情况下，保持债券交易处理的顺畅运行提高数据采集效率、数据采集质量和数据采集的可靠性，从而提高系统整体运行的可靠性，且在债券交易的大数据量和高频变化下避免数据采集重复问题。解决问题的方案本专利技术人等为了达成上述目的而进行了深入研究，具体而言，本专利技术提供一种基于债券交易的数据采集系统及其数据采集方法，根据本专利技术的一方面，一种基于债券交易的数据采集系统包括客户端、服务端、管理端和数据采集服务器。客户端包括用于提供报价信息的报价信息模块、用于查询行情信息的行情查询模块、用于点击成交的点击成交处理模块、用于查询余额和成交意向的交易查询模块和用于客户登录注销和修改密码的登录模块。服务端包括用于报价信息接收、排序、合并和推送的报价处理模块、用于报价间隔监测、生成临时承诺指令以及生成和发送承诺指令的交易处理模块、用于接收成交信息、处理成交结果和生成行情数据的成交处理模块、用于薄记管理的薄记模块、用于行情计算的行情模块、提供对时服务的对时模块、用于处理开盘信号和债券信息的日间处理模块和用于同步投资人债券余额、资金余额和发送投资人增量信息的日终处理模块。管理端包括用于提供信息的信息查询模块、用于监控报价信息、承诺指令和/或交易申请的交易监测模块、用于维护债券信息和报价商信息的信息维护模块、用于日终监测投资人信息、债券余额信息和资金余额信息的日终监测模块、用于处理投资人信息导入、应急交易意向申请录入和应急成交结果录入的应急信息维护模块和用于设定系统参数的系统维护模块。数据采集服务器包括数据提取模块、数据处理模块、分布式数据存储管理模块和查询模块，其中，数据提取模块包括用于实时采集客户端、服务端和管理端生成的数据的前置机和ETL转换模块，所述数据处理模块包括利用参数特征进行关联的数据关联模块、基于时序分类的分类模块和对数据进行去重的聚类模块，分布式数据存储管理模块包括存储时间序列数据的时序数据存储器和存储非时间序列数据的数据存储器，分布式数据存储管理模块将时序数据存储在时间序列数据存储器以及将非时序数据存储在数据存储器，所述查询模块基于查询命令在所述分布式数据存储管理模块中进行查询。本专利技术的所述的基于债券交易的数据采集系统中，所述参数特征包括数据产生的时间、数据产生的模块、数据产生的IP地址、数据格式和/或数据类型，其中，数据产生的模块包括行情查询模块、点击成交处理模块、交易查询模块、报价处理模块和交易处理模块中的一个或多个。本专利技术的所述的基于债券交易的数据采集系统中，所述前置机包括交易报文格式处理模块，所述交易报文包括通知类型和请求/响应类型，所述ETL转换模块包括数据抽取单元、数据清洗单元、空值处理单元、数据格式处理单元、数据拆分单元和数据替换单元。本专利技术的所述的基于债券交易的数据采集系统中，所述ETL转换模块为DatastageETL，所述聚类模块为Kmeans聚类器。本专利技术的所述的基于债券交易的数据采集系统中，所述数据关联模块基于参数特征利用Apriori算法进行关联。本专利技术的所述的基于债券交易的数据采集系统中，所述数据分类模块基于时间序列将所述数据分为时序数据和非时序数据。根据本专利技术的另一方面，一种利用所述的基于债券交易的数据采集系统的数据采集方法的步骤本文档来自技高网...

【技术保护点】
一种基于债券交易的数据采集系统，所述数据采集系统包括客户端(1)、服务端(2)、管理端(3)和数据采集服务器(23)，其特征在于：客户端(1)，包括用于提供报价信息的报价信息模块(4)、用于查询行情信息的行情查询模块(5)、用于点击成交的点击成交处理模块(6)、用于查询余额和成交意向的交易查询模块(7)和用于客户登录注销和修改密码的登录模块(8)；服务端(2)，包括用于报价信息接收、排序、合并和推送的报价处理模块(9)、用于报价间隔监测、生成临时承诺指令以及生成和发送承诺指令的交易处理模块(10)、用于接收成交信息、处理成交结果和生成行情数据的成交处理模块(11)、用于薄记管理的薄记模块(12)、用于行情计算的行情模块(13)、提供对时服务的对时模块(14)、用于处理开盘信号和债券信息的日间处理模块(15)和用于同步投资人债券余额、资金余额和发送投资人增量信息的日终处理模块(16)；管理端(3)，包括用于提供信息的信息查询模块(17)、用于监控报价信息、承诺指令和/或交易申请的交易监测模块(18)、用于维护债券信息和报价商信息的信息维护模块(19)、用于日终监测投资人信息、债券余额信息和资金余额信息的日终监测模块(20)、用于处理投资人信息导入、应急交易意向申请录入和应急成交结果录入的应急信息维护模块(21)和用于设定系统参数的系统维护模块(22)；数据采集服务器(23)包括数据提取模块(24)、数据处理模块(25)、分布式数据存储管理模块(26)和查询模块(27)，其中，数据提取模块(24)包括用于实时采集客户端(1)、服务端(2)和管理端(3)生成的数据的前置机(28)和ETL转换模块(34)，所述数据处理模块(25)包括利用参数特征进行关联的数据关联模块(29)、基于时序分类的分类模块(30)和对数据进行去重的聚类模块(31)，分布式数据存储管理模块(26)包括存储时间序列数据的时序数据存储器(32)和存储非时间序列数据的数据存储器(33)，分布式数据存储管理模块(26)将时序数据存储在时间序列数据存储器(32)以及将非时序数据存储在数据存储器(33)，所述查询模块(27)基于查询命令在所述分布式数据存储管理模块(26)中进行查询。...

【技术特征摘要】
1.一种基于债券交易的数据采集系统，所述数据采集系统包括客户端(1)、服务端(2)、管理端(3)和数据采集服务器(23)，其特征在于：客户端(1)，包括用于提供报价信息的报价信息模块(4)、用于查询行情信息的行情查询模块(5)、用于点击成交的点击成交处理模块(6)、用于查询余额和成交意向的交易查询模块(7)和用于客户登录注销和修改密码的登录模块(8)；服务端(2)，包括用于报价信息接收、排序、合并和推送的报价处理模块(9)、用于报价间隔监测、生成临时承诺指令以及生成和发送承诺指令的交易处理模块(10)、用于接收成交信息、处理成交结果和生成行情数据的成交处理模块(11)、用于薄记管理的薄记模块(12)、用于行情计算的行情模块(13)、提供对时服务的对时模块(14)、用于处理开盘信号和债券信息的日间处理模块(15)和用于同步投资人债券余额、资金余额和发送投资人增量信息的日终处理模块(16)；管理端(3)，包括用于提供信息的信息查询模块(17)、用于监控报价信息、承诺指令和/或交易申请的交易监测模块(18)、用于维护债券信息和报价商信息的信息维护模块(19)、用于日终监测投资人信息、债券余额信息和资金余额信息的日终监测模块(20)、用于处理投资人信息导入、应急交易意向申请录入和应急成交结果录入的应急信息维护模块(21)和用于设定系统参数的系统维护模块(22)；数据采集服务器(23)包括数据提取模块(24)、数据处理模块(25)、分布式数据存储管理模块(26)和查询模块(27)，其中，数据提取模块(24)包括用于实时采集客户端(1)、服务端(2)和管理端(3)生成的数据的前置机(28)和ETL转换模块(34)，所述数据处理模块(25)包括利用参数特征进行关联的数据关联模块(29)、基于时序分类的分类模块(30)和对数据进行去重的聚类模块(31)，分布式数据存储管理模块(26)包括存储时间序列数据的时序数据存储器(32)和存储非时间序列数据的数据存储器(33)，分布式数据存储管理模块(26)将时序数据存储在时间序列数据存储器(32)以及将非时序数据存储在数据存储器(33)，所述查询模块(27)基于查询命令在所述分布式数据存储管理模块(26)中进行查询。2.根据权利要求1所述的基于债券交易的数据采集系统，其...

【专利技术属性】
技术研发人员：何睿，
申请(专利权)人：北京金融资产交易所有限公司，
类型：发明
国别省市：北京,11