本发明专利技术涉及数据采集技术领域，公开了一种交易数据补采方法及装置，该方法包括：根据补采操作指令确定待补采交易数据所在的数据源；获取数据源对应的数据库类型和配置信息，建立与数据源的数据传输通道(可并行多个)；根据补采起止时间和预设补采周期，计算预设补采次数及当期数据时间范围；基于数据传输通道、预设补采次数及当期数据时间范围，从数据源中提取待补采交易数据。相比于现有技术将所有交易数据表全部重新采集的补采方式，本发明专利技术根据待补采交易数据所在数据源建立数据传输通道，并按照计算出的补采次数及当期补采数据时间范围，对数据源中的多个待补采交易数据并发进行提取，能够快速准确且灵活高效地完成交易数据的补采。补采。补采。
【技术实现步骤摘要】
交易数据补采方法及装置
[0001]本专利技术涉及数据采集
，尤其涉及一种交易数据补采方法及装置。
技术介绍
[0002]如今，在证券、基金等金融公司的数据平台中，都会涉及到现有生产系统的交易数据采集问题。现有通用做法是通过数据库ETL工具将各个生产系统数据库的历史交易数据一次性导入到数据平台，然后再按每日增量的模式采集当天的新增数据进入数据平台。在此过程中，可能因数据错误或业务系统数据改动，需要将过去某一段日期内的交易数据进行再次补采，从而在数据平台中得到更新后的数据，即数据补采。
[0003]数据补采是一个通用的需求，如资管的网关产品、监管报送产品等都有自己的数据补采方式，比如网关产品支持的是指定时间范围内的交易数据逐日按天采集；而监管报送支持的是将业务系统涉及的所有表全部重新采集一次等。但这些数据补采方式都存在着一个问题，即补采时间过长。在涉及到大量历史数据的补采情况下，现有各个产品的数据补采方式无法快速准确地对待补采的交易数据进行补采，从而导致补采的工作效率低下，这种低效的数据补采方式在分秒必争的金融领域中无疑会带来较大的负面影响。因此，目前业内亟需一种能够快速准确地对待补采的交易数据进行补采的方法。
[0004]上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
[0005]本专利技术的主要目的在于提供了一种交易数据补采方法及装置，旨在解决现有技术无法批量快速按日历周期对待补采的多个交易数据表进行补采的技术问题。
[0006]为实现上述目的，本专利技术提供了一种交易数据补采方法，所述方法包括以下步骤：
[0007]根据补采操作指令确定待补采交易数据所在的数据源；
[0008]获取所述数据源对应的数据库类型和配置信息，并基于所述数据库类型和配置信息，建立与所述数据源的数据传输通道，所述数据传输通道用于传输所述待补采交易数据；
[0009]根据补采起止时间和预设补采周期，计算预设补采次数及当期数据时间范围；
[0010]基于所述数据传输通道、所述预设补采次数及当期数据时间范围，从所述数据源中提取所述待补采交易数据。
[0011]可选地，所述获取所述数据源对应的数据库类型和配置信息，并基于所述数据库类型和配置信息，建立与所述数据源的数据传输通道，包括：
[0012]读取数据源中数据端口的网络地址，并根据所述网络地址获取所述数据源对应的数据库类型和配置信息；
[0013]基于所述数据库类型和配置信息，建立与所述数据源的数据传输通道。
[0014]可选地，所述基于所述数据库类型和配置信息，建立与所述数据源的数据传输通道，包括：
[0015]根据数据源的个数，以及补采交易数据的表的个数，让用户选择设置数据补采执行器的并发度；
[0016]若所述并发度大于一，则根据所述并发度数量，建立多个并联数据传输通道，所述并联数据传输通道用于根据所述数据补采执行器并发对多个数据源的多个数据表进行数据补采。
[0017]可选地，所述根据数据源的个数，以及补采交易数据的表的个数，让用户选择设置数据补采执行器的并发度之后，还包括：
[0018]若所述并发度等于一，则基于所述数据源建立单个数据传输通道，所述单个传输通道用于将需补采的多个表作为串联的多个数据任务交给数据补采执行器来完成对所述数据源的交易数据表的数据补采。
[0019]可选地，所述根据补采起止时间和预设补采周期，计算预设补采次数及当期数据时间范围，包括：
[0020]获取所述数据源中待补采交易数据对应的交易日历类型；
[0021]根据所述交易日历类型，对补采起止日期中的非交易日期进行排除，获得有效交易日期；
[0022]根据预设补采周期和所述有效交易日期，计算得出预设补采次数及当期数据时间范围。
[0023]可选地，所述基于所述数据传输通道、所述预设补采次数及当期数据时间范围，从所述数据源中提取所述待补采交易数据，包括：
[0024]按照所述预设补采次数及当期数据时间范围，从所述数据源对应的数据传输通道中逐次提取所述待补采交易数据；
[0025]当完成一次补采次数后，将所述预设补采次数减一，获得更新后的预设补采次数及当期数据时间范围；
[0026]基于所述更新后的预设补采次数及当期数据时间范围，从所述数据源对应的数据传输通道逐次提取所述待补采交易数据，直至所述更新后的预设补采次数为零。
[0027]此外，为实现上述目的，本专利技术还提出一种交易数据补采装置，所述交易数据补采装置包括：
[0028]指令解析模块，用于根据补采操作指令确定待补采交易数据所在的数据源；
[0029]数据传输模块，用于获取所述数据源对应的数据库类型和配置信息，并基于所述数据库类型和配置信息，建立与所述数据源的数据传输通道，所述数据传输通道用于传输所述待补采交易数据；
[0030]数据计算模块，用于根据补采起止时间和预设补采周期，计算预设补采次数及当期数据时间范围；
[0031]数据提取模块，即数据补采执行器，用于基于所述数据传输通道、所述预设补采次数及当期数据时间范围，从所述数据源中提取所述待补采交易数据。
[0032]本专利技术根据补采操作指令确定待补采交易数据所在的数据源；获取数据源对应的数据库类型和配置信息，并基于数据库类型和配置信息建立与数据源的数据传输通道，数据传输通道用于传输待补采交易数据；根据补采起止时间和预设补采周期，计算预设补采次数及当期数据时间范围；基于数据传输通道和预设补采次数，从数据源中提取待补采交
易数据。相比于现有技术将业务系统涉及的所有交易数据表通过统一的数据采集方式全部重新采集一次来完成补采操作，本专利技术上述方法根据待补采交易数据所在数据源对应的数据库类型和配置信息来建立数据传输通道，并通过数据传输通道按照预设的周期和次数对数据源中的多个待补采交易数据表进行提取，从而避免了现有技术中对交易数据进行补采时需要对整个交易数据表重新进行采集而造成的数据补采工作效率降低的问题，从而能够快速准确且灵活高效地对待补采的交易数据进行补采。
附图说明
[0033]图1为本专利技术交易数据补采方法第一实施例的流程示意图；
[0034]图2为本专利技术交易数据补采方法第二实施例的流程示意图；
[0035]图3为本专利技术交易数据补采方法第三实施例的流程示意图；
[0036]图4为本专利技术交易数据补采装置第一实施例的结构框图。
[0037]本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0038]应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。
[0039]本专利技术实施例提供了一种交易数据补采方法，参照图1，图1为本专利技术交易数据补采方法第一实施例的流程示意图。
[0040]本实施例中，所述交易数据补采方法包括以下步骤：
[0本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种交易数据补采方法，其特征在于，所述方法包括以下步骤：根据补采操作指令确定待补采交易数据所在的数据源；获取所述数据源对应的数据库类型和配置信息，并基于所述数据库类型和配置信息，建立与所述数据源的数据传输通道，所述数据传输通道用于传输所述待补采交易数据；根据补采起止时间和预设补采周期，计算预设补采次数及当期数据时间范围；基于所述数据传输通道、所述预设补采次数及当期数据时间范围，从所述数据源中提取所述待补采交易数据。2.如权利要求1所述的交易数据补采方法，其特征在于，所述获取所述数据源对应的数据库类型和配置信息，并基于所述数据库类型和配置信息，建立与所述数据源的数据传输通道，包括：读取数据源中数据端口的网络地址，并根据所述网络地址获取所述数据源对应的数据库类型和配置信息；基于所述数据库类型和配置信息，建立与所述数据源的数据传输通道。3.如权利要求2所述的交易数据补采方法，其特征在于，所述基于所述数据库类型和配置信息，建立与所述数据源的数据传输通道，包括：根据数据源的个数，以及补采交易数据的表的个数，让用户选择设置数据补采执行器的并发度；若所述并发度大于一，则根据所述并发度数量，建立多个并联数据传输通道，所述并联数据传输通道用于根据所述数据补采执行器并发对多个数据源的多个数据表进行数据补采。4.如权利要求3所述的交易数据补采方法，其特征在于，所述根据数据源的个数，以及补采交易数据的表的个数，让用户选择设置数据补采执行器的并发度之后，还包括：若所述并发度等于一，则基于所述数据源建立单个数据传输通道，所述单个传输通道用于将需补采的多个表作为串联的多个数据任务交给数据补采执行器来完成...
【专利技术属性】
技术研发人员：费启辉，吴炳希，
申请(专利权)人：金证财富南京科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。