【技术实现步骤摘要】
本申请实施例涉及数据处理，尤其涉及一种交易数据预处理方法及其设备、存储介质和电子设备。
技术介绍
1、现如今，在大数据处理系统如金融领域的券商需要根据市场行情数据来检验买卖股票的委托是否被交易所拦截的风控判断，例如，交易机构通过数据处理设备实时获取金融交易中心发出的交易行情数据，并基于交易行情数据来执行风控分析。
2、传统地，可以在交易机构的数据处理设备中配置基于指令集的通用处理器，但是，这样的通用处理器容易受到开发语言的制约。因此，目前的交易机构的数据处理设备中配置诸如fpga(field programmable gate array，是一种可编程逻辑器件)的加速器进行风控计算，这样的加速器能够执行高性能的并行数据处理，提升了金融风控的处理能力。
3、在现有技术中的交易数据处理方案中，从多个数据源通道获取实时成交量、成交额、最新成交价等交易行情数据和订单委托数据，并基于这些数据计算出相对最佳的多档买盘或卖盘的参考交易任务数据，数据处理设备再基于这样的参考交易任务数据执行风控分析，然而，这样获取到的交易任务数据不利于充分利用数据处理设备中的加速器的并行处理能力，并且基于实时交易数据和订单委托数据筛选出相对最佳的参考交易任务数据的过程中存在一定量的筛选掉的交易任务数据，导致了数据处理设备的存储资源的浪费。
技术实现思路
1、有鉴于此，本申请实施例提供一种交易数据预处理方法及其设备、存储介质和电子设备，以解决或缓解现有技术中存在的问题。
2、根据本
3、在本申请的一些实施例中，获取逐笔交易数据的交易主体、交易成交量和交易时间戳，包括：从逐笔交易消息队列中，读取逐笔交易数据；解析逐笔交易数据，得到逐笔交易数据的交易主体、交易成交量和交易时间戳。
4、在本申请的一些实施例中，在获取逐笔交易数据的交易主体、交易成交量和交易时间戳之前，方法还包括：获取当前逐笔交易数据的交易时间戳和数据源通道；如果当前逐笔交易数据的交易时间戳小于数据源通道的先前获取的逐笔交易数据的交易时间戳，则丢弃当前逐笔交易数据；如果当前逐笔交易数据的交易时间戳大于等于数据源通道的先前获取的逐笔交易数据的交易时间戳，则将当前逐笔交易数据加入到逐笔交易消息队列中。
5、在本申请的一些实施例中，统计并记录每个交易主体在各个时间切片的成交量数据，包括：基于交易主体和时间切片作为缓存维度，创建成交量数据的缓存空间；将逐笔交易数据累积到逐笔交易数据的交易主体的缓存维度和逐笔交易数据的交易时间戳所在的时间切片的缓存维度。
6、在本申请的一些实施例中，在创建成交量数据的缓存空间之前，方法还包括：分别创建第一白名单和第二白名单，并通过第一白名单校验当前逐笔交易数据的交易主体，通过第二白名单校验当前快照数据的交易主体，其中，第一白名单用于存储逐笔交易数据的交易主体，第二白名单用于存储快照数据的交易主体；分别创建快照消息队列和逐笔交易消息队列，并通过快照消息队列传递快照数据，通过逐笔交易消息队列传递逐笔交易数据。
7、在本申请的一些实施例中，通过第一白名单校验当前逐笔交易数据的交易主体，通过第二白名单校验当前快照数据的交易主体，包括：判断当前逐笔交易数据的交易主体是否在第一白名单内，当前快照数据的交易主体是否在第二白名单内；如果当前逐笔成数据的交易主体在第一白名单内，则获取当前逐笔交易数据的数据源通道；如果当前快照数据的交易主体在第二白名单内，则通过快照消息队列将当前快照数据的交易主体对应的交易价格下发至加速器。
8、在本申请的一些实施例中，获取加速器的交易分析任务，包括：获取定时器的定时间隔和当前数据源通道的当前时间戳；在定时器的定时间隔大于等于第一预设时间间隔，或在当前数据源通道的当前时间戳发生变化时，获取加速器的交易分析任务。
9、根据本申请实施例的第二方面，提供了一种交易数据预处理设备，包括：第一获取模块，用于获取逐笔交易数据的交易主体、交易成交量和交易时间戳；统计模块，用于统计并记录每个交易主体在各个时间切片的成交量数据，其中，每个时间切片内的成交量数据中的各个逐笔交易数据的交易时间戳均在对应时间切片内；第二获取模块，用于获取加速器的交易分析任务，交易分析任务至少包括目标数据源通道和目标时间戳；汇总模块，用于从所记录的成交量数据中，汇总目标数据源通道中的各个交易主体在目标时间戳内的成交量数据，作为目标数据源通道的汇总成交量数据；下发模块，用于将目标数据源通道的汇总成交量数据下发到加速器。
10、根据本申请实施例的第三方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；存储器用于存放至少一可执行指令，可执行指令使处理器执行如上述任一实施例的交易数据预处理方法对应的操作。
11、根据本申请实施例的第四方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述任一实施例的交易数据预处理方法。
12、根据本申请实施例提供的交易数据预处理方法及其设备、存储介质和电子设备，通过对逐笔交易数据中的每个交易主体在各个时间切片的成交量数据进行统计，以根据加速器的交易分析任务的目标数据源通道和目标时间戳，从所记录的成交量数据中汇总得到目标数据源通道中的各个交易主体在目标时间戳内的汇总成交量数据，进而将该汇总成交量数据下发至加速器进行数据计算，从而快速地确定加速器所需处理的任务数据，能够更适用于加速器的数据计算，且避免了因发送至加速器的数据过多，导致空间和时间的浪费的问题，提升数据处理设备的存储资源的利用率。
本文档来自技高网...【技术保护点】
1.一种交易数据预处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述获取逐笔交易数据的交易主体、交易成交量和交易时间戳，包括：
3.根据权利要求2所述的方法，其特征在于，在获取逐笔交易数据的交易主体、交易成交量和交易时间戳之前，所述方法还包括：
4.根据权利要求1所述的方法，其特征在于，所述统计并记录每个交易主体在各个时间切片的成交量数据，包括：
5.根据权利要求4所述的方法，其特征在于，在创建成交量数据的缓存空间之前，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述通过所述第一白名单校验所述当前逐笔交易数据的交易主体，通过所述第二白名单校验当前快照数据的交易主体，包括：
7.根据权利要求1所述的方法，其特征在于，所述获取加速器的交易分析任务，包括：
8.一种交易数据预处理设备，其特征在于，包括：
9.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放
10.一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-7中任一项所述的交易数据预处理方法。
...【技术特征摘要】
1.一种交易数据预处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述获取逐笔交易数据的交易主体、交易成交量和交易时间戳，包括：
3.根据权利要求2所述的方法，其特征在于，在获取逐笔交易数据的交易主体、交易成交量和交易时间戳之前，所述方法还包括：
4.根据权利要求1所述的方法，其特征在于，所述统计并记录每个交易主体在各个时间切片的成交量数据，包括：
5.根据权利要求4所述的方法，其特征在于，在创建成交量数据的缓存空间之前，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述通过所述第一白名单校验所述当前逐笔交易数据的交...
【专利技术属性】
技术研发人员：郭雅娜，杨鹏，
申请(专利权)人：中科驭数北京科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。