一种处理行情数据的方法、装置及电子设备制造方法及图纸

本申请涉及数据分析技术领域，尤其涉及一种处理行情数据的方法、装置及电子设备。该方法包括：采集行情数据集；其中，所述行情数据集采集自至少两个数据源；利用预设转换算子在所述行情数据集中筛选，得到子数据集，并利用预设计算规则，处理所述子数据集，得到汇总数据；其中，所述子数据集的数量与所述行情数据集中数据表的数量相等；基于所述子数据集的主键和所述汇总数据的主键，将所述子数据集和所述汇总数据同步至目标数据库。通过上述方法可解决现有技术中行情数据海量，及所在系统封闭导致的多源行情数据难以统一处理的问题。的多源行情数据难以统一处理的问题。的多源行情数据难以统一处理的问题。

【技术实现步骤摘要】
一种处理行情数据的方法、装置及电子设备


[0001]本申请涉及数据分析
，尤其涉及一种处理行情数据的方法、装置及电子设备。

技术介绍

[0002]交易市场的行情数据具有数据变化快、变化规律难以把握、数据量大的特点，而实时把握行情数据的变化在交易市场中，尤其是防范投资风险、投资安全起着决定性的作用。
[0003]目前，交易市场各数据源所在系统尽管都具备实时接入数据的能力，但各系统具有封闭性，不具备处理其他系统中行情数据的能力，这导致各系统处理行情数据难以同步，且由于各系统处理数据的实现方式各不相同，效率难以统一。因此，现有技术中缺乏一种能统一处理多源行情数据的方法。

技术实现思路

[0004]本申请提供了一种处理行情数据的方法、装置及电子设备，用以实现统一且同步处理多源行情数据，从而提升行情数据处理效率的目的。
[0005]第一方面，本申请实施例提供一种处理行情数据的方法，包括：
[0006]采集行情数据集；其中，所述行情数据集采集自至少两个数据源；
[0007]利用预设转换算子在所述行情数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种处理行情数据的方法，其特征在于，包括：采集行情数据集；其中，所述行情数据集采集自至少两个数据源；利用预设转换算子在所述行情数据集中筛选，得到子数据集，并利用预设计算规则，处理所述子数据集，得到汇总数据；其中，所述子数据集的数量与所述行情数据集中数据表的数量相等；基于所述子数据集的主键和所述汇总数据的主键，将所述子数据集和所述汇总数据同步至目标数据库。2.如权利要求1所述的方法，其特征在于，所述采集行情数据集，包括：接收所述至少两个数据源的数据模块所发送的实时数据流；或者，基于CDC捕获所述数据模块中的实时数据流；将所述实时数据流转化为预设格式，得到对应于所述行情数据集的数据流；其中，所述预设格式包括所述数据流中主键与所述主键的值之间的相对位置关系。3.如权利要求2所述的方法，其特征在于，所述利用预设转换算子在所述行情数据集中筛选，得到子数据集，包括：通过消息中间件Kafka，将所述数据流以所述预设格式接入所述预设转换算子，使所述预设转换算子对所述数据流进行筛选。4.如权利要求2所述的方法，其特征在于，所述基于所述子数据集的主键和所述汇总数据的主键，将所述子数据集和所述汇总数据同步至目标数据库，包括：基于所述子数据集、所述汇总数据以及所述预设格式，确定所述子数据集的主键和所述汇总数据的主键；基于所述子数据集的主键，将所述子数据集添加至所述目标数据库；基于所述汇总数据的主键，将所述汇总数据更新至所述目标数据库。5.如权利要求2
‑
4任一项所述的方法，其特征在于，所述预设转换算子包括过滤算子和聚合算子；则所述利用预设转换算子在所述行情数据集中筛选，得到子数据集，包括：利用所述过滤算子，过滤所述行情数据集，得到目标数据；基于所述目标数据中数据表的主键，对所述目标数据分区，得到分区数据；其中，所述目标数据对应至少两组所述分区数据；利用所述聚合算子处理所述分区数据，得到对应于所述子数据集的子数据流。6.如权利要求1
‑
4任一项所述的方法，其特征在于，所述预设计算规则包括基于预设时间窗口确定交易总量；则所述利用预设计算规则，处理所述子数据集，得到汇总数据，包括：确定所述子数据集所对应的交易时刻；基于所述预设时间窗口以及所述交易时刻，向所述消息中间件Kafka发送第一请求信息；其中，所述第一请求信息指示对应于所述预设时间窗口以及所述交易时间的第一待获取数据集；所述第一待获取数据集中第一待获取子数据集的主键与所述子数据集的主键相同；接收所述第一待获取数据集；累加所述第一待获取数据集中所述第一待获取子数据集的值，得到所述汇总数据。7.如权利要求1
‑
4任一项所述的方法，其特征在于，所述预设计算规则包括基于业务指令，以批次为单位处理所述子数据集，得到批次数据；其中，所述批次数据包括第一预设数
量的所述子数据集；则所述利用预设计算规则，处理所述子数据集，得到汇总数据，包括：响应于所述业务指令中批次数据所含的所述第一预设数量的子数据集，以及所述第二预设数量的所述批次数据，向所述消息中间件Kafka发送第二请求信息；其中，所述第二请求信息指示由所述第二预设数量的所述批次数据组成的第二待获取数据集；所述第二待获取数据集中的第二待获取子数据集的主键与所述批次数据的主键相同；接收所述第二待获取数据集；在所述第二待获取数据集中，根据时间顺序，将所述第一预设数量的所述第二待获取子数据集组合，得到所述第二预设数量的所述批次数据；累加所述第二待获取数据集中所述批次数据的值，得到所述汇总数据。8.一种处理行情数据的装置，其特征在于，包括：采集单元：用于采集行情数据集；其中，所述行情数据集采集自至少两个数据源；筛选单元：用于利用预设转换算子在所述行情数据集中筛...

【专利技术属性】
技术研发人员：赵西宁，冯世杰，张世宜，张宇阳，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：