交易数据实时监控方法及装置制造方法及图纸

本发明专利技术公开了一种交易数据实时监控方法及装置，其中方法包括：利用Kafka接收交易平台发送的交易数据和接口规范数据；根据所述接口规范数据，利用Storm对所述交易数据进行解析，生成MongoDB数据对象；根据所述MongoDB数据对象，确定交易成功率数据；根据所述交易成功率数据，进行交易数据实时监控。本发明专利技术便于实时监控交易数据，提高统计效率和实时性，利于在遇到交易异常的情况下进行及时报警。

【技术实现步骤摘要】
交易数据实时监控方法及装置
本专利技术涉及交易数据处理
，尤其涉及交易数据实时监控方法及装置。
技术介绍
目前各交易系统的交易数据量巨大，交易种类多，因此有必要对交易数据进行实时分析监控，在遇到交易异常的情况下实时报警。现有技术中采用基于shell脚本对数据库数据进行监控，在交易数据量日渐增大的情况下，统计耗时长，效率低，而且还可能由于统计期间对数据库进行的操作影响正常联机交易的速度，实时性低，利于在遇到交易异常的情况下进行及时报警。
技术实现思路
本专利技术实施例提供一种交易数据实时监控方法，用以实时监控交易数据，提高统计效率和实时性，利于在遇到交易异常的情况下进行及时报警，该方法包括：利用Kafka接收交易平台发送的交易数据和接口规范数据；根据所述接口规范数据，利用Storm对所述交易数据进行解析，生成MongoDB数据对象；根据所述MongoDB数据对象，确定交易成功率数据；根据所述交易成功率数据，进行交易数据实时监控。本专利技术实施例提供一种交易数据实时监控装置，用以实时监控交易数据，提高统计效率和实时性，利于在遇到交易异常的情况下进行及时报警，该装置包括：数据接收模块，用于利用Kafka接收交易平台发送的交易数据和接口规范数据；对象生成模块，用于根据所述接口规范数据，利用Storm对所述交易数据进行解析，生成MongoDB数据对象；成功率确定模块，用于根据所述MongoDB数据对象，确定交易成功率数据；监控模块，用于根据所述交易成功率数据，进行交易数据实时监控。本专利技术实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述交易数据实时监控方法。相对于现有技术中采用基于shell脚本对数据库数据进行监控的方案而言，本专利技术实施例通过利用Kafka接收交易平台发送的交易数据和接口规范数据；根据所述接口规范数据，利用Storm对所述交易数据进行解析，生成MongoDB数据对象；根据所述MongoDB数据对象，确定交易成功率数据；根据所述交易成功率数据，进行交易数据实时监控。本专利技术实施例根据生成的MongoDB数据对象确定交易成功率数据，从而进行交易数据实时监控，无需耗费大量时间进行统计，提高统计效率和实时性，利于在遇到交易异常的情况下进行及时报警。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：图1为本专利技术实施例交易数据实时监控方法示意图；图2为本专利技术实施例交易数据实时监控装置结构图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本专利技术实施例做进一步详细说明。在此，本专利技术的示意性实施例及其说明用于解释本专利技术，但并不作为对本专利技术的限定。为了实时监控交易数据，提高统计效率和实时性，利于在遇到交易异常的情况下进行及时报警，本专利技术实施例提供一种交易数据实时监控方法，如图1所示，该方法可以包括：步骤101、利用Kafka接收交易平台发送的交易数据和接口规范数据；步骤102、根据所述接口规范数据，利用Storm对所述交易数据进行解析，生成MongoDB数据对象；步骤103、根据所述MongoDB数据对象，确定交易成功率数据；步骤104、根据所述交易成功率数据，进行交易数据实时监控。由图1所示可以得知，本专利技术实施例通过利用Kafka接收交易平台发送的交易数据和接口规范数据；根据所述接口规范数据，利用Storm对所述交易数据进行解析，生成MongoDB数据对象；根据所述MongoDB数据对象，确定交易成功率数据；根据所述交易成功率数据，进行交易数据实时监控。本专利技术实施例根据生成的MongoDB数据对象确定交易成功率数据，从而进行交易数据实时监控，无需耗费大量时间进行统计，提高统计效率和实时性，利于在遇到交易异常的情况下进行及时报警。具体实施时，利用Kafka接收交易平台发送的交易数据和接口规范数据。需要说明的是，Kafka最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统，常见可以用于web/nginx日志、访问日志，消息服务等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。主要应用场景是日志收集系统和消息系统。Kafka主要设计目标为：以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能；高吞吐率，即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输；支持KafkaServer间的消息分区，及分布式消费，同时保证每个partition内的消息顺序传输；同时支持离线数据处理和实时数据处理；支持在线水平扩展。一个消息系统负责将数据从一个应用传递到另外一个应用，应用只需关注于数据，无需关注数据在两个或多个应用间是如何传递的。分布式消息传递基于可靠的消息队列，在客户端应用和消息系统之间异步传递消息。有两种主要的消息传递模式：点对点传递模式、发布-订阅模式。大部分的消息系统选用发布-订阅模式。Kafka就是一种发布-订阅模式。在点对点消息系统中，消息持久化到一个队列中。此时，将有一个或多个消费者消费队列中的数据。但是一条消息只能被消费一次。当一个消费者消费了队列中的某条数据之后，该条数据则从消息队列中删除。该模式即使有多个消费者同时消费数据，也能保证数据处理的顺序。在发布-订阅消息系统中，消息被持久化到一个topic中。与点对点消息系统不同的是，消费者可以订阅一个或多个topic，消费者可以消费该topic中所有的数据，同一条数据可以被多个消费者消费，数据被消费后不会立马删除。在发布-订阅消息系统中，消息的生产者称为发布者，消费者称为订阅者。实施例中，zookeeper是Kafka的管理者，Kafka在zookeeper注册后，在zookeeper的调度下才能工作。Kafka接口规范数据目前定义为17个字段，每个字段用&分隔，具体如下所示：平台标识号&平台系统流水号&收单机构号&发卡机构号&交易码&卡号&金额&币种&商户号&交易日期&交易时间&业务成功标志&系统成功标志&交易开始时间&发送外系统时间&接收外系统时间&交易结束时间。实施例中，采用zookeeper+Kafka，将交易数据发送到Kafka，Kafka进行实时的流数据传输，可保证大数量下的高可用性，交易平台产生交易数据，本文档来自技高网...

【技术保护点】
1.一种交易数据实时监控方法，其特征在于，包括：/n利用Kafka接收交易平台发送的交易数据和接口规范数据；/n根据所述接口规范数据，利用Storm对所述交易数据进行解析，生成MongoDB数据对象；/n根据所述MongoDB数据对象，确定交易成功率数据；/n根据所述交易成功率数据，进行交易数据实时监控。/n

【技术特征摘要】
1.一种交易数据实时监控方法，其特征在于，包括：
利用Kafka接收交易平台发送的交易数据和接口规范数据；
根据所述接口规范数据，利用Storm对所述交易数据进行解析，生成MongoDB数据对象；
根据所述MongoDB数据对象，确定交易成功率数据；
根据所述交易成功率数据，进行交易数据实时监控。


2.如权利要求1所述的方法，其特征在于，所述MongoDB数据对象包括：MongoDB连接对象和MongoDB集合对象。


3.如权利要求1所述的方法，其特征在于，根据所述交易成功率数据，进行交易数据实时监控，包括：
将所述交易成功率数据与预设阈值进行比较，根据比较结果进行交易数据实时监控。


4.如权利要求3所述的方法，其特征在于，根据所述交易成功率数据，进行交易数据实时监控，包括：
将所述交易成功率数据与预设阈值进行比较，根据比较结果在日志中写入所述交易成功率数据对应的监控字段，所述监控字段包括：监控警告字段和监控正常字段；
根据所述交易成功率数据对应的监控字段，进行交易数据实时监控。


5.一种交易数据实时监控装置，其特征在于，包括：
数据接收模块，用于利用Kafka接收交易平台发送的交易数据和接口规范数据；
对象生成模块，用于...

【专利技术属性】
技术研发人员：李响，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：北京;11