【技术实现步骤摘要】
本专利技术涉及数据采集领域，具体涉及采集业务数据的系统、方法、存储介质及设备。
技术介绍
1、随着互联网信息服务的发展，数据化业务的范围不断扩大发展，用户交易行为的数据量日益俱增。对于交易风控来说，如何利用海量数据快速识别出潜在的交易风险是一个困难且迫切的问题。因此，面对海量数据的情况下，如何实现精确、高时效性、不耦合核心业务地采集数据，已成为当前急需解决的问题。
2、现有的数据采集方式通常是基于spring框架的面向切面编程(apo)思想，通过在业务系统代码块手动埋点，结合通信协议的方式，将期望埋点的数据同步到目标接收点，最终完成数据采集链路。这种方式在一定程度上保证了数据采集，但会手动埋点工程量极大，容易出现错误，并且容易影响到埋点所在的接口的整体性能指标，存在采集逻辑修改影响业务代码稳定运行的风险，同时增大回归测试的工作量，功能性模块无法实现与业务的耦合，无法保证业务稳定性能否满足生产需要，加大影响业务稳定运行的风险。
技术实现思路
1、基于此，本专利技术提供采集业务数据的系统、方法、存储介质及设备，通过按需加载采集业务数据的系统，对内存数据进行修改或者重新加载，从而实现埋点采集逻辑和业务逻辑隔离的效果，降低生产服务运行的风险，提高生产稳定性。
2、第一方面，本专利技术提供一种采集业务数据的系统，所述系统包括注册中心、数据过滤器、数据适配器和数据批处理器；
3、所述注册中心分别与数据过滤器、数据适配器和数据批处理器通信连接；
4
5、第二方面，本专利技术提供一种采集业务数据的方法，应用于如第一方面所述的采集业务数据的系统，包括：
6、根据接收到的交易系统启动的触发信息，将所述采集业务数据的系统通过外部插件的方式挂载至交易系统，并根据接收到的交易系统元数据进行注册处理；
7、接收交易系统发送的交易行为数据；
8、根据交易系统元数据对应的过滤规则，对所述交易行为数据进行筛选处理，得到第一交易行为数据；
9、根据交易系统元数据对应的适配规则，对所述第一交易行为数据进行数据转换处理，得到第二交易行为数据；
10、根据交易系统元数据对应的批处理条件，若所述第二交易行为数据满足所述批处理条件，将所述第二交易行为数据加入批处理队列；
11、若所述批处理队列满足预设的批处理发送条件，将所述批处理队列发送至下游服务器进行业务处理，并将处理后的交易行为数据进行存储。
12、进一步的，所述采集业务数据的方法还包括：
13、当所述批处理队列不满足批处理发送条件，且所述批处理队列的等待时间大于预设的第一阈值时，将所述批处理队列发送至下游服务器进行业务处理，并将处理后的交易行为数据进行存储。
14、进一步的，所述根据接收到的交易系统元数据进行注册处理，包括：
15、将接收到的交易系统元数据输入解析器按预设的规则进行数据解析，得到解析后的元数据；
16、将所述解析后的元数据发送至数据存储器进行保存。
17、第三方面，本专利技术还提供一种采集业务数据的方法，应用于第一方面所述的注册中心，包括：
18、将接收到的交易系统元数据输入解析器按预设的规则进行数据解析，得到解析后的元数据；
19、将所述解析后的元数据发送至数据存储器进行保存。
20、第四方面，本专利技术还提供一种采集业务数据的方法，应用于第一方面所述的过滤器，包括：
21、接收交易系统发送的交易行为数据，并根据所述交易行为数据向注册中心发送注册信息拉取请求；
22、接收注册中心返回的交易系统元数据，判断所述过滤器的动态开关是否开启；
23、若所述过滤器的动态开关开启，根据所述交易系统元数据对应的过滤规则，对所述交易行为数据进行筛选处理，得到第一交易行为数据；
24、将所述第一交易行为数据发送至适配器。
25、第五方面，本专利技术还提供一种采集业务数据的方法，应用于第一方面所述的适配器，包括：
26、接收过滤器发送的第一交易行为数据，并根据所述第一交易行为数据向注册中心发送注册信息拉取请求；
27、接收注册中心返回的交易系统元数据，根据所述交易系统元数据对应的适配规则，对所述第一交易行为数据进行数据转换处理，得到第二交易行为数据；
28、将所述第二交易行为数据发送至数据批处理器。
29、第六方面，本专利技术还提供一种采集业务数据的方法，应用于第一方面所述的数据批处理器，包括：
30、接收适配器发送的第二交易行为数据，并根据所述第二交易行为数据向注册中心发送注册信息拉取请求；
31、接收注册中心返回的交易系统元数据，根据所述交易系统元数据得到对应的批处理条件；
32、若所述第二交易行为数据满足所述批处理条件，将所述第二交易行为数据加入批处理队列；
33、若所述批处理队列满足预设的批处理发送条件，将所述批处理队列发送至下游服务器进行业务处理，并将处理后的交易行为发送至数据存储器进行保存。
34、第七方面，本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第二方面、第三方面、第四方面、第五方面和第六方面中任一项采集业务数据的方法的步骤。
35、第八方面，本专利技术还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，执行第二方面、第三方面、第四方面、第五方面和第六方面中任一项采集业务数据的方法。
36、采用上述技术方案的有益效果为：设计无侵入动态配置埋点的采集业务数据的系统，通过动态按需加载采集业务数据的系统，对内存数据进行修改或者重新加载，从而实现埋点采集逻辑和业务逻辑隔离的效果，降低生产服务运行的风险，提高生产稳定性。
本文档来自技高网...【技术保护点】
1.一种采集业务数据的系统，其特征在于，所述系统包括注册中心、数据过滤器、数据适配器和数据批处理器；
2.一种采集业务数据的方法，应用于如权利要求1所述的采集业务数据的系统，其特征在于，包括：
3.如权利要求2所述的采集业务数据的方法，其特征在于，还包括：
4.如权利要求2所述的采集业务数据的方法，其特征在于，所述根据接收到的交易系统元数据进行注册处理，包括：
5.一种采集业务数据的方法，应用于如权利要求1所述的注册中心，其特征在于，包括：
6.一种采集业务数据的方法，应用于如权利要求1所述的过滤器，其特征在于，包括：
7.一种采集业务数据的方法，应用于如权利要求1所述的适配器，其特征在于，包括：
8.一种采集业务数据的方法，应用于如权利要求1所述的数据批处理器，其特征在于，包括：
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求2-8中任一项采集业务数据的方法的步骤。
10.一种计算机设备，包括存储器和处理器，所述存储
...【技术特征摘要】
1.一种采集业务数据的系统，其特征在于，所述系统包括注册中心、数据过滤器、数据适配器和数据批处理器；
2.一种采集业务数据的方法，应用于如权利要求1所述的采集业务数据的系统，其特征在于，包括：
3.如权利要求2所述的采集业务数据的方法，其特征在于，还包括：
4.如权利要求2所述的采集业务数据的方法，其特征在于，所述根据接收到的交易系统元数据进行注册处理，包括：
5.一种采集业务数据的方法，应用于如权利要求1所述的注册中心，其特征在于，包括：
6.一种采集业务数据的方法，应用于如权利要求1...
【专利技术属性】
技术研发人员：黄佳欣，
申请(专利权)人：广州趣研网络科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。