数据的采集方法及装置、存储介质、电子设备制造方法及图纸

本发明专利技术公开了一种数据的采集方法及装置、存储介质、电子设备，其中，该方法包括：监听客户端的日志文件产生的增量数据；采用汇聚节点sink将所述增量数据传输至订阅消息系统；接收数据库的数据拉取请求，从所述订阅消息系统向所述数据库下发与目标topic匹配的目标数据，其中，所述数据拉取请求携带所述目标topic的标识字段。通过本发明专利技术，解决了相关技术中数据的采集率低的技术问题，同时降低了业务服务代码的冗余度。码的冗余度。码的冗余度。

【技术实现步骤摘要】
数据的采集方法及装置、存储介质、电子设备


[0001]本专利技术涉及计算机领域，具体而言，涉及一种数据的采集方法及装置、存储介质、电子设备。

技术介绍

[0002]相关技术中，目前市场数据采集方案中，常见的方式是在系统代码中直接添加采集数据的逻辑代码，执行相关业务之后，继续执行采集数据的代码逻辑，将需要采集的数据保存到数据库中，根据目前有的数据采集方式，可以满足要求，能够帮助解决数据采集的问题，进而能解决现实的问题。
[0003]针对相关技术中的采集方案，存在以下问题：通过在业务代码中添加数据采集的代码方式，这样会导致对业务代码有代码入侵，采集的代码的逻辑出现问题，可能影响实际的业务操作，业务代码和采集数据的代码紧紧联系在一起，代码是高耦合，不利于业务扩展。不利于业务扩展等问题、不利于系统功能做大做强等等。以上方案都是针对当前业务服务所做的一些处理，数据的采集依赖于当前服务。
[0004]针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。

技术实现思路

[0005]本专利技术实施例提供了一种数据的采集方法及装置、存储介质、电子设备。
[0006]根据本申请实施例的一个方面，提供了一种数据的采集方法，包括：监听客户端的日志文件产生的增量数据；采用汇聚节点sink将所述增量数据传输至订阅消息系统；接收数据库的数据拉取请求，从所述订阅消息系统向所述数据库下发与目标topic匹配的目标数据，其中，所述数据拉取请求携带所述目标topic的标识字段。
[0007]进一步，监听客户端的日志文件产生的增量数据包括：监听所述客户端的请求任务或者定时任务的触发状态，其中，所述触发状态用于表征所述请求任务或者定时任务是否被触发，以及所述请求任务或者定时任务的调用进程；若监听到所述客户端的请求任务或者定时任务被目标业务服务调用，监听所述客户端的配置文件的读写状态；若所述配置文件将所述目标业务服务产生的用户行为日志数据写入到日志文件，监听所述日志文件的增量数据。
[0008]进一步，监听客户端的日志文件产生的增量数据包括：在第一监听周期监听第一客户端的java语言脚本在所述日志文件中写入的第一增量数据；以及在第一监听周期监听第二客户端的python语言脚本在所述日志文件中写入的第一增量数据，其中，所述增量数据包括：所述第一增量数据，所述第一增量数据；在所述日志文件的磁盘空间中查找与所述第一监听周期匹配的目标时域空间，并将所述第一增量数据和所述第一增量数据缓存至所述目标时域空间，其中，每个时域空间对应一个监听周期，所述磁盘空间包括多个按照时序排列的时域空间。
[0009]进一步，从所述订阅消息系统向所述数据库下发与目标topic匹配的目标数据包
括：从所述订阅消息系统中读取所述增量数据；根据对象标识object Id从所述增量数据中筛选符合预设条件的第一目标数据；从所述第一目标数据向所述数据库下发与目标topic匹配的第二目标数据。
[0010]进一步，根据对象标识object Id从所述增量数据中筛选符合预设条件的第一目标数据包括：对所述增量数据进行分段处理，其中，每个单位增量的分段数据包括：topic字段、object字段、消息字段、时间字段；针对每个分段数据，读取所述object字段的第一字段内容，判断所述第一字段内容是否为空字符；若所述第一字段内容为有效字符，保留对应的第一分段数据；若所述第一字段内容为空字符，删除对应的第二分段数据；读取所述时间字段中的时间戳，并按照所述时间戳对多个所述第一分段数据进行排序，组合得到所述第一目标数据。
[0011]进一步，采用汇聚节点sink将所述增量数据传输至订阅消息系统包括：在数据采集请求的逻辑代码的方法脚本的切面类中埋点@Token注解，其中，所述@Token注解用于将所述客户端产生的增量数据保存至所述日志文件；向所述客户端发送所述数据采集请求，并采用汇聚节点sink将所述日志文件中的所述增量数据传输至订阅消息系统。
[0012]进一步，在从所述订阅消息系统向所述数据库下发与目标topic匹配的目标数据之后，所述方法还包括：接收展示端的超文本传输协议请求，其中，所述超文本传输协议请求的通信套接字中携带显示参数和显示接口；在所述目标数据中查询与所述显示参数和显示接口匹配的展示数据，并将所述展示数据发送至所述展示端，以使所述展示数据呈现在所述展示端。
[0013]根据本申请实施例的另一个方面，还提供了一种数据的采集装置，包括：监听模块，用于监听客户端的日志文件产生的增量数据；传输模块，用于采用汇聚节点sink将所述增量数据传输至订阅消息系统；下发模块，用于接收数据库的数据拉取请求，从所述订阅消息系统向所述数据库下发与目标topic匹配的目标数据，其中，所述数据拉取请求携带所述目标topic的标识字段。
[0014]进一步，所述监听模块包括：第一监听单元，用于监听所述客户端的请求任务或者定时任务的触发状态，其中，所述触发状态用于表征所述请求任务或者定时任务是否被触发，以及所述请求任务或者定时任务的调用进程；第二监听单元，用于若监听到所述客户端的请求任务或者定时任务被目标业务服务调用，监听所述客户端的配置文件的读写状态；第三监听单元，用于若所述配置文件将所述目标业务服务产生的用户行为日志数据写入到日志文件，监听所述日志文件的增量数据。
[0015]进一步，所述监听模块包括：第四监听单元，用于在第一监听周期监听第一客户端的java语言脚本在所述日志文件中写入的第一增量数据；以及在第一监听周期监听第二客户端的python语言脚本在所述日志文件中写入的第一增量数据，其中，所述增量数据包括：所述第一增量数据，所述第一增量数据；缓存单元，用于在所述日志文件的磁盘空间中查找与所述第一监听周期匹配的目标时域空间，并将所述第一增量数据和所述第一增量数据缓存至所述目标时域空间，其中，每个时域空间对应一个监听周期，所述磁盘空间包括多个按照时序排列的时域空间。
[0016]进一步，所述下发模块包括：读取单元，用于从所述订阅消息系统中读取所述增量数据；筛选单元，用于根据对象标识object Id从所述增量数据中筛选符合预设条件的第一
目标数据；下发单元，用于从所述第一目标数据向所述数据库下发与目标topic匹配的第二目标数据。
[0017]进一步，所述筛选单元包括：分段子单元，用于对所述增量数据进行分段处理，其中，每个单位增量的分段数据包括：topic字段、object字段、消息字段、时间字段；处理子单元，用于针对每个分段数据，读取所述object字段的第一字段内容，判断所述第一字段内容是否为空字符；若所述第一字段内容为有效字符，保留对应的第一分段数据；若所述第一字段内容为空字符，删除对应的第二分段数据；排序子单元，用于读取所述时间字段中的时间戳，并按照所述时间戳对多个所述第一分段数据进行排序，组合得到所述第一目标数据。
[0018]进一步，所述传输模块包括：埋点单元，用于在数据采集请求的逻辑代码的装置脚本的切本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据的采集方法，其特征在于，包括：监听客户端的日志文件产生的增量数据；采用汇聚节点sink将所述增量数据传输至订阅消息系统；接收数据库的数据拉取请求，从所述订阅消息系统向所述数据库下发与目标topic匹配的目标数据，其中，所述数据拉取请求携带所述目标topic的标识字段。2.根据权利要求1所述的方法，其特征在于，监听客户端的日志文件产生的增量数据包括：监听所述客户端的请求任务或者定时任务的触发状态，其中，所述触发状态用于表征所述请求任务或者定时任务是否被触发，以及所述请求任务或者定时任务的调用进程；若监听到所述客户端的请求任务或者定时任务被目标业务服务调用，监听所述客户端的配置文件的读写状态；若所述配置文件将所述目标业务服务产生的用户行为日志数据写入到日志文件，监听所述日志文件的增量数据。3.根据权利要求1所述的方法，其特征在于，监听客户端的日志文件产生的增量数据包括：在第一监听周期监听第一客户端的java语言脚本在所述日志文件中写入的第一增量数据；以及在第一监听周期监听第二客户端的python语言脚本在所述日志文件中写入的第一增量数据，其中，所述增量数据包括：所述第一增量数据，所述第一增量数据；在所述日志文件的磁盘空间中查找与所述第一监听周期匹配的目标时域空间，并将所述第一增量数据和所述第一增量数据缓存至所述目标时域空间，其中，每个时域空间对应一个监听周期，所述磁盘空间包括多个按照时序排列的时域空间。4.根据权利要求1所述的方法，其特征在于，从所述订阅消息系统向所述数据库下发与目标topic匹配的目标数据包括：从所述订阅消息系统中读取所述增量数据；根据对象标识object Id从所述增量数据中筛选符合预设条件的第一目标数据；从所述第一目标数据向所述数据库下发与目标topic匹配的第二目标数据。5.根据权利要求4所述的方法，其特征在于，根据对象标识object Id从所述增量数据中筛选符合预设条件的第一目标数据包括：对所述增量数据进行分段处理，其中，每个单位增量的分段数据包括：topic字段、object...

【专利技术属性】
技术研发人员：熊皓，成建洪，罗启铭，杜冬冬，陈功，覃江威，吴育校，刘小双，廖宏军，冯建设，
申请(专利权)人：深圳市信润富联数字科技有限公司，
类型：发明
国别省市：