【技术实现步骤摘要】
数据的采集方法及装置、存储介质、电子设备
[0001]本专利技术涉及计算机领域，具体而言，涉及一种数据的采集方法及装置、存储介质、电子设备。
技术介绍
[0002]相关技术中，目前市场数据采集方案中，常见的方式是在系统代码中直接添加采集数据的逻辑代码，执行相关业务之后，继续执行采集数据的代码逻辑，将需要采集的数据保存到数据库中，根据目前有的数据采集方式，可以满足要求，能够帮助解决数据采集的问题，进而能解决现实的问题。
[0003]针对相关技术中的采集方案，存在以下问题：通过在业务代码中添加数据采集的代码方式，这样会导致对业务代码有代码入侵，采集的代码的逻辑出现问题，可能影响实际的业务操作，业务代码和采集数据的代码紧紧联系在一起，代码是高耦合，不利于业务扩展。不利于业务扩展等问题、不利于系统功能做大做强等等。以上方案都是针对当前业务服务所做的一些处理，数据的采集依赖于当前服务。
[0004]针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。
技术实现思路
[0005]本专利技术实施例提供...
【技术保护点】
【技术特征摘要】
1.一种数据的采集方法，其特征在于，包括：监听客户端的日志文件产生的增量数据；采用汇聚节点sink将所述增量数据传输至订阅消息系统；接收数据库的数据拉取请求，从所述订阅消息系统向所述数据库下发与目标topic匹配的目标数据，其中，所述数据拉取请求携带所述目标topic的标识字段。2.根据权利要求1所述的方法，其特征在于，监听客户端的日志文件产生的增量数据包括：监听所述客户端的请求任务或者定时任务的触发状态，其中，所述触发状态用于表征所述请求任务或者定时任务是否被触发，以及所述请求任务或者定时任务的调用进程；若监听到所述客户端的请求任务或者定时任务被目标业务服务调用，监听所述客户端的配置文件的读写状态；若所述配置文件将所述目标业务服务产生的用户行为日志数据写入到日志文件，监听所述日志文件的增量数据。3.根据权利要求1所述的方法，其特征在于，监听客户端的日志文件产生的增量数据包括：在第一监听周期监听第一客户端的java语言脚本在所述日志文件中写入的第一增量数据；以及在第一监听周期监听第二客户端的python语言脚本在所述日志文件中写入的第一增量数据，其中，所述增量数据包括：所述第一增量数据，所述第一增量数据；在所述日志文件的磁盘空间中查找与所述第一监听周期匹配的目标时域空间，并将所述第一增量数据和所述第一增量数据缓存至所述目标时域空间，其中，每个时域空间对应一个监听周期，所述磁盘空间包括多个按照时序排列的时域空间。4.根据权利要求1所述的方法，其特征在于，从所述订阅消息系统向所述数据库下发与目标topic匹配的目标数据包括：从所述订阅消息系统中读取所述增量数据；根据对象标识object Id从所述增量数据中筛选符合预设条件的第一目标数据；从所述第一目标数据向所述数据库下发与目标topic匹配的第二目标数据。5.根据权利要求4所述的方法，其特征在于，根据对象标识object Id从所述增量数据中筛选符合预设条件的第一目标数据包括：对所述增量数据进行分段处理，其中，每个单位增量的分段数据包括：topic字段、object...
【专利技术属性】
技术研发人员：熊皓，成建洪，罗启铭，杜冬冬，陈功，覃江威，吴育校，刘小双，廖宏军，冯建设，
申请(专利权)人：深圳市信润富联数字科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。