数据处理的方法及相关装置制造方法及图纸

本申请实施例公开了一种数据处理的方法及相关装置，其中方法的实现包括：数据库把业务操作记录到二进制日志中；数据引擎从数据库中复制二进制日志；数据引擎对二进制日志进行处理，得到目标业务数据；数据引擎将目标业务数据存入数据库的宽表中；服务器根据业务需求对宽表进行封装，得到供用户设备调用的应用软件接口API。采用本申请实施例的方法，数据引擎可以基于主从机制直接从数据库复制业务操作的二进制日志，经过解析得到业务数据，降低了因不同端产生的数据差异性导致的额外开发成本；同时，服务器将报表封装为API供用户设备调用，不仅可以实现将数据可视化的展示给用户，还可以方便业务人员对用户进行多维度分析。还可以方便业务人员对用户进行多维度分析。还可以方便业务人员对用户进行多维度分析。

【技术实现步骤摘要】
数据处理的方法及相关装置


[0001]本申请涉及数据处理与分析领域，特别是涉及一种数据处理的方法及相关装置。

技术介绍

[0002]现阶段的客户端相关设计中，实现对来自不同端用户数据分析处理的方式为：开发者收集不同端的用户数据并持久化保存；然后对所采集到的用户数据进行数据处理；开发者需要针对不同端的用户数据抽取共同性及差异性，将其编码到系统中，实现对不同端的用户数据的可视化和数据分析等各项功能。
[0003]现阶段的方式中，所获取的不同端的用户数据每接入一个新的平台就需要对其进行兼容处理，且每一项数据处理工作都需要进行侵入式的代码开发和增加新的判断规则，极大地增加了开发人员的工作量。

技术实现思路

[0004]本申请实施例提供了一种数据处理的方法及相关装置，以期实现对数据库中的原始业务数据的有效清洗得到目标业务数据，并且将目标业务数据存入到数据库的宽表中，有服务器进行封装为应用接口，更方便用户或开发人员的远程调用。
[0005]第一方面，本申请实施例提供了一种数据处理的方法，其特征在于，所述数据处理方法用于服务器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理的方法，其特征在于，所述数据处理方法用于服务器，所述服务器包括数据库和数据引擎；所述方法包括：所述数据库把业务操作记录到二进制日志中，所述二进制日志用于记录所述业务操作产生的业务数据；所述数据引擎从所述数据库中复制所述二进制日志；所述数据引擎对所述二进制日志进行处理，得到目标业务数据；所述数据引擎将所述目标业务数据存入所述数据库的宽表中，所述宽表是一张将所述目标业务数据相关的数据指标、维度、属性关联在一起的数据库表；所述服务器根据业务需求对所述宽表进行封装，得到供用户设备调用的应用软件接口API。2.根据权利要求1所述的方法，其特征在于，所述业务操作包括以下至少一种：数据表创建、数据插入、数据更新、数据删除；所述业务操作以日志事件的形式写入所述二进制日志中，所述二进制日志包括所述业务操作发生的时间戳、所述日志事件在所述二进制日志中的位置点以及所述业务操作产生的所述业务数据。3.根据权利要求1所述的方法，其特征在于，所述数据引擎从所述数据库中复制所述二进制日志，所述方法包括：所述数据引擎向所述数据库发送针对所述二进制日志的请求信息，所述请求信息中包含所述时间戳；所述数据库根据所述时间戳确定所述位置点；所述数据库将所述位置点处的所述二进制日志发送至所述数据引擎；所述数据引擎将所述二进制日志复制到中继日志中。4.根据权利要求3所述的方法，其特征在于，所述数据引擎将所述二进制日志复制到中继日志中之后，所述方法还包括：所述数据引擎解析所述中继日志中的所述业务数据。5.根据权利要求3所述的方法，其特征在于，所述数据引擎检测到所述中继日志的内容更新，解析所述中继日志中的所述业务数据之前，所述方法还包括：所述数据引擎根据所述业务需求进行规则参数配置，所述规则参数包括：数据来源、数据连接条件、数据过滤条件、数据聚合条件、数据清洗条件以及所述宽表的字段映射配置；所述...

【专利技术属性】
技术研发人员：朱文熹，
申请(专利权)人：深圳思为科技有限公司，
类型：发明
国别省市：