数据处理的方法及相关装置制造方法及图纸

本申请实施例公开了一种数据处理的方法及相关装置，其中方法的实现包括：数据库把业务操作记录到二进制日志中；数据引擎从数据库中复制二进制日志；数据引擎对二进制日志进行处理，得到目标业务数据；数据引擎将目标业务数据存入数据库的宽表中；服务器根据业务需求对宽表进行封装，得到供用户设备调用的应用软件接口API。采用本申请实施例的方法，数据引擎可以基于主从机制直接从数据库复制业务操作的二进制日志，经过解析得到业务数据，降低了因不同端产生的数据差异性导致的额外开发成本；同时，服务器将报表封装为API供用户设备调用，不仅可以实现将数据可视化的展示给用户，还可以方便业务人员对用户进行多维度分析。还可以方便业务人员对用户进行多维度分析。还可以方便业务人员对用户进行多维度分析。

【技术实现步骤摘要】
数据处理的方法及相关装置


[0001]本申请涉及数据处理与分析领域，特别是涉及一种数据处理的方法及相关装置。

技术介绍

[0002]现阶段的客户端相关设计中，实现对来自不同端用户数据分析处理的方式为：开发者收集不同端的用户数据并持久化保存；然后对所采集到的用户数据进行数据处理；开发者需要针对不同端的用户数据抽取共同性及差异性，将其编码到系统中，实现对不同端的用户数据的可视化和数据分析等各项功能。
[0003]现阶段的方式中，所获取的不同端的用户数据每接入一个新的平台就需要对其进行兼容处理，且每一项数据处理工作都需要进行侵入式的代码开发和增加新的判断规则，极大地增加了开发人员的工作量。

技术实现思路

[0004]本申请实施例提供了一种数据处理的方法及相关装置，以期实现对数据库中的原始业务数据的有效清洗得到目标业务数据，并且将目标业务数据存入到数据库的宽表中，有服务器进行封装为应用接口，更方便用户或开发人员的远程调用。
[0005]第一方面，本申请实施例提供了一种数据处理的方法，其特征在于，所述数据处理方法用于服务器，所述服务器包括数据库和数据引擎；所述方法包括：
[0006]所述数据库把业务操作记录到二进制日志中，所述二进制日志用于记录所述业务操作产生的业务数据；
[0007]所述数据引擎从所述数据库中复制所述二进制日志；
[0008]所述数据引擎对所述二进制日志进行处理，得到目标业务数据；
[0009]所述数据引擎将所述目标业务数据存入所述数据库的宽表中，所述宽表是一张将所述目标业务数据相关的数据指标、维度、属性关联在一起的数据库表；
[0010]所述服务器根据业务需求对所述宽表进行封装，得到供用户设备调用的应用软件接口API。
[0011]第二方面，本申请实施例提供了一种数据处理的装置，其特征在于，包括：
[0012]数据处理单元，所述采集单元用于采集不同用户端的用户数据；
[0013]数据存储单元，所述数据存储单元用于将业务操作记录到二进制日志中，所述二进制日志用于记录所述业务操作产生的业务数据；
[0014]数据引擎单元，所述数据引擎单元用于从所述数据库中复制所述二进制日志；对所述二进制日志进行处理，得到目标业务数据；将所述目标业务数据存入所述数据存储单元的宽表中，所述宽表是一张将所述目标业务数据相关的数据指标、维度、属性关联在一起的数据库表；
[0015]数据封装单元，所述数据封装单元用于根据业务需求对所述宽表进行封装，得到供用户设备调用的应用软件接口API。
[0016]第三方面，本申请实施例提供了一种电子设备，上述设备包括：
[0017]一个或多个处理器；
[0018]一个或多个存储器，用于存储程序，
[0019]一个或多个通信接口，所述通信接口用于进行无线通信，所述存储器和所述通信接口相互连接，并且完成相互间的通信工作；
[0020]一个或多个存储器和程序被配置为，由一个或多个处理器控制所述设备执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
[0021]第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质中存储有用于电子数据交换的计算机程序，计算机程序包括执行指令，执行指令用于执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
[0022]第五方面，本申请实施例提供了一种计算机程序产品，其中，计算机程序产品包括计算机程序，计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
[0023]可以看出，本申请实施例中，通过数据库把业务操作记录到二进制日志中；数据引擎从数据库中复制二进制日志；数据引擎对二进制日志进行处理，得到目标业务数据；数据引擎将目标业务数据存入数据库的宽表中；服务器根据业务需求对宽表进行封装，得到供用户设备调用的应用软件接口API。采用本申请实施例的方法，数据引擎可以基于主从机制直接从数据库复制业务操作的二进制日志，经过解析得到业务数据，降低了因不同端产生的数据差异性导致的额外开发成本；同时，服务器将报表封装为API供用户设备调用，不仅可以实现将数据可视化的展示给用户，还可以方便业务人员对用户进行多维度分析。
附图说明
[0024]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0025]图1是本申请实施例提供的一种系统架构的结构示意图；
[0026]图2是本申请实施例提供的一种数据处理的方法的流程示意图；
[0027]图3是本申请实施例提供的一种数据库主从机制实现数据复制的流程示意图；
[0028]图4是本申请实施例提供的一种数据清洗的流程示意图；
[0029]图5是本申请实施例提供的一种消息队列数据处理系统的结构示意图；
[0030]图6是本申请实施例提供的一种消息队列进行数据处理的流程示意图；
[0031]图7是本申请实施例提供的一种数据处理装置的结构示意图；
[0032]图8是本申请实施例提供的另一种数据处理装置的结构示意图。
具体实施方式
[0033]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员
在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0034]本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤的过程、方法、系统、产品或设备没有限定于已列出的步骤，而是可选地还包括没有列出的步骤，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤。
[0035]在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
[0036]相关设计中，实现对来自不同端用户数据处理的方式为：开发者收集不同端的用户数据并持久化保存；然后对所采集到的用户数据进行数据处理；开发者需要针对不同端的用户数据抽取共同性及差异性，将其编码到系统中，实现对不同端的用户数据的可视化和数据分析等各项功能。这种方式中，所获取的不同端的用户数据每本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理的方法，其特征在于，所述数据处理方法用于服务器，所述服务器包括数据库和数据引擎；所述方法包括：所述数据库把业务操作记录到二进制日志中，所述二进制日志用于记录所述业务操作产生的业务数据；所述数据引擎从所述数据库中复制所述二进制日志；所述数据引擎对所述二进制日志进行处理，得到目标业务数据；所述数据引擎将所述目标业务数据存入所述数据库的宽表中，所述宽表是一张将所述目标业务数据相关的数据指标、维度、属性关联在一起的数据库表；所述服务器根据业务需求对所述宽表进行封装，得到供用户设备调用的应用软件接口API。2.根据权利要求1所述的方法，其特征在于，所述业务操作包括以下至少一种：数据表创建、数据插入、数据更新、数据删除；所述业务操作以日志事件的形式写入所述二进制日志中，所述二进制日志包括所述业务操作发生的时间戳、所述日志事件在所述二进制日志中的位置点以及所述业务操作产生的所述业务数据。3.根据权利要求1所述的方法，其特征在于，所述数据引擎从所述数据库中复制所述二进制日志，所述方法包括：所述数据引擎向所述数据库发送针对所述二进制日志的请求信息，所述请求信息中包含所述时间戳；所述数据库根据所述时间戳确定所述位置点；所述数据库将所述位置点处的所述二进制日志发送至所述数据引擎；所述数据引擎将所述二进制日志复制到中继日志中。4.根据权利要求3所述的方法，其特征在于，所述数据引擎将所述二进制日志复制到中继日志中之后，所述方法还包括：所述数据引擎解析所述中继日志中的所述业务数据。5.根据权利要求3所述的方法，其特征在于，所述数据引擎检测到所述中继日志的内容更新，解析所述中继日志中的所述业务数据之前，所述方法还包括：所述数据引擎根据所述业务需求进行规则参数配置，所述规则参数包括：数据来源、数据连接条件、数据过滤条件、数据聚合条件、数据清洗条件以及所述宽表的字段映射配置；所述...

【专利技术属性】
技术研发人员：朱文熹，
申请(专利权)人：深圳思为科技有限公司，
类型：发明
国别省市：