数据处理方法和装置、数据中台系统制造方法及图纸

本公开提供了一种数据中台系统、数据处理方法和装置，涉及大数据技术领域。该数据中台系统的一具体实现方案为：接收与至少一个行业相关的至少一个预设类型的业务数据；响应于某一种预设类型的业务数据满足相应的规范标准，得到该预设类型的业务数据对应的规范数据，将至少一种预设类型的业务数据对应的规范数据进行融合，得到接入数据包；采用预先构建的数据仓库存储接入数据包，并对接入数据包进行处理得到处理数据，处理数据经过计算与统计得到至少一个行业的业务指标；基于处理数据和业务指标，对不同业务对象进行不同应用策略的展示。该实施方式打破了数据孤岛的问题，提高了数据产出的效率和准确性。数据产出的效率和准确性。数据产出的效率和准确性。

【技术实现步骤摘要】
数据处理方法和装置、数据中台系统


[0001]本公开涉及数据处理
，具体涉及大数据等
，尤其涉及一种数据处理方法和装置、数据中台系统、电子设备、计算机可读存储介质以及计算机程序产品。

技术介绍

[0002]数据中台是一个思维，一个概念，即将业务数据化，数据业务化，真正实现数据和业务进行打通，数据中台连接数据前台和后台，突破数据局限，为企业提供更灵活、高效、低成本的数据分析挖掘服务，避免企业为满足具体某部门某种数据分析需求而投放大量高成本、重复性的数据开发成本。
[0003]现有的数据中台系统一般是通过与多个业务的之间的上游数据进行交互，提取各行业之间的通用属性进行数据的抽取、存储、管理、应用，并向下游提供各通用指标的产出，但是由于各个行业之间的关注点不同，过分的求同而不存异，给各个行业带来的助力非常有限。

技术实现思路

[0004]本公开提供了一种数据中台系统、数据处理方法和装置、电子设备、计算机可读存储介质以及计算机程序产品。
[0005]根据第一方面，提供了一种数据处理方法，方法包括：接收与至少一个行业相关的至少一个预设类型的业务数据；响应于某一种预设类型的业务数据满足相应的规范标准，得到该预设类型的业务数据对应的规范数据，将至少一种预设类型的业务数据对应的规范数据进行融合，得到接入数据包；采用预先构建的数据仓库存储接入数据包，并对接入数据包进行处理得到处理数据，处理数据经过计算与统计得到至少一个行业的业务指标；基于处理数据和业务指标，对不同业务对象进行不同应用策略的展示。
[0006]根据第二方面，提供了一种数据处理装置，装置包括：接收单元，被配置成接收与至少一个行业相关的至少一个预设类型的业务数据；关联单元，被配置成响应于某一种预设类型的业务数据满足相应的规范标准，得到该预设类型的业务数据对应的规范数据，将至少一种预设类型的业务数据对应的规范数据进行融合，得到接入数据包；计算单元，被配置成采用预先构建的数据仓库存储接入数据包，对接入数据包进行处理得到处理数据，处理数据经过计算与统计得到至少一个行业的业务指标；展示单元，被配置成基于处理数据和业务指标，对不同业务对象进行不同应用策略的展示。
[0007]根据第三方面，提供了一种数据中台系统，该系统包括：数据接入模块，接收与至少一个行业相关的至少一个预设类型的业务数据，响应于某一种类型的业务数据满足相应的规范标准，得到该预设类型的业务数据对应的规范数据，将至少一种预设类型的业务数据对应的规范数据进行融合，得到接入数据包；数据管理模块，采用预先构建的数据仓库存储接入数据包，对接入数据包进行处理得到处理数据，处理数据经过计算与统计得到至少一个行业的业务指标；数据应用模块，针对不同业务对象，对处理数据和业务指标，进行不
同应用策略的展示。
[0008]根据第四方面，提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器，其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面任一实现方式描述的方法。
[0009]根据第五方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面任一实现方式描述的方法。
[0010]根据第六方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第一方面任一实现方式描述的方法。
[0011]本公开的实施例提供的数据处理方法，首先，接收与至少一个行业相关的至少一个预设类型的业务数据；其次，响应于某一种预设类型的业务数据满足相应的规范标准，得到该预设类型的业务数据对应的规范数据，将至少一种预设类型的业务数据对应的规范数据进行融合，得到接入数据包；再次，采用预先构建的数据仓库存储接入数据包，并对接入数据包进行处理得到处理数据，处理数据经过计算与统计得到至少一个行业的业务指标；最后，基于处理数据和业务指标，对不同业务对象进行不同应用策略的展示。由此，通过数据仓库生成的各个行业的业务指标，保留了各个行业中不同业务的独特特征；多种类业务数据的数据接入，能够快速和准确的实现业务数据流通体系的基础建设，为此可以便捷、低成本地在多个行业领域内进行复用；针对不同业务对象，提供不同的应用策略，为产品的定位和发展提供了可靠的指引，为挖掘数据的深层价值提供更多的数据和人力的支撑。
[0012]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0013]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0014]图1是根据本公开数据处理方法的一个实施例的流程图；
[0015]图2是根据本公开数据处理装置的一个实施例的结构示意图；
[0016]图3是根据本公开数据中台系统的一个实施例的结构示意图；
[0017]图4是根据本公开数据管理模块的一个实施例的结构示意图；
[0018]图5是用来实现本公开实施例的数据处理方法的电子设备的框图。
具体实施方式
[0019]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0020]图1示出了根据本公开数据处理方法的一个实施例的流程100，上述数据处理方法包括以下步骤：
[0021]步骤101，接收与至少一个行业相关的至少一个预设类型的业务数据。
[0022]本实施例中，业务数据是行业的业务相关的数据，其中，至少一个行业可以一个行
业，也可以是多个行业，例如，行业可以是酒店、影票、快递、教培、上门服务、生活服务等。业务是不同行业中不同服务，例如，酒店中的住宿业务。
[0023]本实施例中，数据处理方法运行于其上的执行主体可以通过多种方式获取预设类型的业务数据，例如，执行主体可以通过有线连接方式或无线连接方式，从数据库服务器中获取存储于其中的业务数据。再例如，用户可以通过与终端通信，实时获取终端所收集的至少一个行业相关的至少一个预设类型的业务数据。
[0024]本实施例中，预设类型的业务数据可以基于业务确定，例如，预设类型包括：日志型数据或维度数据。
[0025]本公开的技术方案中，所涉及的业务数据的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
[0026]步骤102，响应于某一种预设类型的业务数据满足相应的规范标准，得到该预设类型的业务数据对应的规范数据，将至少一种预设类型的业务数据对应的规范数据进行融合，得到接入数据包。
[0027]本实施例中，各种预设类型的数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，所述方法包括：接收与至少一个行业相关的至少一个预设类型的业务数据；响应于某一种预设类型的业务数据满足相应的规范标准，得到该预设类型的业务数据对应的规范数据，将至少一种预设类型的业务数据对应的规范数据进行融合，得到接入数据包；采用预先构建的数据仓库存储所述接入数据包，并对所述接入数据包进行处理得到处理数据，所述处理数据经过计算与统计得到所述至少一个行业的业务指标；基于所述处理数据和所述业务指标，对不同业务对象进行不同应用策略的展示。2.根据权利要求1所述的方法，所述方法还包括：响应于某一种预设类型的业务数据不满足相应的规范标准，基于该类型的业务数据的属性，补充该类型的业务数据。3.根据权利要求1所述的方法，其中，所述业务数据包括：日志型数据；所述响应于某一种预设类型的业务数据满足相应的规范标准，得到该预设类型的业务数据对应的规范数据，将至少一种预设类型的业务数据对应的规范数据进行融合，得到接入数据包，包括：响应于所述日志型数据满足5W标准，检测所述日志型数据的精度是否为预设粒度；响应于所述日志型数据的精度为预设粒度，检测所述日志型数据是否满足传递连贯规则；响应于所述日志型数据满足传递连贯规则，得到规范数据，检测是否有与所述规范数据相关的数据；响应于有与所述规范数据相关的数据，将与所述规范数据相关的数据与所述规范数据进行关联，得到接入数据包。4.根据权利要求3所述的方法，其中，所述业务数据还包括：维度数据；所述响应于某一种预设类型的业务数据满足相应的规范标准，得到该预设类型的业务数据对应的规范数据，将至少一种预设类型的业务数据对应的规范数据进行融合，得到接入数据包，还包括：确定所述维度数据的丰富度；响应于所述维度数据的丰富度满足预设的丰富度值，检测所述维度数据是否满足预设的格式；响应于所述维度数据满足预设的格式，将所述维度数据作为所述规范数据中的一种，并在所述维度数据与所述日志型数据相关时，使所述维度数据与所述日志型数据使用相同的键值。5.根据权利要求4所述的方法，所述响应于某一种预设类型的业务数据满足相应的规范标准，得到该预设类型的业务数据对应的规范数据，将至少一种预设类型的业务数据对应的规范数据进行融合，得到接入数据包，还包括：在所述日志型数据中记录相关的维度数据的键值。6.根据权利要求1
‑
5之一所述的方法，其中，所述处理数据经过计算与统计得到所述至少一个行业的业务指标包括：对所述处理数据进行抽取、转换以及加载处理，得到基础数据表；对所述基础数据表进行特征抽取、维度聚合，得到中间表；基于所述基础数据表和所述中间表，得到所述至少一个行业的业务主题表；
基于所述基础数据表、所述中间表和所述业务主题表，计算并展示所述至少一个行业的业务指标。7.根据权利要求6所述的方法，其中，所述基于所述处理数据和所述业务指标，对不同业务对象进行不同应用策略的展示，包括：针对业务产品，基于所述处理数据和所述业务指标，构建并展示业务产品报表；针对工程对象，基于所述业务指标，确定关键指标，构建所述关键指标报警规则，通过所述报警规则和所述处理数据，抽取并展示异常数据；针对策略对象，基于所述处理数据和所述业务指标，构建小流量试验平台，反馈所述试验平台的测试结果。8.根据权利要求7所述的方法，其中，所述业务数据包括：车辆行业维度数据以及个体行为数据；所述接入数据包括：车辆外观、车型、价格、个体的位置；所述处理数据包括：不同位置的个体与车辆外观关联表、车辆与价格关联表、不同位置的个体与价格关联表、不同位置的个体与车型关联表；所述业务指标包括：业务覆盖度分布指标，业务覆盖度趋势指标。9.一种数据处理装置，所述装置包括：接收单元，被配置成接收与至少一个行业相关的至少一个预设类型的业务数据；关联单元，被配置成响应于某一种预设类型的业务数据满足相应的规范标准，得到该预设类型的业务数据对应的规范数据，将至少一种预设类型的业务数据对应的规范数据进行融合，得到接入数据包；计算单元，被配置成采用预先构建的数据仓库存储所述接入数据包，对所述接入数据包进行处理得到处理数据，所述处理数据经过计算与统计得到所述至少一个行业的业务指标；展示单元，被配置成基于所述处理数据和所述业务指标，对不同业务对象进行不同应用策略的展示。10.根据权利要求9所述的装置，所述装置还包括：补充单元，被配置成响应于某一种预设类型的业务数据不满足相应的规范标准，基于该类型的业务数据的属性，补充该类型的业务数据。11.根据权利要求9所述的装置，其中，所述业务数据包括：日志型数据；所述关联单元进一步被配置成：响应于所述日志型数据满足5W标准，检测所述日志型数据的精度是否为预设粒度；响应于所述日志型数据的精度为预设粒度，检测所述日志型数据是否满足传递连贯规则；响应于所述日志型数据满足传递连贯规则，得到规范数据，检测是否有与所述规范数据相关的数据；...

【专利技术属性】
技术研发人员：李翛然，于琳琳，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：