一种实时数据中台的处理方法、装置及平台制造方法及图纸

本发明专利技术涉及一种实时数据中台的处理方法、装置及平台，该方法包括：根据客户类型与预设数据同步服务库部署策略、数据转化服务库部署策略及环境配置管理的对应关系，构建数据同步服务库及数据转化服务库；接收业务数据并分析得到其数据源特征信息，根据数据源特征信息调取对应的目标数据转换策略，将业务数据转换为对应的存储数据；基于客户类型及预设的存储数据标识策略构建存储数据的存储标识；根据存储标识及预设的存储策略将存储数据聚合存储至对应的数据同步服务库、数据转化服务库，并将存储标识发送至数据查询目录中存储。本发明专利技术支持多种目标数据库及数据源的增量数据同步，便于用户理解数据含义。

【技术实现步骤摘要】
一种实时数据中台的处理方法、装置及平台
本专利技术涉及数据处理的
，具体涉及一种实时数据中台的处理方法、装置及平台。
技术介绍
随着互联网的发展，企业业务系统增多，数据来源各种各样，经营所需的数据需求高频且多样，但是数据系统复杂、数据不统一，数据分析速度、数据准确一致性难保障，战略决策与数据化运营受阻，所以需要一个数据中台提供稳定一致数据访问服务。目前各个用户在数据开发领域的痛点包括如下内容：数据源繁杂，各类信息系统产生的数据，无法高效抽取使用。数据处理管理软件繁多，不同供应商的软件套装连通困难，缺乏一致性用户体验。数据孤岛，难以发挥数据价值。数据管理困难，受限于开发语言、技术框架、数据存储等诸多技术问题，无法进行统一管理。重复开发，缺少规范和共享及规划机制，重复开发，浪费严重。基于以上诸多业务痛点，针对客户需要构建“全”、“统”及“通”的大数据体系，即能够支持对企业全域数据按照统一规范进行管理，统一入口完成数据交付服务，各个组件环节都能够连接打通方便客户更好的专注于数据应用开发层面工作的实时数据中台的处理方案是本领域亟待解决的技术问题。
技术实现思路
本专利技术的目的在于针对现有技术的不足而提供一种实时数据中台的处理方法、装置及平台。本专利技术的目的可以通过如下所述技术方案来实现。本专利技术提供一种实时数据中台的处理方法，包括：预设客户类型与实时数据中各个数据类型之间的对应关系，设置各个所述数据类型到存储数据类型之间的数据转换策略；根据客户类型与预设数据同步服务库部署策略、数据转化服务库部署策略及环境配置管理的对应关系，构建数据同步服务库及数据转化服务库；接收业务数据并分析得到其数据源特征信息，根据所述数据源特征信息调取对应的目标数据转换策略，将所述业务数据转换为对应的存储数据；基于所述客户类型及预设的存储数据标识策略构建所述存储数据的存储标识；根据所述存储标识及预设的存储策略将所述存储数据聚合存储至对应的所述数据同步服务库、数据转化服务库，并将所述存储标识发送至数据查询目录中存储。可选地，其中，该方法还包括：预设客户类型与访问客户端的权限管理策略对应关系；检测到访问客户端时，根据所述权限管理策略对应关系得到所述访问客户端的权限；根据所述访问客户端的权限调取对应的访问数据。可选地，其中，该方法还包括：接收客户端的用户行为请求，根据所述用户行为请求获取对应的所述存储标识，进而查询得到对应的所述存储数据；记录所述用户行为请求中的用户行为信息，按照预设的用户行为特征提取策略提取所述用户行为信息中的各个用户特征，根据预设的用户特征分析策略分析得到所述客户端的用户行为喜好并存储；再次接受所述客户端的用户行为请求时，根据所述用户行为喜好与推荐数据的对应关系向所述客户端推送对应的推送数据。可选地，其中，该方法还包括：预设各个存储数据类型的异构数据源校验策略；基于所述存储标识得到所述存储数据的类型，根据所述异构数据源校验策略校验所述存储数据的数据记录和内容一致性；在校验所述存储数据通过时，确认存储所述存储数据。可选地，其中，该方法还包括：预设各个数据类型对应数据库中对应元数据信息的离线更新策略；根据所述离线更新策略离线更新所述存储数据的元数据信息，并同步至统一的内部元数据查询接口。另一方面，本专利技术还提供一种实时数据中台的处理装置，包括：数据存储设置模块、数据存储部署模块、数据转换模块及数据存储模块；其中，所述数据存储设置模块，预设客户类型与实时数据中各个数据类型之间的对应关系，设置各个所述数据类型到存储数据类型之间的数据转换策略；所述数据存储部署模块，与所述数据存储设置模块相连接，根据客户类型与预设数据同步服务库部署策略、数据转化服务库部署策略及环境配置管理的对应关系，构建数据同步服务库及数据转化服务库；所述数据转换模块，与所述数据存储部署模块相连接，接收业务数据并分析得到其数据源特征信息，根据所述数据源特征信息调取对应的目标数据转换策略，将所述业务数据转换为对应的存储数据；所述数据存储模块，与所述数据转换模块相连接，基于所述客户类型及预设的存储数据标识策略构建所述存储数据的存储标识；根据所述存储标识及预设的存储策略将所述存储数据聚合存储至对应的所述数据同步服务库、数据转化服务库，并将所述存储标识发送至数据查询目录中存储。可选地，其中，该装置还包括：用户权限管理模块，与所述数据存储模块相连接，用于：预设客户类型与访问客户端的权限管理策略对应关系；检测到访问客户端时，根据所述权限管理策略对应关系得到所述访问客户端的权限；根据所述访问客户端的权限调取对应的访问数据。可选地，其中，该装置还包括：用户行为分析模块，与所述数据存储模块相连接，用于：接收客户端的用户行为请求，根据所述用户行为请求获取对应的所述存储标识，进而查询得到对应的所述存储数据；记录所述用户行为请求中的用户行为信息，按照预设的用户行为特征提取策略提取所述用户行为信息中的各个用户特征，根据预设的用户特征分析策略分析得到所述客户端的用户行为喜好并存储；再次接受所述客户端的用户行为请求时，根据所述用户行为喜好与推荐数据的对应关系向所述客户端推送对应的推送数据。可选地，其中，该装置还包括：存储数据校验模块，与所述数据存储模块相连接，用于：预设各个存储数据类型的异构数据源校验策略；基于所述存储标识得到所述存储数据的类型，根据所述异构数据源校验策略校验所述存储数据的数据记录和内容一致性；在校验所述存储数据通过时，确认存储所述存储数据。另一方面，本专利技术还提供一种实时数据中台的处理平台，包括：实时数据中台的处理装置、数据源库及存储数据库；所述实时数据中台的处理装置，与所述数据源库及存储数据库相连接，包括：数据存储设置模块、数据存储部署模块、数据转换模块及数据存储模块；其中，所述数据存储设置模块，预设客户类型与实时数据中各个数据类型之间的对应关系，设置各个所述数据类型到存储数据类型之间的数据转换策略；所述数据存储部署模块，与所述数据存储设置模块相连接，根据客户类型与预设数据同步服务库部署策略、数据转化服务库部署策略及环境配置管理的对应关系，构建数据同步服务库及数据转化服务库；所述数据转换模块，与所述数据存储部署模块相连接，接收业务数据并分析得到其数据源特征信息，根据所述数据源特征信息调取对应的目标数据转换策略，将所述业务数据转换为对应的存储数据；所述数据存储模块，与所述数据转换模块相连接，基于所述客户类型及预设的存储数据标识策略构建所述存储数据的存储标识；根据所述存储标识及预设的存储策略将所述存储数据聚合存储至对应的所述数据同步服务库、数据转化服务库，并将所述存储标识发送至数据查询目录中存储；所述数据源库，为大数据平台，存储有所述存储数据的数据源；所本文档来自技高网...

【技术保护点】
1.一种实时数据中台的处理方法，其特征在于，包括：/n预设客户类型与实时数据中各个数据类型之间的对应关系，设置各个所述数据类型到存储数据类型之间的数据转换策略；/n根据客户类型与预设数据同步服务库部署策略、数据转化服务库部署策略及环境配置管理的对应关系，构建数据同步服务库及数据转化服务库；/n接收业务数据并分析得到其数据源特征信息，根据所述数据源特征信息调取对应的目标数据转换策略，将所述业务数据转换为对应的存储数据；/n基于所述客户类型及预设的存储数据标识策略构建所述存储数据的存储标识；根据所述存储标识及预设的存储策略将所述存储数据聚合存储至对应的所述数据同步服务库、数据转化服务库，并将所述存储标识发送至数据查询目录中存储。/n

【技术特征摘要】
1.一种实时数据中台的处理方法，其特征在于，包括：
预设客户类型与实时数据中各个数据类型之间的对应关系，设置各个所述数据类型到存储数据类型之间的数据转换策略；
根据客户类型与预设数据同步服务库部署策略、数据转化服务库部署策略及环境配置管理的对应关系，构建数据同步服务库及数据转化服务库；
接收业务数据并分析得到其数据源特征信息，根据所述数据源特征信息调取对应的目标数据转换策略，将所述业务数据转换为对应的存储数据；
基于所述客户类型及预设的存储数据标识策略构建所述存储数据的存储标识；根据所述存储标识及预设的存储策略将所述存储数据聚合存储至对应的所述数据同步服务库、数据转化服务库，并将所述存储标识发送至数据查询目录中存储。


2.根据权利要求1所述的实时数据中台的处理方法，其特征在于，还包括：
预设客户类型与访问客户端的权限管理策略对应关系；
检测到访问客户端时，根据所述权限管理策略对应关系得到所述访问客户端的权限；根据所述访问客户端的权限调取对应的访问数据。


3.根据权利要求1所述的实时数据中台的处理方法，其特征在于，还包括：
接收客户端的用户行为请求，根据所述用户行为请求获取对应的所述存储标识，进而查询得到对应的所述存储数据；
记录所述用户行为请求中的用户行为信息，按照预设的用户行为特征提取策略提取所述用户行为信息中的各个用户特征，根据预设的用户特征分析策略分析得到所述客户端的用户行为喜好并存储；
再次接受所述客户端的用户行为请求时，根据所述用户行为喜好与推荐数据的对应关系向所述客户端推送对应的推送数据。


4.根据权利要求1所述的实时数据中台的处理方法，其特征在于，还包括：
预设各个存储数据类型的异构数据源校验策略；
基于所述存储标识得到所述存储数据的类型，根据所述异构数据源校验策略校验所述存储数据的数据记录和内容一致性；
在校验所述存储数据通过时，确认存储所述存储数据。


5.根据权利要求1所述的实时数据中台的处理方法，其特征在于，还包括：
预设各个数据类型对应数据库中对应元数据信息的离线更新策略；
根据所述离线更新策略离线更新所述存储数据的元数据信息，并同步至统一的内部元数据查询接口。


6.一种实时数据中台的处理装置，其特征在于，包括：数据存储设置模块、数据存储部署模块、数据转换模块及数据存储模块；其中，
所述数据存储设置模块，预设客户类型与实时数据中各个数据类型之间的对应关系，设置各个所述数据类型到存储数据类型之间的数据转换策略；
所述数据存储部署模块，与所述数据存储设置模块相连接，根据客户类型与预设数据同步服务库部署策略、数据转化服务库部署策略及环境配置管理的对应关系，构建数据同步服务库及数据转化服务库；
所述数据转换模块，与所述数据存储部署模块相连接，接收业务数据并分析得到其数据源特征信息，根据所述数据源特征信息调取对应的目标数据转换策略，将所述业务数据转换为对应的存储数据；...

【专利技术属性】
技术研发人员：陈定玮，张江波，刘欢，
申请(专利权)人：前海飞算科技深圳有限公司，
类型：发明
国别省市：广东;44