实时数据流的数据接口管理方法、系统、设备及存储介质技术方案

本发明专利技术涉及数据接口技术领域，公开了一种实时数据流的数据接口管理方法、系统、设备及存储介质。该方法包括基于业务请求获取待生成实时数据流数据接口的实时数据流表和元数据；根据元数据选择待生成实时数据流数据接口的记录频率、第一字段集合及第二字段集合；根据实时数据流表和元数据从消息队列中读取第一数据源；根据记录频率、第一字段集合及第二字段集合对第一数据源进行处理，获得第二数据源；基于第二数据源生成目标实时数据流数据接口。与离线数据接口不同，本发明专利技术中实时数据流接口在保证数据的唯一、正确、有序情形下提供近原生表，填补当前市面上满足数据管理要求的实时数据流数据接口的空白。本发明专利技术实现相对简单，原理过程易理解。

【技术实现步骤摘要】

本专利技术涉及数据接口，尤其涉及一种实时数据流的数据接口管理方法、系统、设备及存储介质。

技术介绍

1、当前数据接口技术已经比较成熟，但这种技术无一例外都只适用于实时度不高或者数据体量非常有限的情况，例如比较常见的restapi数据接口、表接口等。而在众多实际场景中，出于企业内部数据共享、企业间关于数据的商业行为、法规要求等原因，实时数据流作为企业数据资产的一部分，也需要提供类似于离线业务报表的数据接口。

2、实时数据流作为一种数据体量大、数据实时性要求高的企业数据资产，存在较高的分析和应用价值，当前企业在企业内部共享时，采用类似于企业数据总线的方式进行共享，企业内的相关项目组或者业务部门统一全量获取。但在实际业务场景下，不同项目组或者部门关注的字段内容不同、采样频率不同、数据权限不同，这种一刀切的方式，浪费了计算资源的同时也对存在数据安全隐患。当企业对外数据共享时，情况更为糟糕，如果说企业内部对实时数据流数据资产在安全要求不严格的时候所有项目组或者部门都有使用权，但这种不严格的要求肯定不包括外部组织，因此企业会针对外部企业在不同的实时数据流数本文档来自技高网...

【技术保护点】

1.一种实时数据流的数据接口管理方法，其特征在于，所述实时数据流的数据接口管理方法包括：

2.如权利要求1所述的实时数据流的数据接口管理方法，其特征在于，所述基于业务请求获取待生成实时数据流数据接口的实时数据流表和元数据，包括：

3.如权利要求1所述的实时数据流的数据接口管理方法，其特征在于，所述根据所述实时数据流表和所述元数据从消息队列中读取第一数据源，包括：

4.如权利要求1所述的实时数据流的数据接口管理方法，其特征在于，所述根据所述记录频率、所述第一字段集合以及所述第二字段集合对所述第一数据源进行处理，以获得第二数据源，包括：

5.如...

【技术特征摘要】

1.一种实时数据流的数据接口管理方法，其特征在于，所述实时数据流的数据接口管理方法包括：

2.如权利要求1所述的实时数据流的数据接口管理方法，其特征在于，所述基于业务请求获取待生成实时数据流数据接口的实时数据流表和元数据，包括：

3.如权利要求1所述的实时数据流的数据接口管理方法，其特征在于，所述根据所述实时数据流表和所述元数据从消息队列中读取第一数据源，包括：

4.如权利要求1所述的实时数据流的数据接口管理方法，其特征在于，所述根据所述记录频率、所述第一字段集合以及所述第二字段集合对所述第一数据源进行处理，以获得第二数据源，包括：

5.如权利要求4所述的实时数据流的数据接口管理方法，其特征在于，所述根据所述第一字段集合和所述第二字段集合对所述采样数据进行处理，以获得第二数据源，包括：

6.如权利要...

【专利技术属性】
技术研发人员：龚浩，张宇，万龙，李晓聪，代陶，王浩东，
申请(专利权)人：南斗六星系统集成有限公司，
类型：发明
国别省市：