基于微服务架构的主题数据服务实现方法、装置及设备制造方法及图纸

技术编号:32529840 阅读:19 留言:0更新日期:2022-03-05 11:23
本申请公开了一种基于微服务架构的主题数据服务实现方法、装置及设备。该方法包括:接收并存储来自用户终端的配置信息、设置并存储多个可调用微服务,以及向外提供可调用微服务;读取所述配置信息中的任务配置信息,基于所述任务配置信息获取底层业务数据;读取所述配置信息中的指标配置信息,并调用所述可调用微服务对所述指标配置信息和所述底层业务数据进行指标分布式计算,得到计算结果。本申请的主题数据服务实现方法,基于微服务架构对数据进行统一收集与管理,通过自动化数据服务构建为上层业务系统提供标准化、可复用的主题数据服务,有效减少了代码冗余,降低了后台开发成本,提高了数据服务的生成效率、规范性与准确性。确性。确性。

【技术实现步骤摘要】
基于微服务架构的主题数据服务实现方法、装置及设备


[0001]本申请涉及数据处理
,具体涉及一种基于微服务架构的主题数据服务实现方法、装置及设备。

技术介绍

[0002]随着信息技术的蓬勃发展,企业也迎来了生产管理与营销模式的数字化变革。数据服务基于业务需求,对底层信息系统中的业务主题数据进行采集与处理,并对外生成接口,以满足上层应用的数据调用需求,使得数据在完整的业务链上流通。
[0003]目前企业内部数据服务主要采用定制化开发模式,业务人员基于业务逻辑提出实际数据需求,信息人员管理底层数据库并进行一次性数据服务开发与部署,再将数据通过数据接口形式提供给上层业务部门。然而,定制化开发带来了较大的资源浪费,其维护性、复用性差。
[0004]目前市面上的数据服务构建公司所提供的服务无法对数据进行统一建模与规范定义,对于同业务主题的数据服务,需要多次定义服务与字段对应关系,存在数据服务定义代码冗杂,可拓展性不高等问题。另外,底层数据繁杂而信息人员数量有限,难以及时响应上层业务数量多、变化大的数据提取需求,指标统计口径不统一造成的数据不准确问题也难以追溯。
[0005]因此,如何管理底层异构多源业务数据、制定统一的指标规范、自动、可拓展地为业务主题构建可复用的数据服务,减少代码冗余同时兼顾调用效率,降低开发成本与运营效率,成为了本领域亟待解决的问题。

技术实现思路

[0006]本申请的目的是提供一种基于微服务架构的主题数据服务实现方法、装置及设备。为了对披露的实施例的一些方面有一个基本的理解,下面给出了简单的概括。该概括部分不是泛泛评述,也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念,以此作为后面的详细说明的序言。
[0007]根据本申请实施例的一个方面,提供一种基于微服务架构的主题数据服务实现方法,包括:
[0008]接收并存储来自用户终端的配置信息、设置并存储多个可调用微服务,以及向外提供可调用微服务;
[0009]读取所述配置信息中的任务配置信息,基于所述任务配置信息获取底层业务数据;
[0010]读取所述配置信息中的指标配置信息,并调用所述可调用微服务对所述指标配置信息和所述底层业务数据进行指标分布式计算,得到计算结果。
[0011]在本申请的一些实施例中,所述接收并存储来自用户终端的配置信息、设置并存储多个可调用微服务,以及向外提供可调用微服务,包括:
[0012]接收并存储来自用户终端的配置信息、设置并存储多个可调用微服务;
[0013]接收微服务调用请求;
[0014]对所述微服务调用请求进行验证并实现微服务查询,并推荐查询到的微服务;
[0015]接收所述查询到的微服务并通过调用接口向外发送所述查询到的微服务。
[0016]在本申请的一些实施例中,所述任务配置信息包括主题信息与数据源;所述读取所述配置信息中的任务配置信息,基于所述任务配置信息获取底层业务数据,包括:
[0017]读取任务配置信息中的主题信息与数据源以及所述主题信息与所述数据源的绑定关系;
[0018]基于所述绑定关系以所述主题信息为粒度生成底层业务数据;所述底层业务数据包括ETL任务配置文件数据。
[0019]在本申请的一些实施例中,所述指标配置信息包括复合指标信息及派生指标信息;所述可调用微服务包括分组函数及计算函数;所述读取所述配置信息中的指标配置信息,并调用所述可调用微服务对所述指标配置信息和所述底层业务数据进行指标分布式计算,得到计算结果,包括:
[0020]读取所述指标配置信息中的复合指标信息及派生指标信息;
[0021]调用所述可调用微服务中的所述分组函数及所述计算函数,对所述复合指标信息及所述派生指标信息进行分布式计算,得到计算结果。
[0022]根据本申请实施例的另一个方面,提供一种基于微服务架构的主题数据服务实现装置,包括:
[0023]微服务调用模块,用于接收并存储来自用户终端的配置信息、设置并存储多个可调用微服务,以及向外提供可调用微服务;
[0024]ETL任务执行模块,用于读取所述配置信息中的任务配置信息,基于所述任务配置信息获取底层业务数据;
[0025]分布式计算引擎模块,用于读取所述配置信息中的指标配置信息,并调用所述可调用微服务对所述指标配置信息和所述底层业务数据进行指标分布式计算,得到计算结果。
[0026]在本申请的一些实施例中,所述微服务调用模块包括可调用微服务单元、注册中心单元以及应用服务单元;
[0027]所述可调用微服务单元,用于接收并存储来自用户终端的配置信息、设置并存储多个可调用微服务;
[0028]所述应用服务单元,用于接收微服务调用请求;
[0029]所述注册中心单元,用于对所述微服务调用请求进行验证并实现微服务查询,并推荐查询到的微服务;
[0030]所述应用服务单元,还用于接收所述查询到的微服务并通过调用接口向外发送所述查询到的微服务。
[0031]在本申请的一些实施例中,所述任务配置信息包括主题信息与数据源;所述ETL任务执行模块包括:
[0032]第一读取单元,用于读取任务配置信息中的主题信息与数据源以及所述主题信息与所述数据源的绑定关系;
[0033]生成单元,用于基于所述绑定关系以所述主题信息为粒度生成底层业务数据;所述底层业务数据包括ETL任务配置文件数据。
[0034]在本申请的一些实施例中,所述指标配置信息包括复合指标信息及派生指标信息;所述可调用微服务包括分组函数及计算函数;所述分布式计算引擎模块包括:
[0035]第二读取单元,用于读取所述指标配置信息中的复合指标信息及派生指标信息;
[0036]计算单元,用于调用所述可调用微服务中的所述分组函数及所述计算函数,对所述复合指标信息及所述派生指标信息进行分布式计算,得到计算结果。
[0037]本申请实施例的其中一个方面提供的技术方案可以包括以下有益效果:
[0038]本申请实施例提供的基于微服务架构的主题数据服务实现方法,基于微服务架构对数据进行统一收集与管理,通过自动化数据服务构建为上层业务系统提供标准化、可复用的主题数据服务,有效减少了代码冗余,降低了后台开发成本,提高了数据服务的生成效率、规范性与准确性。
[0039]本申请的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者,部分特征和优点可以从说明书中推知或毫无疑义地确定,或者通过实施本申请实施例了解。
附图说明
[0040]为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种基于微服务架构的主题数据服务实现方法,其特征在于,包括:接收并存储来自用户终端的配置信息、设置并存储多个可调用微服务,以及向外提供可调用微服务;读取所述配置信息中的任务配置信息,基于所述任务配置信息获取底层业务数据;读取所述配置信息中的指标配置信息,并调用所述可调用微服务对所述指标配置信息和所述底层业务数据进行指标分布式计算,得到计算结果。2.根据权利要求1所述的方法,其特征在于,所述接收并存储来自用户终端的配置信息、设置并存储多个可调用微服务,以及向外提供可调用微服务,包括:接收并存储来自用户终端的配置信息、设置并存储多个可调用微服务;接收微服务调用请求;对所述微服务调用请求进行验证并实现微服务查询,并推荐查询到的微服务;接收所述查询到的微服务并通过调用接口向外发送所述查询到的微服务。3.根据权利要求1所述的方法,其特征在于,所述任务配置信息包括主题信息与数据源;所述读取所述配置信息中的任务配置信息,基于所述任务配置信息获取底层业务数据,包括:读取任务配置信息中的主题信息与数据源以及所述主题信息与所述数据源的绑定关系;基于所述绑定关系以所述主题信息为粒度生成底层业务数据;所述底层业务数据包括ETL任务配置文件数据。4.根据权利要求1所述的方法,其特征在于,所述指标配置信息包括复合指标信息及派生指标信息;所述可调用微服务包括分组函数及计算函数;所述读取所述配置信息中的指标配置信息,并调用所述可调用微服务对所述指标配置信息和所述底层业务数据进行指标分布式计算,得到计算结果,包括:读取所述指标配置信息中的复合指标信息及派生指标信息;调用所述可调用微服务中的所述分组函数及所述计算函数,对所述复合指标信息及所述派生指标信息进行分布式计算,得到计算结果。5.一种基于微服务架构的主题数据服务实现装置,其特征在于,包括:微服务调用模块,用于接收并存储来自用户终端的配置信息、设置并存储多个可调用微服务,以及向外提供可调用微服务;ETL任务执行模块,用于读取所述配...

【专利技术属性】
技术研发人员:许琮维徐奥王振众
申请(专利权)人:杭萧钢构股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1