【技术实现步骤摘要】
一种基于共享模板的数据获取方法和装置
本公开涉及数据处理领域,具体而言,涉及一种基于共享模板的数据获取方法、装置、介质和电子设备。
技术介绍
在软件系统开发中经常会需要用到数据处理功能,例如:订单数据、交易记录数据、客户咨询数据等。当前普遍做法是在原有业务系统中提供数据处理接口,通常采用读写分离的方法:调用写库实现数据写入和修改相关操作,调用读库获取数据、查询相关操作。对于用户量庞大的业务系统,如果有大量用户同一时间段对数据库执行读写操作,(比如,在同一时间段内,导出业务数据和/或检索数据)将导致数据库压力剧增,系统性能下降。而且如果为每个业务系统分别提供一个相近的功能(比如,业务报表),不仅使系统中存在大量的冗余代码,占用系统资源,增加了系统的规模,而且使系统维护异常困难。而对于采用微服务的业务系统,业务系统根据业务模板被切分成多个微服务和多个业务数据库。如果一个微服务需要的报表数据同时依赖于多个业务数据库的数据,该微服务无法直接实现通常意义的表关联操作,只能通过接口请求另一个微服务的接口调用对应的关联数据,并通过 ...
【技术保护点】
1.一种基于共享模板的数据获取方法,其特征在于,包括:/n接收数据处理请求消息;/n解析所述数据处理请求消息,获取数据处理请求信息;/n基于所述数据处理请求信息获取共享数据处理模板和所述共享数据处理模板的模板参数;/n根据所述共享数据处理模板和所述请求数据生成面向融合型分布式数据库的数据处理指令;其中,所述融合型分布式数据库包括多个分布式业务数据库的数据;/n基于所述数据处理指令生成包括数据处理结果的处理结果文件。/n
【技术特征摘要】
1.一种基于共享模板的数据获取方法,其特征在于,包括:
接收数据处理请求消息;
解析所述数据处理请求消息,获取数据处理请求信息;
基于所述数据处理请求信息获取共享数据处理模板和所述共享数据处理模板的模板参数;
根据所述共享数据处理模板和所述请求数据生成面向融合型分布式数据库的数据处理指令;其中,所述融合型分布式数据库包括多个分布式业务数据库的数据;
基于所述数据处理指令生成包括数据处理结果的处理结果文件。
2.根据权利要求1所述的数据获取方法,其特征在于,
所述数据处理请求信息包括共享数据处理模板标识和请求数据;
所述基于所述数据处理请求信息获取共享数据处理模板和所述共享数据处理模板的模板参数,包括:
基于所述共享数据处理模板标识检索模板数据集,获取所述共享数据处理模板;
基于所述请求数据获取所述模板参数。
3.根据权利要求1所述的数据获取方法,其特征在于,所述基于所述数据处理指令生成包括数据处理结果的处理结果文件,包括:
基于所述数据处理指令生成数据处理任务,并将所述数据处理任务保存到数据处理任务队列中;
从所述数据处理任务队列中获取所述数据处理任务;
执行所述数据处理任务,生成包括数据处理结果的处理结果文件。
4.根据权利要求1所述的数据获取方法,其特征在于,所述生成包括数据处理结果的处理结果文件,包括:
生成预设文件格式的所述处理结果文件。
5.根据权利要求1所述的数据获取方法,其特征在于,所述方法还包括:
将所述处理结果文件保存到分布式文件系统中;
获取所述分布式文件系统中所述处理结果文件的访问路径;
基于所述访问路径生成和返回数据处理响应消息。
6.根据权利要求1所述的数据获取方法,其特征在于,
所述数据处理请求信息包括请求终端唯一标识;
所述基于所述访问路径生成数据处理响应消息,包括:
基于所述访问路径和所述请求终端唯一标识生成数据处理响应消息。
7.根据权利要求6所述的数据获取方法,其特征在于,在所述返回数据处理响应消息后,还包括:
基于所述请求终端唯一标识获取对应终端的用户社交联系信息;
基于所述用户社交联系信息向用户发送数据处理完成的提示信息。
8.根据权利要求2所述的数据获取方法,其特征在于,在所述接收数据处理请求消息前,还包括:
配置所述共享数据处理模板和所述模板参数,并保存到所述模板数据集中。
<...
【专利技术属性】
技术研发人员:陈贵,
申请(专利权)人:北京罗克维尔斯科技有限公司,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。