System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及大数据分析,更具体涉及一种多数据源适配统一数据总线解决方法。
技术介绍
1、随着云时代的到来,大数据越来越受到关注,尤其在公安部门通过大数据分析更快实现案件分析、犯罪定位、民生分析等。但是数据的分析各个业务部门的数据做整理、碰撞得到我们需要各种分析数据。然而各个业务部门的数据可能存放的方式各不相同,有可以直接对接数据库涵盖各种像oracal、pg、mysql等,有第三方插件存储如缓存、kafka、es等,有直接对接接口等。经常为了各种对接感到苦恼,所以我们需要有一个可以适配大部分数据对接的基础框架,然后通过各个对接的数据经过逻辑计算后统一输出我们需要的结果数据。
技术实现思路
1、本专利技术需要解决的技术问题是提供一种多数据源适配统一数据总线解决方法,以解决
技术介绍
中的问题。
2、为解决上述技术问题,本专利技术所采取的技术方案如下。
3、多数据源适配统一数据总线解决方法,包括以下步骤:
4、a.使用vue前端框架搭建后台管理系统界面,对接管理配置接口,配置系统连接的数据源;
5、b.管理系统设置,包括管理员登录系统设置和用户登录系统设置;
6、c.采用postgresql数据库搭建后台管理系统数据库,可对接数据源表对象进行sql数据查询、查询后可保存提交并生成接口apitype;
7、d.使用java语言开发系统接口,用户域或其他应用可使用http查询接口,通过生成的apitype匹配数据查询对象
8、进一步优化技术方案,所述步骤a中,搭建后台管理系统界面的方法包括以下步骤:
9、a1.搭建node.js开发环境;
10、a2.对接后端接口,实现登录功能、权限查询、菜单查询等系统基本页面;
11、a3.对接管理配置接口实现数据源配置、数据对象、数据对象字段、自定义脚本等配置项保存。
12、进一步优化技术方案,所述步骤b中,管理员登录系统设置包括用户管理添加接口对接用户,菜单管理给用户配置菜单,权限管理给用户配置权限。
13、进一步优化技术方案,所述步骤b中,用户登录系统设置包括配置数据源、保存需要的数据源数据表对象和字段、自定义查询数据脚本并保存、配置接口类型及查询数据对象。
14、进一步优化技术方案,所述步骤c中,搭建后台管理系统数据库包括以下步骤:
15、c1.搭建系统管理表包括菜单管理表、用户管理表、权限表等,用于管理系统;
16、c2.搭建数据源配置表包括数据库数据源表、es表、kafka表、缓存表等,保存配置数据源;
17、c3.搭建数据源查询配置表,sql查询语句配置表、es索引查询脚本表、kafka消息接收表等脚本保存表;
18、c4.搭建数据源对象表、数据源对象字段表,保存数据对象;
19、c5.搭建接口输出表,保存定义接口类型,资源类型,数据类型等。
20、进一步优化技术方案,所述步骤d中,使用java语言开发系统接口的方法包括以下步骤:
21、d1.搭建java开发环境;
22、d2.初始化时查询系统基础数据并保存至缓存;
23、d3.初始化系统配置项,读取配置数据源初始化连接数据库;
24、d4.初始化接口工厂,将开放接口注入接口工厂;
25、d5.对接web端后台管理接口;
26、d6.接口使用spring注解@restcontroll输出统一的json数据;
27、d7.创建dataconnectionutil实现各个数据源的连接工具类,用于传入配置的参数,实现连接各数据库,kafka,缓存,elasticsearch下的数据。。
28、进一步优化技术方案,所述步骤d6中,json数据包括接口类型apitype、状态码code、接口返回描述message和数据内容data。
29、进一步优化技术方案,所述步骤d7中,配置的参数包括连接地址(ip/端口)、驱动版本、账号信息。
30、由于采用了以上技术方案,本专利技术所取得技术进步如下。
31、本专利技术提供的一种多数据源适配统一数据总线解决方法,通过前端页面配置系统连接的数据源将该系统部署到数据域,配置数据源后可对接数据源表对象进行sql数据查询、查询后可保存提交并生成接口apitype,用户域或其他应用可使用http查询接口,通过生成的apitype匹配数据查询对象后返回数据。
本文档来自技高网...【技术保护点】
1.多数据源适配统一数据总线解决方法,其特征在于:包括以下步骤:
2.根据权利要求1所述的多数据源适配统一数据总线解决方法,其特征在于:所述步骤A中,搭建后台管理系统界面的方法包括以下步骤:
3.根据权利要求1所述的多数据源适配统一数据总线解决方法,其特征在于:所述步骤B中,管理员登录系统设置包括用户管理添加接口对接用户,菜单管理给用户配置菜单,权限管理给用户配置权限。
4.根据权利要求1所述的多数据源适配统一数据总线解决方法,其特征在于:所述步骤B中,用户登录系统设置包括配置数据源、保存需要的数据源数据表对象和字段、自定义查询数据脚本并保存、配置接口类型及查询数据对象。
5.根据权利要求1所述的多数据源适配统一数据总线解决方法,其特征在于:所述步骤C中,搭建后台管理系统数据库包括以下步骤:
6.根据权利要求1所述的多数据源适配统一数据总线解决方法,其特征在于:所述步骤D中,使用java语言开发系统接口的方法包括以下步骤:
7.根据权利要求6所述的多数据源适配统一数据总线解决方法,其特征在于:所述步骤D6中,
8.根据权利要求6所述的多数据源适配统一数据总线解决方法,其特征在于:所述步骤D7中,配置的参数包括连接地址(ip/端口)、驱动版本、账号信息。
...【技术特征摘要】
1.多数据源适配统一数据总线解决方法,其特征在于:包括以下步骤:
2.根据权利要求1所述的多数据源适配统一数据总线解决方法,其特征在于:所述步骤a中,搭建后台管理系统界面的方法包括以下步骤:
3.根据权利要求1所述的多数据源适配统一数据总线解决方法,其特征在于:所述步骤b中,管理员登录系统设置包括用户管理添加接口对接用户,菜单管理给用户配置菜单,权限管理给用户配置权限。
4.根据权利要求1所述的多数据源适配统一数据总线解决方法,其特征在于:所述步骤b中,用户登录系统设置包括配置数据源、保存需要的数据源数据表对象和字段、自定义查询数据脚本并保存、配置接口类型及查询数据对象。
...
【专利技术属性】
技术研发人员:杨刚,苏学武,水军,龚波,苏文辉,翟永强,冯安,肖观生,李富泉,
申请(专利权)人:珠海市新德汇信息技术有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。