【技术实现步骤摘要】
本专利技术涉及一种基于多源可配置智能接入与分析的数据浏览器平台，属于大数据处理。
技术介绍
1、数据浏览器是一种软件工具，用于查看和分析数据。它可以从各种数据源中获取数据，包括数据库、文件和web服务。数据浏览器通常具有查看数据(以表格、图表或其他可视化形式查看数据)、分析数据(对数据进行统计分析，例如求和、平均值和标准差)、过滤数据(根据特定条件过滤数据)、导出数据(将数据导出到各种格式，如csv、excel或pdf)等功能。目前市场上有的一些数据浏览器工具包括：
2、(1)tableau:是数据可视化领域的领导者，它有较为丰富的可视化功能和易于使用的界面，同时有较好的兼容性，它可以连接到各种数据源，包括数据库、文件和web服务。它的主要功能是数据可视化方面，但在数据分析方面相对有限。
3、(2)ql ikview：是一种基于查询的数据浏览器，它使用了内存数据库技术，可以快速访问和分析数据。但是也正因为它使用内存数据库技术，因此需要注意数据安全性。同时它主要用于数据分析，其可视化功能相对有限。
4、(3)microsoft power bi：是microsoft提供的数据分析和可视化工具。它与microsoft生态系统(如excel和azure)紧密集成，提高了工作效率。同时可以云端部署，可以随时随地访问数据。不过它的易用性尚有欠缺，需要一些时间和精力去进行学习。同时脱离microsoft的体系后部署和使用不够独立和方便。
技术实现思路
1、本
2、本专利技术的技术解决方案是：
3、一种基于多源可配置智能接入与分析的数据浏览器平台，包括数据源管理模块、数据集配置模块、数据关联匹配模块、数据统计模块、趋势分析模块；
4、所述数据源管理模块通过搭建web数据表格和数据表单，提取多业务系统的数据源并进行管理；
5、所述数据集配置模块根据业务需求，从数据源管理模块中查找与业务需求相关的数据源中数据表，形成包含维度和指标两种形式的数据集，并将与业务需求关系最大的维度作为主维度；
6、所述数据关联匹配模块对数据集内的维度数据与指标数据之间进行关联匹配，构成数据处理模型；
7、所述数据统计模块根据业务需求，对已建立关联匹配关系的数据处理模型中的指标数据进行统计分析并显示；
8、所述趋势分析模块用于观察和理解所述数据统计模块中指标数据的变化趋势。
9、优选的，所述数据关联匹配模块进行数据关联匹配的方法为：
10、建立web交互界面，将数据集中的多个维度数据、多个指标数据分区域显示；
11、根据业务需求，通过在交互界面中拖拽选择相关的维度数据；选择维度数据时，将当前维度的维度key传输到服务器，判断是否已选择指标，若没有选择指标，则直接返回当前维度的维度key和维度名称，在web交互界面以行的形式展示维度数据；若已经选择指标，则服务器将主维度、指标和指标的其他维度组合形成查询语句，根据指标绑定的数据源，匹配维度查询所述指标的指标值，联合主维度key返回到web页面，并以行的形式展示维度数据；
12、根据业务需求，通过在交互界面中拖拽选择相关的指标数据，web交互界面将当前在主维度区选中的维度和选中的指标配置信息传输到服务器，服务器通过维度、指标拼接成查询语句，将主维度和选中的指标以jsonarray的接口形式返回到web页面，并与界面中现有的数据集以主维度key进行匹配，在界面中增加新列展示。
13、优选的，所述数据统计模块在web交互界面中提供多种数据统计方法，包括最大值、最小值、平均值、数量统计、求和、方差、中位数；通过业务需求选择相应的统计方法，界面通过restful接口发送到服务器，服务器通过java的joinery组件将该数据集转化为标准数据模型，并根据传递的统计方法，对数据进行统计分析，并返回到web交互界面。
14、优选的，所述数据源管理模块搭建web数据表格和数据表单，通过在web表单界面新建数据源连接信息，包括主机地址、端口号、用户名、密码，进行业务系统数据库的连接。
15、优选的，数据集配置模块连接数据源管理模块中的各数据库，结合java执行数据库查询命令，获取数据库全部表名称和表结构，选择需要进行数据关联匹配的数据表。
16、优选的，针对半结构化和非结构化的数据，通过解析器、正则匹配、关键字提取方法，将上述数据解析成结构化的形式。
17、优选的，趋势分析模块通过对指标及相关的维度数据进行数据清洗，并将数据存放于数据仓库，再使用趋势分析方法，推测指标未来的走势。
18、优选的，还包括智能推荐模块，根据使用者的兴趣、行为和偏好，自动提供个性化的推荐和建议，具体包括：
19、收集用户的搜索查询内容、系统使用行为、用户基本信息、点击指标数据类型及查看指标的停留时间，将上述数据转化为特征向量；
20、根据特征向量建立用户偏好模型和指标维度特征模型，推荐于用户偏好相关的指标和维度。
21、本专利技术与现有技术相比的优点在于：
22、(1)现有的技术以单数据源为查询基准，本专利技术以不同数据源之间的共性维度为基础，实现包括结构化、半结构化和非结构化等不同数据源之间的数据敏捷建模分析，快速响应分析和决策支持需求，实现分析快捷化。
23、(2)现有的数据集分析技术，使用apache nifi等etl工具，将来自不同数据源的数据提取并整合到一个中心数据存储中，并且进行数据标准化，以确保不同数据源中的数据格式、单位等标准化。同时将整合后的数据存储到amazon redshift等数据仓库中，以支持高性能的查询分析，最终实现数据集的统计分析，本专利技术将关联查询的数据集，使用数据分析引擎，进行多源数据的统计分析，提高数据经营的效率。
24、(3)与传统的数据浏览器相比，本专利技术可以根据用户的使用习惯进行智能分析，从而给用户提供最相关、有用且个性化的信息。同时可以识别和理解数据随时间发展的方向和模式，从而揭示潜在的趋势、周期或变化，帮助用户制定策略和方针。
本文档来自技高网...【技术保护点】
1.一种基于多源可配置智能接入与分析的数据浏览器平台，其特征在于，包括数据源管理模块、数据集配置模块、数据关联匹配模块、数据统计模块、趋势分析模块；
2.根据权利要求1所述的基于多源可配置智能接入与分析的数据浏览器平台，其特征在于，所述数据关联匹配模块进行数据关联匹配的方法为：
3.根据权利要求1所述的基于多源可配置智能接入与分析的数据浏览器平台，其特征在于，所述数据统计模块在Web交互界面中提供多种数据统计方法，包括最大值、最小值、平均值、数量统计、求和、方差、中位数；通过业务需求选择相应的统计方法，界面通过RestFul接口发送到服务器，服务器通过Java的joinery组件将该数据集转化为标准数据模型，并根据传递的统计方法，对数据进行统计分析，并返回到Web交互界面。
4.根据权利要求1所述的基于多源可配置智能接入与分析的数据浏览器平台，其特征在于，所述数据源管理模块搭建Web数据表格和数据表单，通过在web表单界面新建数据源连接信息，包括主机地址、端口号、用户名、密码，进行业务系统数据库的连接。
5.根据权利要求1所述的基于
6.根据权利要求5所述的基于多源可配置智能接入与分析的数据浏览器平台，其特征在于，针对半结构化和非结构化的数据，通过解析器、正则匹配、关键字提取方法，将上述数据解析成结构化的形式。
7.根据权利要求1所述的基于多源可配置智能接入与分析的数据浏览器平台，其特征在于，趋势分析模块通过对指标及相关的维度数据进行数据清洗，并将数据存放于数据仓库，再使用趋势分析方法，推测指标未来的走势。
8.根据权利要求1所述的基于多源可配置智能接入与分析的数据浏览器平台，其特征在于，还包括智能推荐模块，根据使用者的兴趣、行为和偏好，自动提供个性化的推荐和建议，具体包括：
...【技术特征摘要】
1.一种基于多源可配置智能接入与分析的数据浏览器平台，其特征在于，包括数据源管理模块、数据集配置模块、数据关联匹配模块、数据统计模块、趋势分析模块；
2.根据权利要求1所述的基于多源可配置智能接入与分析的数据浏览器平台，其特征在于，所述数据关联匹配模块进行数据关联匹配的方法为：
3.根据权利要求1所述的基于多源可配置智能接入与分析的数据浏览器平台，其特征在于，所述数据统计模块在web交互界面中提供多种数据统计方法，包括最大值、最小值、平均值、数量统计、求和、方差、中位数；通过业务需求选择相应的统计方法，界面通过restful接口发送到服务器，服务器通过java的joinery组件将该数据集转化为标准数据模型，并根据传递的统计方法，对数据进行统计分析，并返回到web交互界面。
4.根据权利要求1所述的基于多源可配置智能接入与分析的数据浏览器平台，其特征在于，所述数据源管理模块搭建web数据表格和数据表单，通过在web表单界面新建数据源连接信息，...
【专利技术属性】
技术研发人员：胡杨，赵滟，刘昌斯，张豫，徐熙阳，李韦文，董恒敏，金珑，冉迅，曹剑青，李欣悦，卫文娜，于慧敏，
申请(专利权)人：中国航天系统科学与工程研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。