【技术实现步骤摘要】
本专利技术涉及大数据平台，具体为基于大数据平台多元数据实时集成与可视化方法及系统。
技术介绍
1、随着信息技术的快速发展，数据量呈现爆炸性增长。企业和组织收集和存储了大量的数据，这些数据来源多样，包括内部操作数据、市场交易数据、社交媒体数据等。这些数据的价值在于它们能够被分析和利用来提升业务决策、优化用户体验和推动创新。然而，数据的价值实现依赖于有效的数据集成和分析能力。
2、数据集成是将来自不同来源的数据合并到一个统一的视图中的过程。在多元数据环境中，数据集成面临着数据异构性和实时性的双重挑战。数据异构性意味着不同数据源的数据格式、结构和语义可能不同，这要求集成系统能够处理和协调这些差异。实时性要求数据集成能够快速响应数据变化，实时更新集成视图。
3、在大数据时代，数据可视化不仅帮助用户理解数据，还能够揭示数据中的模式、趋势和异常。随着可视化工具的发展，用户现在期望能够通过交互式的方式来探索数据，这要求可视化系统能够提供实时的、动态的数据展示。
技术实现思路
1、鉴于上述存在的问题，提出了本专利技术。
2、因此，本专利技术解决的技术问题是：现有的数据集成方法存在数据集成不全面，以及如何将云端和现有数据集成后可视化的优化问题。
3、为解决上述技术问题，本专利技术提供如下技术方案：基于大数据平台多元数据实时集成与可视化方法，包括：
4、获取数据库中的平台数据；
5、将所述平台数据进行识别；
6、对识别
7、将绑定结果映射到可视化组件。
8、作为本专利技术所述的基于大数据平台多元数据实时集成与可视化方法的一种优选方案，其中：所述数据库包括，内部数据：通过内网环境进行数据集成得到的内部数据；
9、外部数据，通过接入上位管理等系统获取的数据；
10、云数据，通过互联网抓取集成，基于被集成数据源形成数据集成方案，按照集成方案进行数据集成工作并构建数据抽取、清洗、转换、加载以及数据集成管理维护。
11、作为本专利技术所述的基于大数据平台多元数据实时集成与可视化方法的一种优选方案，其中：所述识别包括，对所述内部数据和外部数据的每个数据项生成数据指纹，通过所述数据指纹识别每个数据项；
12、对每一对数据项指纹计算相似度：
13、
14、其中，hamming(i，j)表示数据项i和数据项j两个指纹间的汉明距离；
15、并根据所述相似度对数据项进行聚类，并根据聚类结果生成每个聚类结果的分类特征。
16、作为本专利技术所述的基于大数据平台多元数据实时集成与可视化方法的一种优选方案，其中：所述识别还包括，对云数据抓取的数据项进行数据分类；
17、若所述云数据存在在抓取时存在分类特征，则匹配具有相同分类特征的所述内部数据和外部数据；
18、若所述云数据不存在抓取时存在分类特征或分类特征找不到匹配的所述内部数据和外部数据，则对所述云数据进行学习分类；
19、所述学习分类包括，利用数据库中的所述内部数据和外部数据的分类特征对神经网络进行训练，得到能够进行分类的神经网络，利用训练好的神经网络对采集到的数据进行识别分类；
20、并将具有相同分类特征的云数据与分类的结果进行捆绑。
21、作为本专利技术所述的基于大数据平台多元数据实时集成与可视化方法的一种优选方案，其中：在对所述数据库中的所述内部数据和外部数据进行扩充时，对扩充的数据进行人工编辑，根据人工编辑的分类特征和内容一致性生成数据指纹；
22、所述内容一致性包括，在人工选择的分类特征中匹配扩充数据和原始数据的内容一致性，表示为：
23、
24、其中，qmin表示内容一致性的最小值，a表示内部数据和外部数据的任一数据项的特征集合，b表示扩充的数据的特征集合；
25、得到内容一致性最小的a记为a1，并计算a1与内部数据和外部数据的任一数据项的内容一致性qn，将得到的qmin和所有的qn按照大小进行排列；
26、生成所述扩充数据的数据指纹，满足约束；
27、所述约束为，生成的数据指纹的相似度s的大小排列顺序与的qmin和所有的qn按照大小进行排列顺序相同。
28、作为本专利技术所述的基于大数据平台多元数据实时集成与可视化方法的一种优选方案，其中：所述同步包括，根据聚类结果将同族的数据项及其捆绑的云数据进行绑定；
29、若数据项或绑定的云数据被提取，则将绑定的内容同步到可视化组件。
30、作为本专利技术所述的基于大数据平台多元数据实时集成与可视化方法的一种优选方案，其中：所述可视化包括，通过人机交互，根据人为的选择呈现的可视化的数据内容，将绑定的数据在可视化组件集成呈现；
31、通过人机交互选择展开内容，呈现时，优先呈现内容为内部数据，其次为外部数据，最后为云数据。
32、一种采用本专利技术所述方法的基于大数据平台多元数据实时集成与可视化系统，其特征在于：
33、数据存储模块，获取数据库中的平台数据；
34、识别模块，将所述平台数据进行识别；
35、集成模块，对识别后的平台数据进行数据同步，对数据进行绑定；
36、可视化模块，将绑定结果映射到可视化组件。
37、一种计算机设备，包括：存储器和处理器；所述存储器存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时实现本专利技术中任一项所述的方法的步骤。
38、一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现本专利技术中任一项所述的方法的步骤。
39、本专利技术的有益效果：本专利技术提供的基于大数据平台多元数据实时集成与可视化方法能够快速响应数据源的变化，并实时更新集成的数据视图。将集成的数据结果映射到可视化组件，提供了交互式的数据可视化展示。这不仅增强了数据的可理解性和可接受性，还允许用户通过交互来深入探索数据，从而发现数据中的深层次信息和洞见。本专利技术的设计允许灵活地添加新的数据源和可视化组件，具有很好的扩展性。这意味着随着业务的发展和数据源的增加，本专利技术的方法仍然能够有效地工作，无需进行大规模的重构。
本文档来自技高网...【技术保护点】
1.基于大数据平台多元数据实时集成与可视化方法，其特征在于，包括：
2.如权利要求1所述的基于大数据平台多元数据实时集成与可视化方法，其特征在于：所述数据库包括，
3.如权利要求2所述的基于大数据平台多元数据实时集成与可视化方法，其特征在于：所述识别包括，对所述内部数据和外部数据的每个数据项生成数据指纹，通过所述数据指纹识别每个数据项；
4.如权利要求3所述的基于大数据平台多元数据实时集成与可视化方法，其特征在于：所述识别还包括，对云数据抓取的数据项进行数据分类；
5.如权利要求4所述的基于大数据平台多元数据实时集成与可视化方法，其特征在于：在对所述数据库中的所述内部数据和外部数据进行扩充时，对扩充的数据进行人工编辑，根据人工编辑的分类特征和内容一致性生成数据指纹；
6.如权利要求5所述的基于大数据平台多元数据实时集成与可视化方法，其特征在于：所述同步包括，根据聚类结果将同族的数据项及其捆绑的云数据进行绑定；
7.如权利要求6所述的基于大数据平台多元数据实时集成与可视化方法，其特征在于：所述可视化包括，通过人
8.一种采用如权利要求1-7任一所述方法的基于大数据平台多元数据实时集成与可视化系统，其特征在于：
9.一种计算机设备，包括：存储器和处理器；所述存储器存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
...【技术特征摘要】
1.基于大数据平台多元数据实时集成与可视化方法，其特征在于，包括：
2.如权利要求1所述的基于大数据平台多元数据实时集成与可视化方法，其特征在于：所述数据库包括，
3.如权利要求2所述的基于大数据平台多元数据实时集成与可视化方法，其特征在于：所述识别包括，对所述内部数据和外部数据的每个数据项生成数据指纹，通过所述数据指纹识别每个数据项；
4.如权利要求3所述的基于大数据平台多元数据实时集成与可视化方法，其特征在于：所述识别还包括，对云数据抓取的数据项进行数据分类；
5.如权利要求4所述的基于大数据平台多元数据实时集成与可视化方法，其特征在于：在对所述数据库中的所述内部数据和外部数据进行扩充时，对扩充的数据进行人工编辑，根据人工编辑的分类特征和内容一致性生成数据指纹；
6.如权利要求5所...
【专利技术属性】
技术研发人员：彭鹏，高英，左天才，曾体健，谢志奇，杜泽新，李林，张孙蓉，唐小波，
申请(专利权)人：贵州乌江水电开发有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。