【技术实现步骤摘要】
本专利技术涉及大数据，具体为面向大数据分析的应用融合系统。
技术介绍
1、随着互联网、物联网、云计算等技术的发展，数据的规模、来源、类型和价值都呈现出爆炸式的增长，形成了大数据时代。大数据具有多源、异构、动态、价值密度低等特点，给数据的收集、存储、处理、分析和应用带来了巨大的挑战。为了充分挖掘和利用大数据的价值，需要对多源异构大数据进行有效的融合和分析，并将分析结果应用到各个领域，如金融、医疗、教育等，从而实现智能化、个性化和优化的服务。
2、目前，已有一些技术和方法用于对多源异构大数据进行融合和分析，如区块链技术、同态加密技术、图神经网络技术、知识图谱技术、集成学习框架、元学习框架、知识表示学习框架、生成式对抗网络框架等。然而，这些技术和方法各有优缺点，且难以实现协同和集成，导致数据融合和分析的效果不理想，或者难以满足不同领域的应用需求。因此，如何设计一个面向大数据分析的应用融合系统，能够综合利用各种技术和方法，实现多源异构大数据的安全、质量、语义、表达、分析、应用、动态、自适应和智能等多方面的提升，是当前亟待解决的问题。
技术实现思路
1、本专利技术的目的在于提供一种面向大数据分析的应用融合系统，具备安全性、质量性、语义性、表达性、分析性、应用性、动态性、自适应性和智能性优点，解决了现有技术中数据融合和分析效果不理想或难以满足不同领域应用需求等问题。
2、为实现上述目的，本专利技术提供如下技术方案：面向大数据分析的应用融合系统，包括数据源管理模块、实体链
3、所述数据源管理模块基于区块链和同态加密技术，对多个异构数据源进行安全和可信的加密、验证和存储，并将数据转换为统一的中介模式，其中中介模式表示为知识图谱，节点表示属性或实体，边表示属性或实体之间的关系，且每个节点和边都有唯一的标识符；
4、所述实体链接模块基于图神经网络和知识图谱技术，对中介模式中的实体进行识别、冲突解决和共指识别，并将实体链接到统一的目标模式，其中图神经网络对知识图谱进行编码，得到节点和边的低维向量表示，并经马尔可夫决策过程、多任务学习框架和强化学习框架子模块进行动态决策和自适应优化，知识图谱提供结构化和语义信息，并基于时间信息跟踪实体关系的演化；
5、所述冲突解决模块基于集成学习框架和元学习框架技术，对目标模式中的属性值进行冲突检测和冲突解决，并确定正确的值，其中集成学习框架将不同来源或类型的数据作为输入，并将不同的数据处理方法作为不同的基分类器，并经投票或加权方法进行综合判断，元学习框架将不同的数据处理方法作为不同的元策略，并经元梯度下降或元策略选择方法进行动态调整，并基于数据质量评估模块、元反馈机制和元迁移学习子模块进行优化。
6、优选的，所述关系推演模块基于知识表示学习框架和生成式对抗网络框架技术，对目标模式中的实体关系进行推理和更新，并生成关系描述，其中知识表示学习框架将关联数据中的路径模式和自然语言中的关系词汇分别表示为低维向量，并进行编码，生成式对抗网络框架将路径模式向量作为生成器的输入，并将关系词汇向量作为判别器的输入，并经生成器和判别器之间的博弈过程进行匹配和生成，并基于增量学习模块、对抗训练和对抗迁移子模块进行优化；
7、所述应用展示模块基于边缘计算和元学习技术，将目标模式中的实体和关系以可视化的方式展示给用户。
8、优选的，所述区块链技术是基于密码学原理构建去中心化的数据存储和交易平台的技术；所述同态加密技术是在不解密的情况下对加密数据进行任意运算的算法。
9、优选的，所述图神经网络是基于图结构的深度学习模型，处理非欧几里得空间中的数据，包括图、网络、树，包括多层图卷积层和图池化层，提取节点和边的局部和全局特征；所述知识图谱是结构化的知识表示方法，将实体、属性、关系知识以图形式组织起来，并提供语义查询和推理能力，包括本体构建、实体抽取、关系抽取、规则推理。
10、优选的，所述马尔可夫决策过程将实体链接问题建模为状态－动作－奖励的序列，其中状态表示当前的数据环境，动作表示执行实体识别、冲突解决、共指识别子任务，奖励表示实体链接的准确性和效率；所述多任务学习框架将不同的子任务作为不同的输出层，并共享输入层和隐藏层，进行任务之间的知识共享和协同学习；所述强化学习框架根据当前的状态选择最优的动作，并根据奖励更新策略网络和价值网络，进行动态决策和自适应优化。
11、优选的，所述集成学习框架将多个不同来源或类型的数据作为输入，并将不同的数据处理方法作为不同的基分类器，并经投票或加权方法进行综合判断；所述元学习框架将不同的数据处理方法作为不同的元策略，并经元梯度下降或元策略选择方法进行动态调整；
12、所述数据质量评估模块基于多源异构数据中的元数据信息和动态信息评估数据源的可靠性和时效性，并综合考虑数据源与目标领域之间的相关性，确定参照数据的权重；
13、所述元反馈机制包括基于用户评价或专家标注的有监督反馈或基于自动评价或自监督反馈的无监督反馈；
14、所述元迁移学习包括基于领域自适应或领域生成技术实现数据处理方法的跨领域迁移和泛化。
15、优选的，所述知识表示学习框架将关联数据中的路径模式和自然语言中的关系词汇分别表示为低维向量，并进行编码；
16、所述生成式对抗网络框架将路径模式向量作为生成器的输入，并将关系词汇向量作为判别器的输入，并经生成器和判别器之间的博弈过程进行匹配和生成；
17、所述增量学习模块基于数据流中的新数据来动态更新生成器和判别器的参数，并基于时间信息来跟踪关系演化的趋势和规律；
18、所述对抗训练包括基于梯度惩罚或虚拟批归一化正则化方法或基于自编码器或变分自编码器降噪方法；
19、所述对抗迁移包括基于领域自适应或领域生成技术进行关系匹配和生成方法的跨领域迁移和泛化。
20、优选的，所述生成器由编码器和解码器构成，其中编码器将路径模式向量作为输入，并经多层全连接层或卷积层或循环层神经网络结构，将其映射为隐向量；该解码器将隐向量作为输入，并经多层全连接层或卷积层或循环层神经网络结构，将其生成为关系词汇向量；所述判别器由编码器和分类器组成，其中编码器将关系词汇向量作为输入，并经多层全连接层或卷积层或循环层神经网络结构，将其映射为隐向量；该分类器将隐向量作为输入，并经全连接层或卷积层或循环层神经网络结构，将其判断为真实的或生成的。
21、优选的，所述生成器和判别器之间的博弈过程包括以下步骤：
22、随机采样一批路径模式向量和关系词汇向量作为训练数据；
23、基于生成器将路径模式向量生成为关系词汇向量，并与真实的关系词汇向量一起输入判别器；
24、基于判别器对输入的关系词汇向量进行真假判断，并计算判别器损失函数和生成器损失函数；
25、基于反向传播算法更新判别器和生成器的参数，使判本文档来自技高网...
【技术保护点】
1.面向大数据分析的应用融合系统，其特征在于：包括数据源管理模块、实体链接模块、冲突解决模块、关系推演模块和应用展示模块；
2.根据权利要求1所述的面向大数据分析的应用融合系统，所述关系推演模块基于知识表示学习框架和生成式对抗网络框架技术，对目标模式中的实体关系进行推理和更新，并生成关系描述，其中知识表示学习框架将关联数据中的路径模式和自然语言中的关系词汇分别表示为低维向量，并进行编码，生成式对抗网络框架将路径模式向量作为生成器的输入，并将关系词汇向量作为判别器的输入，并经生成器和判别器之间的博弈过程进行匹配和生成，并基于增量学习模块、对抗训练和对抗迁移子模块进行优化；
3.根据权利要求2所述的面向大数据分析的应用融合系统，其特征在于：所述区块链技术是基于密码学原理构建去中心化的数据存储和交易平台的技术；所述同态加密技术是在不解密的情况下对加密数据进行任意运算的算法。
4.根据权利要求3所述的面向大数据分析的应用融合系统，其特征在于：所述图神经网络是基于图结构的深度学习模型，处理非欧几里得空间中的数据，包括图、网络、树，包括多层图卷积层和图池化
5.根据权利要求4所述的面向大数据分析的应用融合系统，其特征在于：所述马尔可夫决策过程将实体链接问题建模为状态－动作－奖励的序列，其中状态表示当前的数据环境，动作表示执行实体识别、冲突解决、共指识别子任务，奖励表示实体链接的准确性和效率；所述多任务学习框架将不同的子任务作为不同的输出层，并共享输入层和隐藏层，进行任务之间的知识共享和协同学习；所述强化学习框架根据当前的状态选择最优的动作，并根据奖励更新策略网络和价值网络，进行动态决策和自适应优化。
6.根据权利要求5所述的面向大数据分析的应用融合系统，其特征在于：所述集成学习框架将多个不同来源或类型的数据作为输入，并将不同的数据处理方法作为不同的基分类器，并经投票或加权方法进行综合判断；所述元学习框架将不同的数据处理方法作为不同的元策略，并经元梯度下降或元策略选择方法进行动态调整；
7.根据权利要求6所述的面向大数据分析的应用融合系统，其特征在于：所述知识表示学习框架将关联数据中的路径模式和自然语言中的关系词汇分别表示为低维向量，并进行编码；
8.根据权利要求7所述的面向大数据分析的应用融合系统，其特征在于：所述生成器由编码器和解码器构成，其中编码器将路径模式向量作为输入，并经多层全连接层或卷积层或循环层神经网络结构，将其映射为隐向量；该解码器将隐向量作为输入，并经多层全连接层或卷积层或循环层神经网络结构，将其生成为关系词汇向量；所述判别器由编码器和分类器组成，其中编码器将关系词汇向量作为输入，并经多层全连接层或卷积层或循环层神经网络结构，将其映射为隐向量；该分类器将隐向量作为输入，并经全连接层或卷积层或循环层神经网络结构，将其判断为真实的或生成的。
9.根据权利要求8所述的面向大数据分析的应用融合系统，其特征在于：所述生成器和判别器之间的博弈过程包括以下步骤：
...【技术特征摘要】
1.面向大数据分析的应用融合系统，其特征在于：包括数据源管理模块、实体链接模块、冲突解决模块、关系推演模块和应用展示模块；
2.根据权利要求1所述的面向大数据分析的应用融合系统，所述关系推演模块基于知识表示学习框架和生成式对抗网络框架技术，对目标模式中的实体关系进行推理和更新，并生成关系描述，其中知识表示学习框架将关联数据中的路径模式和自然语言中的关系词汇分别表示为低维向量，并进行编码，生成式对抗网络框架将路径模式向量作为生成器的输入，并将关系词汇向量作为判别器的输入，并经生成器和判别器之间的博弈过程进行匹配和生成，并基于增量学习模块、对抗训练和对抗迁移子模块进行优化；
3.根据权利要求2所述的面向大数据分析的应用融合系统，其特征在于：所述区块链技术是基于密码学原理构建去中心化的数据存储和交易平台的技术；所述同态加密技术是在不解密的情况下对加密数据进行任意运算的算法。
4.根据权利要求3所述的面向大数据分析的应用融合系统，其特征在于：所述图神经网络是基于图结构的深度学习模型，处理非欧几里得空间中的数据，包括图、网络、树，包括多层图卷积层和图池化层，提取节点和边的局部和全局特征；所述知识图谱是结构化的知识表示方法，将实体、属性、关系知识以图形式组织起来，并提供语义查询和推理能力，包括本体构建、实体抽取、关系抽取、规则推理。
5.根据权利要求4所述的面向大数据分析的应用融合系统，其特征在于：所述马尔可夫决策过程将实体链接问题建模为状态－动作－奖励的序列，其中状态表示当前的数据环境，动作表示执行实体识别、冲突解决、共指识别...
【专利技术属性】
技术研发人员：索强，于天宇，潘彦，汪智鹏，曹企闻，呼延宇文，
申请(专利权)人：上海望繁信科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。