【技术实现步骤摘要】
本专利技术涉及一种面向多源异构数据的多主体数据空间互操作方法。
技术介绍
1、随着新一代信息技术、新兴云计算、大数据、物联网、人工智能等的迅猛发展，制造/供应链网络节点企业内部和企业间的数据资源呈指数爆炸增长，由此所产生的海量业务数据呈现出多源异构、利用率低、难以有效集成的特征。
2、企业内部和企业间的业务系统产生的数据包括销售、市场营销、客户关系管理、供应链、人力资源等不同领域的数据，并且包含结构化数据(如关系型数据库)和非结构化数据(如文档、电子邮件、日志等)，普遍存在数据质量问题(如缺失数据、错误数据、重复数据等)。由于企业内部和企业间的业务系统相互独立运作，数据往往以不同的格式、结构和命名约定存储在各种数据库、文件系统或应用程序中，数据之间没有形成统一专业术语、统一数据格式和统一元数据框架，使得企业内部及跨企业多主体在进行数据互操作时数据交换能力薄弱，主体间数据共享能力不足。
3、亚信蓝涛(江苏)数据科技有限公司公开的专利技术专利《一种基于深度学习的非结构化数据处理方法》(201710044292.2)基于hadoop的大数据框架，解决非结构化数据的存储、管理、访问，并对非结构化数据进行预处理，实现非结构化数据的存储，增强非结构化数据处理的效率、准确性。
4、中国科学院沈阳自动化研究所公开的专利技术专利《一种关系数据语义化建模方法》(201711428542.9)涉及一种关系数据语义化建模方法，以多维度异种数据源为基础，对多数据源数据信息进行数据抽取，获取数据库及数据表信息，根据多维度
5、中国石油集团川庆钻探工程有限公司长庆钻井总公司公开的专利技术专利《一种基于大数据的钻井提速影响因素分析模型》(201910037016.2)基于kettle实现了分布式多源异构数据源的数据集成；基于soa的业务智能云服务平台，对各分布式异构数据中心构建检索服务，以实现企业内单个职能部门一站式获取所有部门所提供的共享信息，有利于实现数据共享，进而实现推广先进经验。
6、合肥斯欧互联科技股份有限公司公开的专利技术专利《一种工业互联网信息交换方法》(202111258730.8)提出一种工业互联网信息交换方法，通过研制异构网络信息互操作标准，建立多层级网络信息模型体系，实现跨系统的互操作，推动信息技术网络与生产控制网络融合，利用语义描述手段与强制的语法数据结构要求形成规范标准，解决了边缘层、企业层和产业链层的多源异构系统差异性，以及数据共享服务难以集成，造成信息堵而不通、通而不畅、畅而不准的问题。
7、南京邮电大学公开的专利技术专利《面向异构数据源的统一sql查询方法》(202311065187.9)公开一种面向异构数据源的统一sql查询方法，该框架包括访问适配、解析转换、优化验证、sql执行等模块，保证了不同数据源之间正确率较高的互操作，有效提高了异构源统一查询系统的扩展性和应用范围。
8、上述研究和专利技术对多源异构数据的采集、共享和互操作起到了一定的推进作用，但是仍存在以下的问题：
9、1.在进行多源异构数据的共享时缺少对数据在业务逻辑与语义关联的发掘，缺乏对数据标准化语义发布的具体可实施方案，无法指导企业在具体业务场景与应用环境中对数据进行准化语义发布，容易因为对语义的理解差异而误解数据的上下文含义，使得跨部门和跨组织的数据共享能力不足。
10、2.在构建多主体数据空间互操作模型时，缺乏数据概念模型、元数据来源、国家/行业标准及具体业务场景的输入，没有形成统一专业术语、统一数据格式及统一元数据框架，导致跨企业间容易对数据的理解出现歧义，不同系统和应用程序难以对数据进行交互和整合，缺乏对数据元素、属性和关系一致的描述和定义，使得多主体间在进行数据互操作时数据交换能力薄弱。
11、3.缺乏对主体内部数据交换与信息交互的建模，无法明确企业内部数据的流动和传输方式，对数据的逻辑结构描述不清晰，导致企业内不同系统难以理解和解释数据的含义，在进行信息交互时缺乏统一的平台和通信机制，进而使得主体间信息共享能力不足。
技术实现思路
1、针对现有对多源异构数据的采集、共享和互操作的方法所存在的共享能力不足、互操作时数据交换能力薄弱的技术问题，本专利技术提出了一种面向多源异构数据的多主体数据空间互操作方法。
2、本专利技术的技术方案是：
3、一种面向多源异构数据的多主体数据空间互操作方法，其特殊之处在于，包括以下步骤：
4、步骤1：多源异构数据共享
5、针对制造/供应链网络节点企业的多源异构数据，采用实时数据与批数据的采集方式进行数据采集，挖掘所述多源异构数据具有的业务逻辑与语义的关联，并进行数据标准化语义发布，实现多源异构数据的共享；
6、步骤2：将步骤1进行共享的数据进行提取、转换和加载至目标系统中；
7、步骤3：对加载数据后目标系统中的数据进行预处理，包括清洗、降维和归一化处理；
8、步骤4：构建多主体数据空间互操作模型；
9、对各个制造/供应链网络节点企业，根据国家和/或行业标准及业务场景构建统一专业术语的词汇表，根据数据概念模型统一步骤3预处理后数据的格式，根据元数据来源构建统一的元数据标准框架，进而以此形成多主体数据空间互操作模型；所述元数据标准框架包括技术元数据、业务元数据和数据质量元数据；所述多主体数据空间互操作模型包括主体模块、全局模块、数据模型、控制中心、子模块和信息交换中心；主体模块有多个，分别对应不同的企业；全局模块用于将不同子模块中的数据集成到一个统一视图中，使数据能够更容易地被访问、查询和分析；数据模型用于定义数据的组织结构，包括实体和属性；控制中心用于使数据在不同子模块之间、不同子模块与主体模块之间以及不同主体模块之间按照设定规则和流程传输；子模块有多个，分别对应各主体模块中的各个部门；信息交换中心用于提供统一的平台和通信机制，促进不同子模块与全局模块间的数据交流与互操作；
10、步骤5：将步骤4构建的多主体数据空间互操作模型的数据进行导出及查询。
11、进一步地，步骤1中所述的实时数据与批数据的采集方式为storm、sqoop、kettle或datax数据采集技术。
12、进一步地，步骤1中，利用实时数据与批数据的采集方式采集表格数据、文档数据和xml数据后会形成数据表，在进行共享时，需要先将数据表转化为rdf格式数据，再将rdf格式数据与采集到的数据库数据进行共享。
13、进一步地，步骤2具体为：
14、步骤2.1：从步骤1共享的多源异构数据中提取与业务相关的数据；
15、步骤2.2：对步骤2.1提取的与业务相关的数据进行数据格式转换、数据规范化、字段计算、数据合并中的至少一种操作，使其满足数据质量、一致性和可用性的要求；
16、步骤2.3：将本文档来自技高网...
【技术保护点】
1.一种面向多源异构数据的多主体数据空间互操作方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的面向多源异构数据的多主体数据空间互操作方法，其特征在于：步骤1中所述的实时数据与批数据的采集方式为Storm、Sqoop、Kettle或DataX数据采集技术；
3.根据权利要求1所述的面向多源异构数据的多主体数据空间互操作方法，其特征在于：步骤2具体为：
4.根据权利要求1所述的面向多源异构数据的多主体数据空间互操作方法，其特征在于：步骤3中：采用主成分分析方法进行数据降维；根据实际需求从总和标准化、极大值标准化和极差标准化中选取相应的方法对数据进行归一化处理。
5.根据权利要求1所述的面向多源异构数据的多主体数据空间互操作方法，其特征在于：步骤4中构建统一专业术语的词汇表的方法具体为：
6.根据权利要求1所述的面向多源异构数据的多主体数据空间互操作方法，其特征在于：步骤4中根据数据概念模型统一步骤3预处理后数据的格式的方法具体为：
7.根据权利要求1所述的面向多源异构数据的多主体数据空间互操作方法，其特
8.根据权利要求1所述的面向多源异构数据的多主体数据空间互操作方法，其特征在于：步骤4中多主体数据空间互操作模型的构建方法具体为：
9.计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被运行时用于实现权利要求1-8任一所述的面向多源异构数据的多主体数据空间互操作方法。
10.电子设备，包括处理器和存储介质，所述存储介质上存储有计算机程序，其特征在于：所述计算机程序被运行时用于实现权利要求1-8任一所述的面向多源异构数据的多主体数据空间互操作方法。
...【技术特征摘要】
1.一种面向多源异构数据的多主体数据空间互操作方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的面向多源异构数据的多主体数据空间互操作方法，其特征在于：步骤1中所述的实时数据与批数据的采集方式为storm、sqoop、kettle或datax数据采集技术；
3.根据权利要求1所述的面向多源异构数据的多主体数据空间互操作方法，其特征在于：步骤2具体为：
4.根据权利要求1所述的面向多源异构数据的多主体数据空间互操作方法，其特征在于：步骤3中：采用主成分分析方法进行数据降维；根据实际需求从总和标准化、极大值标准化和极差标准化中选取相应的方法对数据进行归一化处理。
5.根据权利要求1所述的面向多源异构数据的多主体数据空间互操作方法，其特征在于：步骤4中构建统一专业术语的词汇表的方法具体为：
6.根据权利要求1所述的面向多源异构数据的多主体数据空间互操作方法，其特征在于：步骤4中根据数据概念模型统一步骤3...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。