【技术实现步骤摘要】
本专利技术属于核聚变数据处理领域，公开了一种面向核聚变数据标准化的数据仓库架构及数据处理系统。
技术介绍
1、核聚变是指由质量小的原子(如氢的同位素氘、氚)，在极高的温度和压力下使得原子核能够互相吸引而碰撞到一起，发生原子核互相聚合作用，生成新的质量更重的原子核(如氦)和其他粒子。在核聚变过程中大量电子和中子在原子核聚变反应中释放，所表现出来的就是巨大的能量释放。核聚变已被普遍认为是未来为人类提供可持续清洁能源的主要方式，不可控核聚变技术已被实现(如氢弹的爆炸)，目前的研究多聚焦于可控核聚变技术，旨在通过人工手段实现受控的、持续的聚变反应，并将其应用于未来的能源生产。
2、可控核聚变技术的核心问题是如何约束原子在一定的范围内而产生更多的原子聚合，目前的主要研究方向为磁约束聚变。全球范围内，用于磁约束聚变实验的托克马克科学装置众多，其中有代表性的有欧洲联合核研究中心的国际热核聚变实验反应堆iter、等机构合作的中国东方福斯托核聚变装置(east)、中国环流器二号m装置(hl-2m)、美国国家点火实验装置(nif)等。由于磁约束聚变涉及的物理机制仍处于不断探索过程中，托克马克装置的系统结构也较为复杂，包含众多子系统与测量窗口，每次在托克马克装置上进行的聚变实验直接产生的数据量为数十gb量级，在实验原始数据基础上进行模拟仿真或综合诊断的数据规模更为庞大，且包含的不同类别、不同结构的数据繁多。
3、总体而言核聚变领域数据存在以下几个明显特征：
4、(1)数据模型及规范众多，无统一标准；
5
6、(3)数据溯源困难，缺乏可信度验证；
7、(4)角色与需求众多，数据理解存在壁垒。由于以上问题，聚变领域科研人员和工程人员在进行数据分析工作时，70％左右的时间需要投入在数据的理解、筛选、转换、验证的工作上，从而影响整体工作效率。
8、对于聚变领域的数据管理问题，建设核聚变领域数据仓库是一个较为合适的解决方法。数据仓库已在金融、互联网、电信和医疗等领域有较为成熟的应用，在极大程度上优化了对于大规模、多源异构数据的分析和管理工作。
9、但聚变领域与已成功应用数据仓库技术的领域相比，数据存在较大差异，区别主要为以下几点：
10、(1)核聚变领域数据往往以数值型数据为主，数值精度高、维数高、规模庞大，且与实验强相关，数据直接或间接来源于某次实验的输入数据或诊断数据；
11、(2)核聚变领域数据专业程度高，存在理解壁垒，进行语义解读时需要借助诸如来源、单位、含义描述、格式说明等元数据信息，任一信息的缺失都可能导致理解歧义；
12、(3)核聚变领域数据往往反映聚变背后复杂的核物理原理或机制，实际的数据分析工作需要复杂的物理推导或ai算法，难以用传统数据分析方法解读数据规律。
13、基于以上差异，亟需提出一种面向核聚变数据标准化的数据仓库架构，建立标准化的核聚变数据管理与共享体系，满足聚变领域数据共享的需求，避免数据孤岛问题，提高聚变领域科研效率。
技术实现思路
1、鉴于此，本专利技术提供了一种面向核聚变数据标准化的数据仓库架构及数据处理系统。
2、第一方面，本专利技术实施例提供了一种面向核聚变数据标准化的数据仓库架构，所述数据仓库架构包括松耦合的操作型数据层、数据标准层、语义标准层、分析标准层、数据应用层、数据工具集；
3、操作型数据层，用于从核聚变数据业务系统sql数据库中提取并转存核聚变业务数据；所述核聚变业务数据包括：核聚变数据业务操作数据、核聚变物理/业务实体数据、聚变实验数据；
4、数据标准层，用于通过数据工具集对核聚变业务数据进行清洗、标准化；
5、语义标准层，用于对清洗后的核聚变数据业务操作数据进行解析，得到事实表；对清洗后的核聚变物理/业务实体数据进行解析，得到数据维表；根据核聚变数据业务建立雪花模型维护事实表与数据维表；并将聚变实验数据根据实验id与事实表、数据维表建立关系，得到数据宽表；
6、分析标准层，用于对语义标准层提供的数据宽表进行主题分类，得到每个主题下的数据宽表；
7、数据应用层，用于将分析标准层提供的每个主题下的数据宽表根据外部数据应用需求面向目标维度进行聚合或数据转换。
8、第二方面，本专利技术实施例提供了一种面向核聚变数据标准化的数据处理系统，包括上述的面向核聚变数据标准化的数据仓库架构、聚变数据服务系统、聚变数据业务系统；
9、所述聚变数据服务系统，用于进行数据入库、数据查询、数据读取、数据工具使用、数据维护、聚变数据类别信息查询；所述聚变数据服务系统通过聚变数据仓库接口与面向核聚变数据标准化的数据仓库架构耦合，通过聚变数据业务接口与聚变数据业务系统耦合；
10、所述聚变数据业务系统，用于维护若干个存储模块，存储模块所存储的数据包括数据入库记录、数据工具使用记录、数据访问与读取记录、磁约束聚变实验装置信息、磁约束聚变实验装置子系统信息、聚变实验记录、聚变实验数据等；
11、所述面向核聚变数据标准化的数据仓库架构，用于提供标准化的核聚变业务数据。
12、第三方面，本专利技术实施例提供了一种电子设备，包括存储器和处理器，所述存储器与所述处理器耦接；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述的面向核聚变数据标准化的数据仓库架构。
13、第四方面，本专利技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的面向核聚变数据标准化的数据仓库架构。
14、与现有技术相比，本专利技术的有益效果为：本专利技术提供了面向核聚变数据标准化的数据仓库架构，包括松耦合的操作型数据层、数据标准层、语义标准层、分析标准层、数据应用层、数据工具集；通过语义标准层连接所有相关核聚变物理/业务实体数据，提供聚变数据解读的标准化语义环境，这使得不同用户基于同一环境和语义对聚变数据进行解读，从而消除产生理解壁垒和认知歧义；通过对核聚变业务数据进行标准化管理，以满足外部数据应用需求。
本文档来自技高网...【技术保护点】
1.一种面向核聚变数据标准化的数据仓库架构，其特征在于，所述数据仓库架构包括松耦合的操作型数据层、数据标准层、语义标准层、分析标准层、数据应用层、数据工具集；
2.根据权利要求1所述的一种面向核聚变数据标准化的数据仓库架构，其特征在于，操作型数据层在提取并转存核聚变业务数据的过程中，包括：
3.根据权利要求2所述的一种面向核聚变数据标准化的数据仓库架构，其特征在于，核聚变数据业务操作数据包括：数据工具的使用记录、对数据仓库中存储数据的查询和读取记录、数据入库记录；
4.根据权利要求1所述的一种面向核聚变数据标准化的数据仓库架构，其特征在于，将聚变实验数据根据实验ID与事实表、数据维表建立关系包括：
5.根据权利要求1所述的一种面向核聚变数据标准化的数据仓库架构，其特征在于，所述主题包括：实验控制主题、综合诊断主题、模拟仿真主题、用户主题、数据工具主题、物理数据类别主题、聚变装置主题。
6.根据权利要求1所述的一种面向核聚变数据标准化的数据仓库架构，其特征在于，所述外部数据应用需求包括：数据可视化、数据血缘关系追溯、聚变数
7.根据权利要求1所述的一种面向核聚变数据标准化的数据仓库架构，其特征在于，所述数据工具集用于处理聚变数据清洗、切片、坐标转换、单位转换、采样率对齐、归一化、插值和/或可视化。
8.一种面向核聚变数据标准化的数据处理系统，其特征在于，包括权利要求1-7任一项所述的面向核聚变数据标准化的数据仓库架构、聚变数据服务系统、聚变数据业务系统；
9.一种电子设备，包括存储器和处理器，其特征在于，所述存储器与所述处理器耦接；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述权利要求1-7任一项所述的面向核聚变数据标准化的数据仓库架构。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的面向核聚变数据标准化的数据仓库架构。
...【技术特征摘要】
1.一种面向核聚变数据标准化的数据仓库架构，其特征在于，所述数据仓库架构包括松耦合的操作型数据层、数据标准层、语义标准层、分析标准层、数据应用层、数据工具集；
2.根据权利要求1所述的一种面向核聚变数据标准化的数据仓库架构，其特征在于，操作型数据层在提取并转存核聚变业务数据的过程中，包括：
3.根据权利要求2所述的一种面向核聚变数据标准化的数据仓库架构，其特征在于，核聚变数据业务操作数据包括：数据工具的使用记录、对数据仓库中存储数据的查询和读取记录、数据入库记录；
4.根据权利要求1所述的一种面向核聚变数据标准化的数据仓库架构，其特征在于，将聚变实验数据根据实验id与事实表、数据维表建立关系包括：
5.根据权利要求1所述的一种面向核聚变数据标准化的数据仓库架构，其特征在于，所述主题包括：实验控制主题、综合诊断主题、模拟仿真主题、用户主题、数据工具主题、物理数据类别主题、聚变装置主题。
6.根据权利要求1所述的一种面向核聚变数...
【专利技术属性】
技术研发人员：周子豪，魏一雄，高超霖，程达，陈卓，王硕，李大松，周娜，唐枫，包青平，
申请(专利权)人：之江实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。