当前位置: 首页 > 专利查询>东北大学专利>正文

铝/铜板带材生产全流程大数据存储方法技术

技术编号:29458998 阅读:69 留言:0更新日期:2021-07-27 17:27
本发明专利技术涉及一种铝/铜板带材生产全流程大数据存储方法,包括针对铝/铜板带材生产全流程数据进行梳理分类,整理出不同结构和不同类型的数据;根据梳理的不同类型的数据,设计不同的存储方式和适用于铝/铜板带材生产全流程多源异构数据的数据库表结构,快速存取不同结构的数据;根据设计出的存储方式和数据库表结构,构建存储集群,实现针对铝/铜板带材生产全流程多源异构数据特点的分布式存储功能等步骤。本发明专利技术解决了铝/铜板带材数据量大、数据复杂难以存储以及存储效率低等问题,实现对铝/铜板带材各类型数据的高效存取,便于后对铝/铜板带材数据的使用分析。

Big data storage method for the whole process of aluminum / copper strip production

【技术实现步骤摘要】
铝/铜板带材生产全流程大数据存储方法
本专利技术涉及大数据和数据存储
,尤其涉及一种铝/铜板带材生产全流程大数据存储方法。
技术介绍
近年来,信息技术迅猛发展,随着大数据技术的发展,需要处理分析的数据集的大小已经远远超过了单台计算机的存储能力,因此需要将数据集进行分区并存储到若干台独立的计算机中。分布式存储技术在整个大数据生态中,扮演着承上启下的重要作用。铝/铜板带材厂积累了大量的生产数据,但是铝/铜板带材大数据具有多源异构、质量遗传、数据不精确、时空关系复杂、实时性要求高的特点,这些特点为大数据的存储与处理带来了巨大困难。随着数据量的增大,单纯的关系型数据库无法满足生产中的需求,对以后的数据处理与分析带来了不便。因此利用分布式的大数据存储技术,对铝/铜板带材生产全流程数据进行高效、安全存储有着重大和深远的意义。
技术实现思路
针对上述问题,本专利技术的目的在于提供一种铝/铜板带材生产全流程大数据存储方法,可有效存储生产全流程的结构化数据、半结构化数据以及非结构化数据,提供一整套数据存储及管理系统,实现对各类型数据的高本文档来自技高网...

【技术保护点】
1.铝/铜板带材生产全流程大数据存储方法,其特征在于,所述方法包括以下步骤:/nS1:针对铝/铜板带材生产全流程数据进行梳理分类,整理出不同结构和不同类型的数据;/nS2:根据S1梳理的不同类型的数据,设计不同的存储方式和适用于铝/铜板带材生产全流程多源异构数据的数据库表结构,快速存取不同结构的数据;/nS3:根据S2设计出的存储方式和数据库表结构,构建集群存储,实现针对铝/铜板带材生产全流程多源异构数据特点的分布式存储功能。/n

【技术特征摘要】
1.铝/铜板带材生产全流程大数据存储方法,其特征在于,所述方法包括以下步骤:
S1:针对铝/铜板带材生产全流程数据进行梳理分类,整理出不同结构和不同类型的数据;
S2:根据S1梳理的不同类型的数据,设计不同的存储方式和适用于铝/铜板带材生产全流程多源异构数据的数据库表结构,快速存取不同结构的数据;
S3:根据S2设计出的存储方式和数据库表结构,构建集群存储,实现针对铝/铜板带材生产全流程多源异构数据特点的分布式存储功能。


2.根据权利要求1所述的铝/铜板带材生产全流程大数据存储方法,其特征在于:所述步骤S1的具体过程如下:
(1.1)根据铝/铜板带材生产全流程工业大数据平台的数据结构,将铝/铜板带材生产全流程数据分为结构化数据、半结构化数据和非结构化数据;
(1.2)根据铝/铜板带材生产全流程的数据类型,将数据分为设备运行数据、工艺过程数据、管理信息数据、自然环境数据、质量检测数据、用于数据查询和索引的检索性数据、字段翻译数据、和加工过程中产生的各类文件数据;
(1.3)将铝/铜板带材工艺过程中的用于数据查询和索引的检索性数据以及字段翻译数据归为结构化数据;将铝/铜板带材生产过程中产生的设备运行数据、工艺过程数据、管理信息数据、自然环境数据和质量检测数据归为半结构化数据;将铝/铜板带材生产加工过程中产生的各类文件数据归为非结构化数据。


3.根据权利要求2所述的铝/铜板带材生产全流程大数据存储方法,其特征在于:所述步骤S2的具体过程如下:
(2.1)针对铝/铜板带材的结构化数据,将铝/铜板带材生产全流程中的生产设备、报文号、产品ID、时间等索引字段和字段翻译数据存储在MySQL中,且表结构选择符合第一范式的二维表形式,其中索引表存储的字段名为对应相应的索引字段,字段翻译表的字段分别为英...

【专利技术属性】
技术研发人员:刘士新王汇然陈大力温睿赵梓焱姚明昊
申请(专利权)人:东北大学
类型:发明
国别省市:辽宁;21

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1