System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据管理方法、终端设备以及计算机可读存储介质技术_技高网

数据管理方法、终端设备以及计算机可读存储介质技术

技术编号:40524471 阅读:9 留言:0更新日期:2024-03-01 13:43
本申请公开了数据管理方法、终端设备以及计算机可读存储介质,该数据管理方法获取第一文本数据,并对第一文本数据进行自然语言处理,以获取处理后的第二文本数据;通过语言模型对第二文本数据进行语义处理,以获取第二文本数据的关键信息;基于关键信息将第二文本数据转换为预设格式的结构化数据;将结构化数据写入至数据库系统,以输出数据分析结果。本申请的数据管理方法通过对第一文本数据进行自然语言处理和语义处理,以将第一文本数据转换为预设格式的结构化数据,使得终端设备能够利用第一文本数据进行处理和分析,提高非结构化数据的利用率,减少人工处理数据时的工作量,进一步提高数据管理的效率和准确性。

【技术实现步骤摘要】

本申请涉及数据管理,特别是涉及数据管理方法、终端设备以及计算机可读存储介质


技术介绍

1、现有的终端设备在进行工业数据的管理时,主要通过采集、清洗、转换、存储、分析和可视化等步骤对工业数据进行处理和分析,从而在繁杂的工业数据中提炼出有用的信息。具体地,现有的数据管理方法通常包括以下步骤:收集原始的工业数据;对原始的工业数据进行清洗和预处理;进行数据转化,以将不同格式和源头的数据整合到一起,以便进行统一的分析。

2、然而,现有的数据管理方法在收集原始的工业数据时,需要人工从众多数据源中提取出结构化数据,才能进行后续的清洗、预处理等步骤,数据管理的效率和准确性不高。


技术实现思路

1、为解决上述技术问题,本申请提供了一种数据管理方法、终端设备以及计算机可读存储介质。

2、为解决上述问题,本申请提供一种数据管理方法,包括:获取第一文本数据,并对第一文本数据进行自然语言处理,以获取处理后的第二文本数据;通过语言模型对第二文本数据进行语义处理,以获取第二文本数据的关键信息;基于关键信息将第二文本数据转换为预设格式的结构化数据;将结构化数据写入至数据库系统,并按照时间序列对数据库系统的结构化数据进行分析,以输出数据分析结果。

3、可选地,获取第一文本数据,并对第一文本数据进行自然语言处理,以获取处理后的第二文本数据,包括:对第一文本数据进行分词,以获取第一文本数据的多个词语;对多个词语进行词性标注,以基于词语的词性将多个词语归类到预定义类别;对标注后的第一文本数据进行命名实体识别,以获取第二文本数据。

4、可选地,按照时间序列对数据库系统的结构化数据进行分析和建模,以输出数据分析结果,包括:对预设时间段内数据库系统存储的结构化数据进行聚类分析,以获取多个数据簇;基于预设的类别标签对多个数据簇进行分类;基于结构化数据的时间序列对类别标签的数据簇进行分析,以输出数据分析结果。

5、可选地,将结构化数据写入至数据库系统,并按照时间序列对数据库系统的结构化数据进行分析和建模,以输出数据分析结果,包括:将结构化数据写入至数据库系统的多个数据库,结构化数据按照预设采样频率生成;基于预设采样频率以及数据库系统的历史存储数据,生成数据库系统的数据增长的预测信息;基于预测信息对数据库系统进行数据管理。

6、可选地,结构化数据为多个传感器按照预设采样频率所采集的生产数据;基于预设采样频率以及数据库系统的历史存储数据,生成数据库系统的数据增长的预测信息,包括:基于多个传感器的类型、预设采样频率以及传感器在数据库系统中的历史存储数据,生成预测信息。

7、可选地,将结构化数据写入至数据库系统的多个数据库,结构化数据按照预设采样频率生成,包括:响应于结构化数据的数据容量大于预设阈值,对结构化数据进行数据压缩,以将压缩后的结构化数据写入至数据库系统。

8、可选地,基于关键信息将第二文本数据转换为预设格式的结构化数据,包括:响应于关键信息包括预设字段,将预设字段作为数据集的字段数据,将与预设字段对应的关键信息作为数据集的数据记录,以将数据集作为结构化数据。

9、可选地,基于关键信息将第二文本数据转换为预设格式的结构化数据之后,数据管理方法还包括:对结构化数据进行数据清洗,数据清洗包括重复值处理、缺失值处理以及异常值处理的至少一种。

10、为解决上述问题,本申请提供一种终端设备,包括处理器以及与处理器连接的存储器,其中,存储器中存储有程序数据,处理器调取存储器存储的程序数据,以执行如上的数据管理方法。

11、为解决上述问题,本申请提供一种计算机可读存储介质,存储有程序指令,程序指令被处理器执行以实现如上的数据管理方法。

12、本申请提供了数据管理方法、终端设备以及计算机可读存储介质,该数据管理方法通过获取第一文本数据,并对第一文本数据进行自然语言处理,以获取处理后的第二文本数据;通过语言模型对第二文本数据进行语义处理,以获取第二文本数据的关键信息;基于关键信息将第二文本数据转换为预设格式的结构化数据;将结构化数据写入至数据库系统,并按照时间序列对数据库系统的结构化数据进行分析,以输出数据分析结果。本申请的数据管理方法通过对第一文本数据进行自然语言处理和语义处理,以将第一文本数据转换为预设格式的结构化数据,使得终端设备能够利用第一文本数据进行处理和分析,提高非结构化数据的利用率,减少人工处理数据时的工作量,进一步提高数据管理的效率和准确性。

本文档来自技高网...

【技术保护点】

1.一种数据管理方法,其特征在于,包括:

2.根据权利要求1所述的数据管理方法,其特征在于,所述第一文本数据,并对所述第一文本数据进行自然语言处理,以获取处理后的第二文本数据,包括:

3.根据权利要求1所述的数据管理方法,其特征在于,所述按照时间序列对所述数据库系统的结构化数据进行分析和建模,以输出数据分析结果,包括:

4.根据权利要求1所述的数据管理方法,其特征在于,所述将所述结构化数据写入至数据库系统,并按照时间序列对所述数据库系统的结构化数据进行分析和建模,以输出数据分析结果,包括:

5.根据权利要求4所述的数据管理方法,其特征在于,所述结构化数据为多个传感器按照所述预设采样频率所采集的生产数据;

6.根据权利要求4所述的数据管理方法,其特征在于,所述将所述结构化数据写入至所述数据库系统的多个数据库,所述结构化数据按照预设采样频率生成,包括:

7.根据权利要求1或2所述的数据管理方法,其特征在于,所述基于所述关键信息将所述第二文本数据转换为预设格式的结构化数据,包括:

8.根据权利要求1所述的数据管理方法,其特征在于,所述基于所述关键信息将所述第二文本数据转换为预设格式的结构化数据之后,所述数据管理方法还包括:

9.一种终端设备,其特征在于,包括处理器以及与所述处理器连接的存储器,其中,所述存储器中存储有程序数据,所述处理器调取所述存储器存储的所述程序数据,以执行如权利要求1-8任一项所述的数据管理方法。

10.一种计算机可读存储介质,其特征在于,存储有程序指令,所述程序指令被处理器执行以实现如权利要求1-8任一项所述的数据管理方法。

...

【技术特征摘要】

1.一种数据管理方法,其特征在于,包括:

2.根据权利要求1所述的数据管理方法,其特征在于,所述第一文本数据,并对所述第一文本数据进行自然语言处理,以获取处理后的第二文本数据,包括:

3.根据权利要求1所述的数据管理方法,其特征在于,所述按照时间序列对所述数据库系统的结构化数据进行分析和建模,以输出数据分析结果,包括:

4.根据权利要求1所述的数据管理方法,其特征在于,所述将所述结构化数据写入至数据库系统,并按照时间序列对所述数据库系统的结构化数据进行分析和建模,以输出数据分析结果,包括:

5.根据权利要求4所述的数据管理方法,其特征在于,所述结构化数据为多个传感器按照所述预设采样频率所采集的生产数据;

6.根据权利要求4所述的数据管理方法,其特征在于,所述将所述结构...

【专利技术属性】
技术研发人员:李雨洋顾鋆涛赵强王尧
申请(专利权)人:中科先进深圳集成技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1