数据处理方法及装置制造方法及图纸

技术编号:42584030 阅读:24 留言:0更新日期:2024-09-03 18:02
本发明专利技术公开了一种数据处理方法及装置,其中,该方法包括:获取非结构化数据,所述非结构化数据包括:多个属性信息;将所述非结构化数据输入至预先训练的属性识别模型,以识别多个属性信息,其中,所述属性识别模型基于实体识别技术和历史数据进行训练;基于识别的多个属性信息将所述非结构化数据进行结构化处理;根据结构化处理结果更新相应的关系数据库数据。通过本发明专利技术,可以提高数据的利用率,提高后续的工作效率。

【技术实现步骤摘要】

本专利技术涉及数据处理领域,具体涉及一种数据处理方法及装置


技术介绍

1、当前,服务标准数据通过文件方式上传,在系统内以非结构化数据方式进行存储。由于非结构化数据的结构不规则、不完整,导致后期数据查询困难,查全率较低,数据开发利用较难,因而也无法开展深度的数据挖掘与分析,这些都降低了数据的利用率,降低了工作效率。


技术实现思路

1、本专利技术提供一种数据处理方法及装置,以解决上述提及的至少一个问题。

2、根据本专利技术的第一方面,提供一种数据处理方法,所述方法包括:获取非结构化数据,所述非结构化数据包括:多个属性信息;将所述非结构化数据输入至预先训练的属性识别模型,以识别多个属性信息,其中,所述属性识别模型基于实体识别技术和历史数据进行训练;基于识别的多个属性信息将所述非结构化数据进行结构化处理;根据结构化处理结果更新相应的关系数据库数据。

3、具体地,所述历史数据包括:多个历史属性信息,通过如下方式训练所述属性识别模型:基于序列标注模型构建初始属性识别模型,其中,所述序列标注模型由本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,所述方法包括:

2.如权利要求1所述的方法,其特征在于,所述历史数据包括:多个历史属性信息,通过如下方式训练所述属性识别模型:

3.如权利要求2所述的方法,其特征在于,将所述历史数据输入至所述初始属性识别模型,以使所述初始属性识别模型识别所述多个历史属性信息包括:

4.如权利要求2所述的方法,其特征在于,所述序列标注模型包括:双向长短时记忆网络模型和所述条件随机场模型,基于序列标注模型构建初始属性识别模型包括:

5.如权利要求1所述的方法,其特征在于,获取非结构化数据之前,所述方法还包括

6....

【技术特征摘要】

1.一种数据处理方法,其特征在于,所述方法包括:

2.如权利要求1所述的方法,其特征在于,所述历史数据包括:多个历史属性信息,通过如下方式训练所述属性识别模型:

3.如权利要求2所述的方法,其特征在于,将所述历史数据输入至所述初始属性识别模型,以使所述初始属性识别模型识别所述多个历史属性信息包括:

4.如权利要求2所述的方法,其特征在于,所述序列标注模型包括:双向长短时记忆网络模型和所述条件随机场模型,基于序列标注模型构建初始属性识别模型包括:

5.如权利要求1所述的...

【专利技术属性】
技术研发人员:潘东阳周悠雪李默晗刘欣悦任书宇黄宇翔
申请(专利权)人:华能置业有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1