基于大数据分析的信息分类存储方法与系统技术方案

技术编号:40415459 阅读:23 留言:0更新日期:2024-02-20 22:32
本发明专利技术提供了基于大数据分析的信息分类存储方法与系统,包括:获取经过人工分类的信息数据;信息数据包括文本和图像;提取出文本数据的语言特征;基于语言特征构建损失函数,不断优化损失函数得到文本信息分类模型;对图像进行预处理后提取出相应图像的形状特征;将形状特征输入到神经网络模型中得到图像信息分类模型;利用文本信息分类模型和图像信息分类模型完成待分类信息数据的归类存储。本发明专利技术针对不同类型的信息数据,分别提取了文本数据的语言特征和图像数据的形状特征作为样本,并利用大数据分析的方法完成了文本和图像信息的分类存储,无需人工进行干预,提高了信息分类存储的性能和效率。

【技术实现步骤摘要】

本专利技术属于信息分类,更具体地说,是涉及一种基于大数据分析的信息分类存储方法与系统


技术介绍

1、随着信息技术的迅猛发展和互联网的普及,大量的信息数据被生成并存储在各种各样的数据源中。这些数据源包括但不限于数据库、日志文件、社交媒体、传感器等。这些信息数据不仅数量庞大,而且种类繁多,如何高效地对这些数据进行分类存储成为了一个重要的挑战。

2、传统的信息分类存储方法往往依赖于手动定义的规则和模式,这些规则和模式需要人工不断更新和维护。然而,随着数据量的不断增加,手动定义规则的效率变得越来越低,而且很难涵盖所有可能的数据类型和情况。


技术实现思路

1、为解决上述问题,本专利技术的目的在于提供基于大数据分析的信息分类存储方法与系统。

2、基于大数据分析的信息分类存储方法,包括以下步骤:

3、步骤1:获取经过人工分类的信息数据;所述信息数据包括文本和图像;

4、步骤2:提取出所述文本数据的语言特征;

5、步骤3:基于所述语言特征构建损失函数,不断优化所述本文档来自技高网...

【技术保护点】

1.基于大数据分析的信息分类存储方法,其特征在于,包括以下步骤:

2.如权利要求1所述的基于大数据分析的信息分类存储方法,其特征在于,所述步骤2:提取出所述文本数据的语言特征,包括:

3.如权利要求2所述的基于大数据分析的信息分类存储方法,其特征在于,所述步骤2.2:将所述词向量输入到结构特征提取层中得到文本数据的结构特征,包括:

4.如权利要求3所述的基于大数据分析的信息分类存储方法,其特征在于,所述步骤2.3:对所述文本数据进行分词,并基于每个词语在相应文本中出现的位置确定位置权重,包括:

5.如权利要求4所述的基于大数据分析的信息分类...

【技术特征摘要】

1.基于大数据分析的信息分类存储方法,其特征在于,包括以下步骤:

2.如权利要求1所述的基于大数据分析的信息分类存储方法,其特征在于,所述步骤2:提取出所述文本数据的语言特征,包括:

3.如权利要求2所述的基于大数据分析的信息分类存储方法,其特征在于,所述步骤2.2:将所述词向量输入到结构特征提取层中得到文本数据的结构特征,包括:

4.如权利要求3所述的基于大数据分析的信息分类存储方法,其特征在于,所述步骤2.3:对所述文本数据进行分词,并基于每个词语在相应文本中出现的位置确定位置权重,包括:

5.如权利要求4所述的基于大数据分析的信息分类存储方法,其特征在于,所述步骤2.5:根据所述tf-idf值和所述位置权重确定词语的局部特征,包括:

6....

【专利技术属性】
技术研发人员:栗云帆
申请(专利权)人:北京邮电大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1