System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据处理方法、系统和可读存储介质技术方案_技高网

数据处理方法、系统和可读存储介质技术方案

技术编号:41385124 阅读:16 留言:0更新日期:2024-05-20 19:06
本发明专利技术公开了一种数据处理方法、系统和可读存储介质,其中方法包括:获取历史数据信息;提取历史数据信息中的历史关键词,并根据历史关键词构建圆形知识图谱;获取当前数据信息;提取当前数据信息中的关键词信息;基于圆形知识图谱,根据当前数据信息中的关键词信息,确定当前数据的类型,并根据对应类型对当前数据进行分类及存储。本发明专利技术通过构建圆形知识图谱,将数据中的关键词进行分类并点亮,提高了数据分类的辨别度。

【技术实现步骤摘要】

本专利技术涉及数据处理,更具体的,涉及一种数据处理方法、系统和可读存储介质


技术介绍

1、随着互联网大数据的爆炸式增长,数据的获取以及生成变得更加容易,给数据处理带来压力,其中数据分类是数据处理中的一个重要环节,若数据分类错误,会影响后期数据处理的处理时间,当前数据分类主要是通过人工进行处理,存在人为的个人色彩,给数据分类带来偏见。

2、因此,现有技术存在缺陷,亟待改进。


技术实现思路

1、鉴于上述问题,本专利技术的目的是提供一种数据处理方法、系统和可读存储介质,能够提高数据分类的辨别度。

2、本专利技术第一方面提供了一种数据处理方法,包括:

3、获取历史数据信息;

4、提取历史数据信息中的历史关键词,并根据历史关键词构建圆形知识图谱;

5、获取当前数据信息;

6、提取当前数据信息中的关键词信息;

7、基于圆形知识图谱,根据当前数据信息中的关键词信息,确定当前数据的类型,并根据对应类型对当前数据进行分类及存储。

8、本方案中,所述构建圆形知识图谱的步骤,还包括:

9、基于数据类型规则,将历史关键词进行分类,得到对应历史关键词的类型;

10、将同一类型的历史关键词发送至预设扇形知识图谱以进行存储;

11、将所有扇形知识图谱进行合并,得到一个圆形知识图谱。

12、本方案中,所述确定当前数据的类型的步骤,具体包括:

13、根据当前数据信息中的关键词信息,点亮圆形知识图谱中对应关键词,得到点亮关键词;

14、提取点亮关键词的数量值以及对应点亮关键词的位置距离值;

15、预设第一数量影响权重系数和位置距离影响权重系数,将点亮关键词的数量值乘以对应第一数量影响权重系数,得到第一数值;

16、将点亮关键词的位置距离值乘以对应位置距离影响权重系数,得到第二数值;

17、将第一数值和第二数值进行累加,得到点亮关键词类型指数;

18、将预设扇形知识图谱中所有点亮关键词类型指数进行累加,得到对应扇形知识图谱的类型指数;

19、判断所述扇形知识图谱的类型指数是否大于预设类型指数阈值,若是,将对应扇形知识图谱对应的类型设为当前数据的类型。

20、本方案中,所述得到点亮关键词的步骤,具体包括:

21、获取关键词在当前数据中的位置信息以及数量值;

22、将关键词在当前数据中的位置进行数值化,得到对应关键词的位置数值;

23、预设第二数量影响权重系数和位置数值影响权重系数,将关键词的数量值乘以预设第二数量影响权重系数,得到第三数值;

24、将关键词的位置数值乘以对应位置数值影响权重系数,得到第四数值;

25、将第三数值和第四数值进行累加,得到对应关键词的初始亮度值;

26、获取关键词和其他关键词的第一关联度;

27、基于预设关联度阈值,提取大于预设关联度阈值的第一关联度,设为第二关联度;

28、提取第二关联度对应的其他关键词的初始亮度值;

29、预设其他关键词的影响权重系数,将第二关联度乘以对应的其他关键词的初始亮度值乘以对应的其他关键词的影响权重系数,得到其他关键词对本关键词的亮度影响值;

30、将所有其他关键词对本关键词的亮度影响值进行累加,得到关键词的亮度调整值;

31、将关键词的亮度调整值和初始亮度值进行累加,得到对应关键词的最终亮度值;

32、当关键词的最终亮度值大于预设亮度阈值时,将对应关键词进行点亮,得到点亮关键词。

33、本方案中,所述获取关键词和其他关键词的第一关联度的步骤,具体包括:

34、将历史数据划分为多个独立数据,若独立数据中包含关键词a的数量为na,独立数据中包含关键词b的数量为nb,独立数据中包含关键词a和关键词b的数量为nab,则对应关键词a和关键词b的第一关联度其中当nab=0时,对应关键词a和关键词b的第一关联度为0。

35、本方案中,所述点亮关键词的位置距离值计算的步骤,具体包括:

36、获取点亮关键词的最终亮度值;

37、根据点亮关键词的最终亮度值落入的预设亮度值范围,确定对应点亮关键词的点亮等级;

38、根据对应点亮关键词的点亮等级对该点亮关键词的亮度进行点亮;

39、基于预设点亮等级影响权重系数,将预设点亮等级影响权重系数除以应点亮关键词的点亮等级,得到对应点亮关键词的位置距离值;

40、所述点亮关键词的位置距离值为点亮关键词到圆形知识图谱的圆心的距离值。

41、本专利技术第二方面提供了一种数据处理系统,包括存储器和处理器,所述存储器中存储有一种数据处理方法程序,所述一种数据处理方法程序被所述处理器执行时实现如下步骤:

42、获取历史数据信息;

43、提取历史数据信息中的历史关键词,并根据历史关键词构建圆形知识图谱;

44、获取当前数据信息;

45、提取当前数据信息中的关键词信息;

46、基于圆形知识图谱,根据当前数据信息中的关键词信息,确定当前数据的类型,并根据对应类型对当前数据进行分类及存储。

47、本方案中,所述构建圆形知识图谱的步骤,还包括:

48、基于数据类型规则,将历史关键词进行分类,得到对应历史关键词的类型;

49、将同一类型的历史关键词发送至预设扇形知识图谱以进行存储;

50、将所有扇形知识图谱进行合并,得到一个圆形知识图谱。

51、本方案中,所述确定当前数据的类型的步骤,具体包括:

52、根据当前数据信息中的关键词信息,点亮圆形知识图谱中对应关键词,得到点亮关键词;

53、提取点亮关键词的数量值以及对应点亮关键词的位置距离值;

54、预设第一数量影响权重系数和位置距离影响权重系数,将点亮关键词的数量值乘以对应第一数量影响权重系数,得到第一数值;

55、将点亮关键词的位置距离值乘以对应位置距离影响权重系数,得到第二数值;

56、将第一数值和第二数值进行累加,得到点亮关键词类型指数;

57、将预设扇形知识图谱中所有点亮关键词类型指数进行累加,得到对应扇形知识图谱的类型指数;

58、判断所述扇形知识图谱的类型指数是否大于预设类型指数阈值,若是,将对应扇形知识图谱对应的类型设为当前数据的类型。

59、本方案中,所述得到点亮关键词的步骤,具体包括:

60、获取关键词在当前数据中的位置信息以及数量值;

61、将关键词在当前数据中的位置进行数值化,得到对应关键词的位置数值;

62、预设第二数量影响权重系数和位置数值影响权重系数,将关键词的数量值乘以预设第二数量影响权重系数,得到本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的数据处理方法,其特征在于,所述构建圆形知识图谱的步骤,还包括:

3.根据权利要求1所述的数据处理方法,其特征在于,所述确定当前数据的类型的步骤,具体包括:

4.根据权利要求3所述的数据处理方法,其特征在于,所述得到点亮关键词的步骤,具体包括:

5.根据权利要求4所述的数据处理方法,其特征在于,所述获取关键词和其他关键词的第一关联度的步骤,具体包括:

6.根据权利要求3所述的数据处理方法,其特征在于,所述点亮关键词的位置距离值计算的步骤,具体包括:

7.一种数据处理系统,其特征在于,包括存储器和处理器,所述存储器中存储有数据处理方法程序,所述数据处理方法程序被所述处理器执行时实现如下步骤:

8.根据权利要求7所述的数据处理系统,其特征在于,所述构建圆形知识图谱的步骤,还包括:

9.根据权利要求7所述的数据处理系统,其特征在于,所述确定当前数据的类型的步骤,具体包括:

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有一种数据处理方法程序,所述数据处理方法程序被处理器执行时,实现如权利要求1至6中任一项所述的数据处理方法的步骤。

...

【技术特征摘要】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的数据处理方法,其特征在于,所述构建圆形知识图谱的步骤,还包括:

3.根据权利要求1所述的数据处理方法,其特征在于,所述确定当前数据的类型的步骤,具体包括:

4.根据权利要求3所述的数据处理方法,其特征在于,所述得到点亮关键词的步骤,具体包括:

5.根据权利要求4所述的数据处理方法,其特征在于,所述获取关键词和其他关键词的第一关联度的步骤,具体包括:

6.根据权利要求3所述的数据处理方法,其特征在于,所述点亮关键词的位置距离值计算的步骤,具...

【专利技术属性】
技术研发人员:吴鹂
申请(专利权)人:湖南农业大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1