System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 用户数据的分类处理方法、装置、设备和存储介质制造方法及图纸_技高网

用户数据的分类处理方法、装置、设备和存储介质制造方法及图纸

技术编号:40103653 阅读:5 留言:0更新日期:2024-01-23 18:05
本发明专利技术提供了一种用户数据的分类处理方法,包括:获取多个训练用户数据序列;将训练用户数据序列输入至无监督学习模型中进行训练;依序将所述训练用户数据序列中的一个用户数据进行隐藏之后,输入至全连接层中进行处理得到对应的特征向量,输入至分类层进行分类预测,得到预测结果;调整隐藏层、全连接层以及分类层的模型参数,使得同一个训练用户数据序列,隐藏一个用户数据之后得到的预测结果相同;迭代训练无监督学习模型,得到用户数据分类模型;获取待处理的用户数据序列,将用户数据序列输入到所述用户数据分类模型中,以进行数据的分类处理。本发明专利技术中,通过基于训练数据进行无监督学习,无需进行数据标注,降低人工标注数据的任务量。

【技术实现步骤摘要】

本专利技术涉及数据处理的,特别涉及一种用户数据的分类处理方法、装置、设备和存储介质


技术介绍

1、在当今数字化、信息化的时代,海量用户数据成为了许多应用领域的重要资源。然而,处理和分类这些数据一直是一个具有挑战性的任务。用户数据中包含着关键的信息和模式,通过对其进行分类处理,可以发现隐藏在数据背后的规律,从而为决策制定、个性化推荐、广告投放等提供有力支持。

2、传统上,用户数据分类处理方法往往依赖于有监督学习技术,即通过预先标记好的数据进行训练。然而,这种方法需要大量手动标注的数据,并且对新数据的适应性较差,因为新数据的标记工作通常是耗时且昂贵的。这便使得目前的数据分类方式不仅不够准确,而且前期耗费人力。


技术实现思路

1、本专利技术的主要目的为提供一种用户数据的分类处理方法、装置、设备和存储介质,旨在解决目前需要手动标注大量数据进行训练的缺陷。

2、为实现上述目的,本专利技术提供了一种用户数据的分类处理方法,包括以下步骤:

3、获取训练数据;其中,所述训练数据包括多个训练用户数据序列,所述训练用户数据序列为训练用户的多个用户数据所组成的序列;

4、将所述训练用户数据序列输入至无监督学习模型中进行训练;其中,所述无监督学习模型包括隐藏层、全连接层以及分类层;

5、所述无监督学习模型在针对每一个训练用户数据序列的处理时,基于所述无监督学习模型的隐藏层依序将所述训练用户数据序列中的一个用户数据进行隐藏之后,输入至所述全连接层中进行处理得到对应的特征向量,将所述特征向量输入至分类层进行分类预测,得到训练用户数据序列的预测结果;

6、调整所述隐藏层、全连接层以及分类层的模型参数,使得针对同一个训练用户数据序列,隐藏一个用户数据之后预测得到的预测结果相同;

7、基于训练数据中的所有训练用户数据序列,迭代训练无监督学习模型,直至模型收敛得到用户数据分类模型;

8、获取待处理的用户数据序列,将用户数据序列输入到所述用户数据分类模型中,以进行数据的分类处理;其中,所述用户数据序列是用于记录用户数据的序列。

9、进一步地,所述获取待处理的用户数据序列的步骤之前,包括:

10、获取采集用户数据的设备的设备参数;其中,所述设备参数包括所述设备采集数据的标准信息以及所述设备的归属信息;

11、将所述采集数据的标准信息输入至文本检测脚本中,检测出所述采集数据的标准信息中各个标准所对应的数据标识;其中,所述数据标识为字符组合;

12、从数据库中获取一个通用转换表;其中,通用转换表中包括数据标识与数据类型的映射关系;

13、基于所述归属信息,对所述通用转换表进行修正,得到修正转换表;

14、基于所述修正转换表对所述数据标识进行转换,得到对应的目标数据类型,作为待采集用户数据的类型。

15、进一步地,所述基于所述归属信息,对所述通用转换表进行修正,得到修正转换表的步骤,包括:

16、根据所述归属信息,在数据库中匹配对应的数据优先序列;其中,数据库中存储有归属信息与数据优先序列的映射关系;所述数据优先序列中包括多个数据类型的优先排列顺序;

17、获取所述数据优先序列中排列在前四位的数据类型作为目标数据类型;

18、从所述通用转换表中剔除所有所述目标数据类型,并在所述通用转换表中留下四个空位;其中,所述通用转换表中的数据类型的个数为偶数;

19、将所述通用转换表中剩余的数据类型进行平移,以填充所述四个空位,并在所述通用转换表的数据类型所在列的最中间位置留下四个目标空位;

20、将所述目标数据类型依序填入所述四个目标空位中,以对所述通用转换表进行修正,得到所述修正转换表。

21、进一步地,所述获取待处理的用户数据序列的步骤,包括:

22、获取用户数据的多个数据采集设备的认证信息以及序号;其中,所述认证信息包括各个数据采集设备发送的认证字符码;

23、基于各个数据采集设备的序号的大小顺序,对所有数据采集设备进行排序,得到数据采集设备的排序;其中,所述排序按照序号从小到大排列;

24、基于所述数据采集设备的排序,将各个所述数据采集设备对应的认证字符码依序进行组合,得到字符码组合;

25、基于各个数据采集设备的序号,从数据库中确定出各个数据采集设备对应的密码生成规则;其中,所述密码生成规则包括密码中的字符数量、密码中的字符组合方式以及密码中的字符选取规则;

26、针对各个数据采集设备,基于对应的密码生成规则,从所述字符码组合中选取对应的字符进行组合,得到对应的加密密码,并将加密密码发送至对应的各个数据采集设备;

27、接收各个数据采集设备采集的用户数据,并按照所述数据采集设备的排序,对各个所述数据采集设备采集的用户数据进行排序并组合,得到所述用户数据序列;其中,各个数据采集设备采集用户数据之后,基于对应的加密密码对用户数据进行加密;所述用户数据序列中的各个用户数据基于对应的加密密码进行解密。

28、进一步地,所述针对各个数据采集设备,基于对应的密码生成规则,从所述字符码组合中选取对应的字符进行组合,得到对应的加密密码的步骤,包括:

29、依序针对所述数据采集设备的排序中的各个数据采集设备,基于对应的密码生成规则,从所述字符码组合中选取对应位置上的字符进行组合,得到对应的加密密码,并将所述字符码组合中对应位置上的字符删除。

30、进一步地,所述获取用户数据的多个数据采集设备的认证信息以及序号的步骤,包括:

31、获取用户数据的各个数据采集设备发送的认证数字串;其中各个数据采集设备发送的认证数字串互不相同;

32、获取数据采集设备的总数量,基于所述总数量对预设的映射表进行转换,得到转换映射表;其中,所述转换映射表中包括数字与字符的映射关系;

33、针对每个认证数字串,按照预设规则进行分隔,得到每个认证数字串对应的多个数字组合,将各个认证数字串对应的第一个数字组合作为对应数据采集设备的序号;

34、将各个认证数字串对应的多个数字组合中除第一个数字组合之外的所有数字组合依序基于所述转换映射表进行映射转换,得到对应的字符,并依序进行组合,得到各个数据设备对应的认证字符码。

35、本专利技术还提供了一种用户数据的分类处理装置,包括:

36、获取单元,用于获取训练数据;其中,所述训练数据包括多个训练用户数据序列,所述训练用户数据序列为训练用户的多个用户数据所组成的序列;

37、输入单元,用于将所述训练用户数据序列输入至无监督学习模型中进行训练;其中,所述无监督学习模型包括隐藏层、全连接层以及分类层;

38、隐藏单元,用于所述无监督学习模型在针对每一个训练用户数据序列的处理时,基于所述无监督学习模型的隐藏层依序将所述训练用户数据序列中本文档来自技高网...

【技术保护点】

1.一种用户数据的分类处理方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的用户数据的分类处理方法,其特征在于,所述获取待处理的用户数据序列的步骤之前,包括:

3.根据权利要求2所述的用户数据的分类处理方法,其特征在于,所述基于所述归属信息,对所述通用转换表进行修正,得到修正转换表的步骤,包括:

4.根据权利要求1所述的用户数据的分类处理方法,其特征在于,所述获取待处理的用户数据序列的步骤,包括:

5.根据权利要求4所述的用户数据的分类处理方法,其特征在于,所述针对各个数据采集设备,基于对应的密码生成规则,从所述字符码组合中选取对应的字符进行组合,得到对应的加密密码的步骤,包括:

6.根据权利要求4所述的用户数据的分类处理方法,其特征在于,所述获取用户数据的多个数据采集设备的认证信息以及序号的步骤,包括:

7.一种用户数据的分类处理装置,其特征在于,包括:

8.一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

...

【技术特征摘要】

1.一种用户数据的分类处理方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的用户数据的分类处理方法,其特征在于,所述获取待处理的用户数据序列的步骤之前,包括:

3.根据权利要求2所述的用户数据的分类处理方法,其特征在于,所述基于所述归属信息,对所述通用转换表进行修正,得到修正转换表的步骤,包括:

4.根据权利要求1所述的用户数据的分类处理方法,其特征在于,所述获取待处理的用户数据序列的步骤,包括:

5.根据权利要求4所述的用户数据的分类处理方法,其特征在于,所述针对各个数据采集设备,基于对应的密码生成规则,从所述字符码组...

【专利技术属性】
技术研发人员:陆奕伽
申请(专利权)人:深圳金袋鼠科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1