System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及数据处理,尤其是涉及一种用于确定用户标签信息的方法、设备及介质。
技术介绍
1、自互联网兴起以来,随着文本数据的日益增长,在面对简历、文章、社交媒体动态等各种类型的信息时,往往需要从大量的文本数据中提取出与人员相关的标签信息。
2、例如,在人力资源管理领域,通过抽取简历中的人员标签,能够帮助企业快速筛选和匹配合适的人才;在舆情分析领域,通过抽取社交媒体动态中的人员标签,可以帮助分析人员的观点和影响力。然而,传统的人工处理方式已经无法满足高效整合和利用这些数据的需求。
3、因此,为了降低数据管理的成本,如何根据大量的文本数据自动确定用户标签信息成为了目前亟待解决的问题。
技术实现思路
1、为了能够根据大量的文本数据自动确定用户标签信息,本申请提供了一种用于确定用户标签信息的方法、设备及介质。
2、第一方面,本申请提供一种用于确定用户标签信息的方法,采用如下的技术方案:
3、一种用于确定用户标签信息的方法,所述方法包括:
4、获取待分析的用户信息数据;
5、对所述待分析的用户信息数据进行数据处理,得到所述用户信息数据的特征向量;
6、将所述用户信息数据的特征向量输入至预先训练的标签生成模型中,得到所述用户信息数据对应的用户标签信息。
7、通过采用上述技术方案,将待分析的用户信息数据进行向量化表示,并利用训练好的标签生成模型对向量化处理的文本数据进行自动分析,从而能够根据大量的文本数
8、可选的,对所述待分析的用户信息数据进行数据处理,得到所述用户信息数据的特征向量的步骤包括:
9、对所述用户信息数据进行数据预处理,得到所述用户信息数据中的若干个词汇数据;
10、根据所述若干个词汇数据的词频和逆文档频率,生成每个词汇数据的权重值;
11、将每个词汇数据进行词嵌入处理,生成每个词汇数据的词向量;
12、基于每个词汇数据的权重值和词向量,生成每个词汇数据的加权词向量;
13、将所述每个词汇数据的加权词向量进行平均值计算,生成所述用户信息数据的特征向量。
14、通过采用上述技术方案,结合每个词汇数据的权重值和词嵌入处理后得到的词向量,既可以探测文本数据中词汇的重要程度,又可以捕捉词汇语义和语法之间的联系,有助于将原始的用户信息数据转化为结构化的数据,能够实现更加准确高效的用户标签信息自动确定。
15、可选的,所述标签生成模型包括支持向量机算法模型、随机森林算法模型和梯度提升树训练模型中的至少一种。
16、通过采用上述技术方案,由于每个模型都有其独特的优势和弱点,通过将多个模型的预测结果进行综合,可以充分利用各个模型的优势,弥补各个模型的不足,从而提高整体的预测准确性。
17、可选的,所述方法还包括对所述标签生成模型进行训练的步骤,所述训练的步骤包括:
18、获取样本数据集;所述样本数据集包括多个用户信息样本数据和每个用户信息样本数据对应的样本标签数据;
19、对所述样本数据集中的用户信息样本数据进行数据处理,得到所述用户信息样本数据的特征向量;
20、将数据处理后的样本数据集划分为训练集、验证集和测试集;
21、将预设的规则标签和所述训练集中的用户信息样本数据的特征向量分别输入至支持向量机算法模型、随机森林算法模型和/或梯度提升树训练模型,得到第一样本标签结果、第二样本标签结果和/或第三样本标签结果;
22、基于所述训练集中的样本标签数据,对所述第一样本标签结果、第二样本标签结果和/或第三样本标签结果进行比对,得到第一比对结果;
23、根据所述第一比对结果对所述支持向量机算法模型、随机森林算法模型和/或梯度提升树训练模型进行迭代,得到训练后的所述支持向量机算法模型、随机森林算法模型和/或梯度提升树训练模型。
24、通过采用上述技术方案,利用算法模型学习用户信息样本数据和样本标签数据之间的规则关系,通过比对结果对模型进行迭代,以不断调整模型参数和规则标签,从而提高了模型的预测准确性和泛化能力。
25、可选的,将所述用户信息数据的特征向量输入至预先训练的标签生成模型中,得到所述用户信息数据对应的用户标签信息的步骤包括:
26、将所述用户信息数据的特征向量分别输入至所述训练后的支持向量机算法模型、随机森林算法模型和/或梯度提升树训练模型,得到第一预测标签结果、第二预测标签结果和/或第三预测标签结果;
27、将所述第一预测标签结果、第二预测标签结果和/或第三预测标签结果进行加权平均,得到所述用户信息数据对应的用户标签信息。
28、通过采用上述技术方案,根据每个算法模型生成的多个预测标签结果进行加权平均,并将结果进行融合得到最终的用户标签信息,从而综合各个算法模型的预测结果,充分利用了各个模型的优势,减少了单一模型的局限性,提高了最终标签结果的预测准确性和鲁棒性。
29、可选的,将所述第一预测标签结果、第二预测标签结果和/或第三预测标签结果进行加权平均的步骤包括:
30、获取所述验证集中的用户信息样本数据和样本标签数据;
31、确定所述训练后的支持向量机算法模型、随机森林算法模型和/或梯度提升树训练模型的初始权重值;
32、将所述验证集中的用户信息样本数据分别输入至所述支持向量机算法模型、随机森林算法模型和/或梯度提升树训练模型,生成第一验证标签结果、第二验证标签结果和/或第三验证标签结果;
33、基于所述验证集中的样本标签数据,对所述第一验证标签结果、第二验证标签结果和/或第三验证标签结果进行比对,得到第二比对结果;
34、根据所述第二比对结果,对所述支持向量机算法模型、随机森林算法模型和/或梯度提升树训练模型的初始权重值进行迭代,得到所述支持向量机算法模型、随机森林算法模型和/或梯度提升树训练模型的权重值;
35、基于所述支持向量机算法模型、随机森林算法模型和/或梯度提升树训练模型的权重值,对所述第一预测标签结果、第二预测标签结果和/或第三预测标签结果进行加权平均。
36、通过采用上述技术方案,利用验证集对模型的预测结果进行验证,根据每个模型的性能表现,动态地调整每个模型的权重值,再利用各个模型的权重值对多个模型的预测标签结果进行加权平均,从而使得性能表现较好的模型会有更大的影响力,从而提高了用户标签信息的预测准确性。
37、可选的,在得到训练后的所述支持向量机算法模型、随机森林算法模型和/或梯度提升树训练模型的步骤之后还包括:
38、获取所述测试集中的用户信息样本数据和样本标签数据;
39、将所述测试集中的用户样本信息数据输入至训练后的所述支持向量机算法模型、随机森林算法模型本文档来自技高网...
【技术保护点】
1.一种用于确定用户标签信息的方法,其特征在于,所述方法包括:
2.根据权利要求1所述的一种用于确定用户标签信息的方法,其特征在于,对所述待分析的用户信息数据进行数据处理,得到所述用户信息数据的特征向量的步骤包括:
3.根据权利要求1到2任一所述的一种用于确定用户标签信息的方法,其特征在于,所述标签生成模型包括支持向量机算法模型、随机森林算法模型和梯度提升树训练模型中的至少一种。
4.根据权利要求3所述的一种用于确定用户标签信息的方法,其特征在于,所述方法还包括对所述标签生成模型进行训练的步骤,所述训练的步骤包括:
5.根据权利要求4所述的一种用于确定用户标签信息的方法,其特征在于,将所述用户信息数据的特征向量输入至预先训练的标签生成模型中,得到所述用户信息数据对应的用户标签信息的步骤包括:
6.根据权利要求5所述的一种用于确定用户标签信息的方法,其特征在于,将所述第一预测标签结果、第二预测标签结果和/或第三预测标签结果进行加权平均的步骤包括:
7.根据权利要求4所述的一种用于确定用户标签信息的方法,其特征在
8.一种计算设备,其特征在于,包括:存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1到7任意一种所述方法。
9.一种计算机可读存储介质,其特征在于:存储有能够被处理器加载并执行如权利要求1到7中任意一种方法的计算机程序。
...【技术特征摘要】
1.一种用于确定用户标签信息的方法,其特征在于,所述方法包括:
2.根据权利要求1所述的一种用于确定用户标签信息的方法,其特征在于,对所述待分析的用户信息数据进行数据处理,得到所述用户信息数据的特征向量的步骤包括:
3.根据权利要求1到2任一所述的一种用于确定用户标签信息的方法,其特征在于,所述标签生成模型包括支持向量机算法模型、随机森林算法模型和梯度提升树训练模型中的至少一种。
4.根据权利要求3所述的一种用于确定用户标签信息的方法,其特征在于,所述方法还包括对所述标签生成模型进行训练的步骤,所述训练的步骤包括:
5.根据权利要求4所述的一种用于确定用户标签信息的方法,其特征在于,将所述用户信息数据的特征向量输入至预先训练的标签生成模型中,得到所述...
【专利技术属性】
技术研发人员:王沛,黎磊,潘琳,张勇,何磊,杜永浩,沈大勇,程力,潘雨,陈英武,陈盈果,刘晓路,吕济民,张忠山,王涛,
申请(专利权)人:中国人民解放军国防科技大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。