本发明专利技术涉及人工智能技术及数字医疗技术，揭露一种文本打标签方法，包括：构造由相似语义文本组成的第一序列集，随机遮蔽所述第一序列集中的文本，得到第二序列集，利用所述第二序列集对预构建的语义识别模型进行预训练，得到预测的遮蔽文本及预测序列的文本相似度，当所述预测的遮蔽文本与所述第一序列集中对应的原始文本之间的第一损失值及所述预测序列的文本相似度与所述第一序列集对应的文本相似度之间的第二损失值，满足预设条件时，退出所述预训练，利用完成预训练的语义识别模型对待打标签的文本打标签。本发明专利技术还提出一种文本打标签装置、设备以及介质。本发明专利技术可以解决相似语义文本的标签不一致的问题，提升文本打标签的准确性。签的准确性。签的准确性。
【技术实现步骤摘要】
文本打标签方法、装置、电子设备及存储介质
[0001]本专利技术涉及人工智能
及数字医疗
，尤其涉及一种文本打标签方法、装置、电子设备及计算机可读存储介质。
技术介绍
[0002]一些用户量较大的APP通常会提供新闻资讯服务，这类新闻资讯多为外部采购，存在新闻资讯没有标签或者标签混乱的问题，给新闻资讯的审核和投放带来困难。
[0003]当前为新闻资讯打标签，主要有两种方法：
[0004]一种是通过人工对新闻数据进行全量的标注，这种方式人工成本较高，且容易出现标签分类遗漏或错误的现象。
[0005]另一种方法，利用向量空间模型(VSM,Vector Space Model)将新闻资讯从文本转换为向量空间中的向量，通过计算向量之间的相似性来度量不同新闻资讯间的相似度，再利用Kmeans方法对新闻资讯进行聚类，依据聚类结果生成新闻资讯的标签。但是这种方法针对相同的语义不同的文本时，对文本打标签的准确率比较低，存在相同语义的文本所对应的标签不一致的情况，因此对新闻资讯等文本打标签的准确率有待提升。
技术实现思路
[0006]本专利技术提供一种文本打标签方法、装置及计算机可读存储介质，其主要目的在于提升文本打标签的准确性。
[0007]为实现上述目的，本专利技术提供的一种文本打标签方法，包括：
[0008]构造由相似语义文本组成的第一序列集，对所述第一序列集中的文本执行随机遮蔽操作，得到包括遮蔽文本的第二序列集；
[0009]利用所述第二序列集，对预构建的语义识别模型进行遮蔽文本预测及文本相似度计算的预训练，得到包含预测的遮蔽文本的预测序列及所述预测序列中相似语义文本的预测相似度；
[0010]利用预设的第一损失函数计算所述预测的遮蔽文本与所述第一序列集中对应的原始文本之间的第一损失值，利用预设的第二损失函数计算所述预测相似度与所述第一序列集中相似语义文本的原始相似度之间的第二损失值；
[0011]将所述第一损失值与所述第二损失值组合为所述预训练的输出损失值，判断所述输出损失值是否满足预设条件；
[0012]若所述输出损失值不满足所述预设条件，则调整所述语义识别模型的参数，并返回上述的对预构建的语义识别模型进行遮蔽文本预测及文本相似度计算的预训练的步骤；
[0013]若所述输出损失值满足所述预设条件，则退出所述预训练，得到完成预训练的语义识别模型；
[0014]利用所述完成预训练的语义识别模型对待打标签的文本执行打标签操作，得到所述待打标签文本的标签。
[0015]可选地，所述构造由相似语义文本组成的第一序列集，包括：
[0016]从预设的相似语义文本库中获取相似语义文本集；
[0017]根据预设的组合方式，将所述相似语义文本集中每两个相似语义文本组合成一个序列，直到所述相似语义文本集中所有文本都完成组合，得到由相似语义文本组成的第一序列集。
[0018]可选地，所述对所述第一序列集中的文本执行随机遮蔽操作，包括：
[0019]在所述第一序列集中，随机选择预设遮蔽文本比例的文本，得到待遮蔽文本；
[0020]利用预设的掩码对所述待遮蔽文本中预设覆盖比例的文本进行覆盖，得到掩码覆盖文本；
[0021]利用随机生成的文本对所述待遮蔽文本中预设替换比例的文本进行替换，得到替换文本；
[0022]汇总所述掩码覆盖文本及所述替换文本，得到遮蔽文本。
[0023]可选地，所述对预构建的语义识别模型进行遮蔽文本预测及文本相似度计算的预训练，包括：
[0024]利用预构建的语义识别模型，对所述第二序列集进行文本特征提取，得到文本特征集；
[0025]利用预设的激活函数对所述文本特征集执行激活计算，得到预测的遮蔽文本；
[0026]将所述预测的遮蔽文本与所述第二序列集中未遮蔽的文本组合为预测序列；
[0027]对所述预测序列中每个文字进行词向量转换，根据所述每个文字对应的词向量，计算所述预测序列中相似语义文本的预测相似度。
[0028]可选地，所述计算所述预测序列中相似语义文本的预测相似度，包括：
[0029]分别计算所述预测序列中每条相似语义文本对应的词向量均值；
[0030]计算所有相似语义文本之间的词向量均值的绝对差值，将所述绝对差值作为所述预测序列的预测相似度。
[0031]可选地，所述将所述第一损失值与所述第二损失值组合为所述预训练的损失值，包括：
[0032]利用预设的第一损失权重对所述第一损失值执行加权操作，得到加权后的第一损失值；
[0033]利用预设的第二损失权重对所述第二损失值执行加权操作，得到加权后的第二损失值；
[0034]将所述加权后的第一损失值与所述加权后的第二损失值相加，得到所述预训练的输出损失值。
[0035]可选地，所述利用所述完成预训练的语义识别模型对待打标签的文本执行打标签操作，所述方法还包括：
[0036]利用所述完成预训练的语义识别模型对待打标签的文本进行文本特征提取，得到文本特征集；
[0037]利用预先训练的激活函数计算所述文本特征集与预设的多个文本标签之间的概率值，选择大于预设概率阈值的概率值对应的标签为所述待打标签文本的标签。
[0038]为了解决上述问题，本专利技术还提供一种文本打标签装置，所述装置包括：
[0039]预训练语料构造模块，用于构造由相似语义文本组成的第一序列集，对所述第一序列集中的文本执行随机遮蔽操作，得到包括遮蔽文本的第二序列集；
[0040]预训练预测模块，用于利用所述第二序列集，对预构建的语义识别模型进行遮蔽文本预测及文本相似度计算的预训练，得到包含预测的遮蔽文本的预测序列及所述预测序列中相似语义文本的预测相似度；
[0041]预训练损失计算模块，用于利用预设的第一损失函数计算所述预测的遮蔽文本与所述第一序列集中对应的原始文本之间的第一损失值，利用预设的第二损失函数计算所述预测相似度与所述第一序列集中相似语义文本的原始相似度之间的第二损失值；
[0042]预训练结束判断模块，用于将所述第一损失值与所述第二损失值组合为所述预训练的输出损失值，判断所述输出损失值是否满足预设条件；若所述输出损失值不满足所述预设条件，则调整所述语义识别模型的参数，并返回上述的对预构建的语义识别模型进行遮蔽文本预测及文本相似度计算的预训练的步骤；若所述输出损失值满足所述预设条件，则退出所述预训练，得到完成预训练的语义识别模型；
[0043]预训练模型应用模块，用于利用所述完成预训练的语义识别模型对待打标签的文本执行打标签操作，得到所述待打标签文本的标签。
[0044]为了解决上述问题，本专利技术还提供一种电子设备，所述电子设备包括：
[0045]存储器，存储至少一个指令；及
[0046]处理器，执行所述存储器中存储的指令以实现上述所述的文本打标签方法。
[0047]为了解决上本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种文本打标签方法，其特征在于，所述方法包括：构造由相似语义文本组成的第一序列集，对所述第一序列集中的文本执行随机遮蔽操作，得到包括遮蔽文本的第二序列集；利用所述第二序列集，对预构建的语义识别模型进行遮蔽文本预测及文本相似度计算的预训练，得到包含预测的遮蔽文本的预测序列及所述预测序列中相似语义文本的预测相似度；利用预设的第一损失函数计算所述预测的遮蔽文本与所述第一序列集中对应的原始文本之间的第一损失值，利用预设的第二损失函数计算所述预测相似度与所述第一序列集中相似语义文本的原始相似度之间的第二损失值；将所述第一损失值与所述第二损失值组合为所述预训练的输出损失值，判断所述输出损失值是否满足预设条件；若所述输出损失值不满足所述预设条件，则调整所述语义识别模型的参数，并返回上述的对预构建的语义识别模型进行遮蔽文本预测及文本相似度计算的预训练的步骤；若所述输出损失值满足所述预设条件，则退出所述预训练，得到完成预训练的语义识别模型；利用所述完成预训练的语义识别模型对待打标签的文本执行打标签操作，得到所述待打标签文本的标签。2.如权利要求1所述的文本打标签方法，其特征在于，所述构造由相似语义文本组成的第一序列集，包括：从预设的相似语义文本库中获取相似语义文本集；根据预设的组合方式，将所述相似语义文本集中每两个相似语义文本组合成一个序列，直到所述相似语义文本集中所有文本都完成组合，得到由相似语义文本组成的第一序列集。3.如权利要求1所述的文本打标签方法，其特征在于，所述对所述第一序列集中的文本执行随机遮蔽操作，包括：在所述第一序列集中，随机选择预设遮蔽文本比例的文本，得到待遮蔽文本；利用预设的掩码对所述待遮蔽文本中预设覆盖比例的文本进行覆盖，得到掩码覆盖文本；利用随机生成的文本对所述待遮蔽文本中预设替换比例的文本进行替换，得到替换文本；汇总所述掩码覆盖文本及所述替换文本，得到遮蔽文本。4.如权利要求1所述的文本打标签方法，其特征在于，所述对预构建的语义识别模型进行遮蔽文本预测及文本相似度计算的预训练，包括：利用预构建的语义识别模型，对所述第二序列集进行文本特征提取，得到文本特征集；利用预设的激活函数对所述文本特征集执行激活计算，得到预测的遮蔽文本；将所述预测的遮蔽文本与所述第二序列集中未遮蔽的文本组合为预测序列；对所述预测序列中每个文字进行词向量转换，根据所述每个文字对应的词向量，计算所述预测序列中相似语义文本的预测相似度。5.如权利要求4所述的文本打标签方法，其特征在于，所述计算所述预测序列中相似语
义文本的预测相似度，包括：分别计算所述预测序列中每条相似语义文本对应的词向量均值；计算所有相似语义文本之间的词向量...
【专利技术属性】
技术研发人员：史文鑫，
申请(专利权)人：平安银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。