文本数据处理方法及装置、电子设备和可读存储介质制造方法及图纸

本公开提供了一种文本数据处理方法及装置、电子设备和计算机可读存储介质，本公开涉及互联网技术领域。该文本数据处理方法包括：获取待处理文本数据；基于相似度检测算法，确定待处理文本数据的特征值；依次使用第一缓存数据库中存储的多个第一文本数据的特征值与待处理文本数据的特征值进行相似度计算，得到第一相似度数值；以及响应于当前计算得到的第一相似度数值小于或等于第一预设值，确定待处理文本数据为目标文本数据。理文本数据为目标文本数据。理文本数据为目标文本数据。

【技术实现步骤摘要】
文本数据处理方法及装置、电子设备和可读存储介质


[0001]本公开涉及互联网
，更具体地，涉及一种文本数据处理方法及装置、电子设备、可读存储介质和一种计算机程序产品。

技术介绍

[0002]随着互联网技术的发展，目前互联网基于用户偏好给用户推荐的文章越来越多，但是文章下相似的冗余评论，以及由机器生成的重复评论过多，使用户的体验感较差。
[0003]相关技术中，对于评论等文本数据，通常采用基于人工神经网络的方法进行文本的识别，例如通过有监督/无监督的文本相似度计算、DSSM
‑
LSTM计算短文本相似性等，以确定该文本是否为冗余信息。
[0004]在实现本公开构思的过程中，专利技术人发现相关技术中至少存在如下问题：相关方法的实现较重，依赖于机器学习，对运算资源的需求量大。

技术实现思路

[0005]有鉴于此，本公开提供了一种文本数据处理方法及装置、电子设备、可读存储介质和一种计算机程序产品。
[0006]本公开的一个方面提供了一种文本数据处理方法，包括：
[0007]获取待处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本数据处理方法，包括：获取待处理文本数据；基于相似度检测算法，确定所述待处理文本数据的特征值；依次使用第一缓存数据库中存储的多个第一文本数据的特征值与所述待处理文本数据的特征值进行相似度计算，得到第一相似度数值；以及响应于当前计算得到的第一相似度数值小于或等于第一预设值，确定所述待处理文本数据为目标文本数据。2.根据权利要求1所述的方法，还包括：在计算得到的所有第一相似度数值均大于所述第一预设值的情况下，从第二缓存数据库中随机选择预设数量的文本数据，得到多个第二文本数据；使用多个所述第二文本数据的特征值分别与所述待处理文本数据的特征值进行相似度计算，得到多个第二相似度数值；基于多个所述第二相似度数值，确定第三文本数据的数量，其中，所述第三文本数据包括所述第二相似度数值小于或等于所述第一预设值的所述第二文本数据；在所述第三文本数据的数量小于第二预设值的情况下，将所述待处理文本数据存储至所述第二缓存数据库中；以及在所述第三文本数据的数量大于或等于所述第二预设值的情况下，将所述第二缓存数据库中的所述第三文本数据删除，并确定所述待处理文本数据和所述第三文本数据为目标文本数据。3.根据权利要求2所述的方法，还包括：在将所述待处理文本数据存储至所述第二缓存数据库时，基于系统时间和预设时长为所述待处理文本数据设置时间标识。4.根据权利要求3所述的方法，还包括：轮询所述第二缓存数据库中的文本数据的时间标识；在当前文本数据的时间标识表征的时间晚于当前系统时间的情况下，从所述第二缓存数据库中提取所述当前文本数据；以及将所述当前文本数据存储至数据库中。5.根据权利要求1～4中任一项所述的方法，还包括：将所述目标文本数据存储至所述第一缓存数据库中。6.根据权利要求1～4中任一项所述的方法，还包括：设置定时任务；响应于触发所述定时任务，删除...

【专利技术属性】
技术研发人员：王守艺，韩龙，万江，王勇，刘侨，刘朔冰，毛香林，王丹凤，
申请(专利权)人：北京京东拓先科技有限公司，
类型：发明
国别省市：