本公开提供了一种文本数据处理方法及装置、电子设备和计算机可读存储介质，本公开涉及互联网技术领域。该文本数据处理方法包括：获取待处理文本数据；基于相似度检测算法，确定待处理文本数据的特征值；依次使用第一缓存数据库中存储的多个第一文本数据的特征值与待处理文本数据的特征值进行相似度计算，得到第一相似度数值；以及响应于当前计算得到的第一相似度数值小于或等于第一预设值，确定待处理文本数据为目标文本数据。理文本数据为目标文本数据。理文本数据为目标文本数据。
【技术实现步骤摘要】
文本数据处理方法及装置、电子设备和可读存储介质
[0001]本公开涉及互联网
，更具体地，涉及一种文本数据处理方法及装置、电子设备、可读存储介质和一种计算机程序产品。
技术介绍
[0002]随着互联网技术的发展，目前互联网基于用户偏好给用户推荐的文章越来越多，但是文章下相似的冗余评论，以及由机器生成的重复评论过多，使用户的体验感较差。
[0003]相关技术中，对于评论等文本数据，通常采用基于人工神经网络的方法进行文本的识别，例如通过有监督/无监督的文本相似度计算、DSSM
‑
LSTM计算短文本相似性等，以确定该文本是否为冗余信息。
[0004]在实现本公开构思的过程中，专利技术人发现相关技术中至少存在如下问题：相关方法的实现较重，依赖于机器学习，对运算资源的需求量大。
技术实现思路
[0005]有鉴于此，本公开提供了一种文本数据处理方法及装置、电子设备、可读存储介质和一种计算机程序产品。
[0006]本公开的一个方面提供了一种文本数据处理方法，包括：
[0007]获取待处理文本数据；
[0008]基于相似度检测算法，确定上述待处理文本数据的特征值；
[0009]依次使用第一缓存数据库中存储的多个第一文本数据的特征值与上述待处理文本数据的特征值进行相似度计算，得到第一相似度数值；以及
[0010]响应于当前计算得到的第一相似度数值小于或等于第一预设值，确定上述待处理文本数据为目标文本数据。
[0011]根据本公开的实施例，上述方法还包括：
[0012]在计算得到的所有第一相似度数值均大于上述第一预设值的情况下，从第二缓存数据库中随机选择预设数量的文本数据，得到多个第二文本数据；
[0013]使用多个上述第二文本数据的特征值分别与上述待处理文本数据的特征值进行相似度计算，得到多个第二相似度数值；
[0014]基于多个上述第二相似度数值，确定第三文本数据的数量，其中，上述第三文本数据包括上述第二相似度数值小于或等于上述第一预设值的上述第二文本数据；
[0015]在上述第三文本数据的数量小于第二预设值的情况下，将上述待处理文本数据存储至上述第二缓存数据库中；以及
[0016]在上述第三文本数据的数量大于或等于上述第二预设值的情况下，将上述第二缓存数据库中的上述第三文本数据删除，并确定上述待处理文本数据和上述第三文本数据为目标文本数据。
[0017]根据本公开的实施例，上述方法还包括：
[0018]在将上述待处理文本数据存储至上述第二缓存数据库时，基于系统时间和预设时长为上述待处理文本数据设置时间标识。
[0019]根据本公开的实施例，上述方法还包括：
[0020]轮询上述第二缓存数据库中的文本数据的时间标识；
[0021]在当前文本数据的时间标识表征的时间晚于当前系统时间的情况下，从上述第二缓存数据库中提取上述当前文本数据；以及
[0022]将上述当前文本数据存储至数据库中。
[0023]根据本公开的实施例，上述方法还包括：
[0024]将上述目标文本数据存储至上述第一缓存数据库中。
[0025]根据本公开的实施例，上述方法还包括：
[0026]设置定时任务；
[0027]响应于触发上述定时任务，删除上述第一缓存数据库和上述第二缓存数据库中存储的文本数据。
[0028]根据本公开的实施例，其中，上述基于相似度检测算法，确定上述待处理文本数据的特征值，包括：
[0029]采用分词工具，将上述待处理文本数据分解为词语集；
[0030]计算上述词语集中每个词语的哈希值；
[0031]基于预设权值，对上述词语集中各个词语的哈希值进行加权求和，得到上述待处理文本数据的签名值；以及
[0032]对上述签名值进行降维处理，得到上述待处理文本数据的特征值。
[0033]根据本公开的实施例，其中，上述依次使用第一缓存数据库中存储的多个第一文本数据的特征值与上述待处理文本数据的特征值进行相似度计算，得到第一相似度数值，包括：
[0034]依次对于每个上述第一文本数据，计算上述第一文本数据的特征值与上述待处理文本数据的特征值之间的海明距离，得到上述第一相似度数值。
[0035]本公开的另一个方面提供了一种文本数据处理装置，包括获取模块、第一确定模块、第一计算模块和第二确定模块。
[0036]其中，获取模块，用于获取待处理文本数据；
[0037]第一确定模块，用于基于相似度检测算法，确定上述待处理文本数据的特征值；
[0038]第一计算模块，用于依次使用第一缓存数据库中存储的多个第一文本数据的特征值与上述待处理文本数据的特征值进行相似度计算，得到第一相似度数值；以及
[0039]第二确定模块，用于响应于当前计算得到的第一相似度数值小于或等于第一预设值，确定上述待处理文本数据为目标文本数据。
[0040]根据本公开的实施例，上述装置还包括选择模块、第二计算模块、第三确定模块、第一存储模块和第四确定模块。
[0041]其中，选择模块，用于在计算得到的所有第一相似度数值均大于上述第一预设值的情况下，从第二缓存数据库中随机选择预设数量的文本数据，得到多个第二文本数据；
[0042]第二计算模块，用于使用多个上述第二文本数据的特征值分别与上述待处理文本数据的特征值进行相似度计算，得到多个第二相似度数值；
[0043]第三确定模块，用于基于多个上述第二相似度数值，确定第三文本数据的数量，其中，上述第三文本数据包括上述第二相似度数值小于或等于上述第一预设值的上述第二文本数据；
[0044]第一存储模块，用于在上述第三文本数据的数量小于第二预设值的情况下，将上述待处理文本数据存储至上述第二缓存数据库中；以及
[0045]第四确定模块，用于在上述第三文本数据的数量大于或等于上述第二预设值的情况下，将上述第二缓存数据库中的上述第三文本数据删除，并确定上述待处理文本数据和上述第三文本数据为目标文本数据。
[0046]根据本公开的实施例，上述装置还包括第一设置模块。
[0047]其中，第一设置模块，用于在将上述待处理文本数据存储至上述第二缓存数据库时，基于系统时间和预设时长为上述待处理文本数据设置时间标识。
[0048]根据本公开的实施例，上述装置还包括轮询模块、提取模块和第二存储模块。
[0049]其中，轮询模块，用于轮询上述第二缓存数据库中的文本数据的时间标识；
[0050]提取模块，用于在当前文本数据的时间标识表征的时间晚于当前系统时间的情况下，从上述第二缓存数据库中提取上述当前文本数据；以及
[0051]第二存储模块，用于将上述当前文本数据存储至数据库中。
[0052]根据本公开的实施例，上述装置还包括第三存储模块。
[0053]其中，第三存储模块，用于将上述目标文本本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种文本数据处理方法，包括：获取待处理文本数据；基于相似度检测算法，确定所述待处理文本数据的特征值；依次使用第一缓存数据库中存储的多个第一文本数据的特征值与所述待处理文本数据的特征值进行相似度计算，得到第一相似度数值；以及响应于当前计算得到的第一相似度数值小于或等于第一预设值，确定所述待处理文本数据为目标文本数据。2.根据权利要求1所述的方法，还包括：在计算得到的所有第一相似度数值均大于所述第一预设值的情况下，从第二缓存数据库中随机选择预设数量的文本数据，得到多个第二文本数据；使用多个所述第二文本数据的特征值分别与所述待处理文本数据的特征值进行相似度计算，得到多个第二相似度数值；基于多个所述第二相似度数值，确定第三文本数据的数量，其中，所述第三文本数据包括所述第二相似度数值小于或等于所述第一预设值的所述第二文本数据；在所述第三文本数据的数量小于第二预设值的情况下，将所述待处理文本数据存储至所述第二缓存数据库中；以及在所述第三文本数据的数量大于或等于所述第二预设值的情况下，将所述第二缓存数据库中的所述第三文本数据删除，并确定所述待处理文本数据和所述第三文本数据为目标文本数据。3.根据权利要求2所述的方法，还包括：在将所述待处理文本数据存储至所述第二缓存数据库时，基于系统时间和预设时长为所述待处理文本数据设置时间标识。4.根据权利要求3所述的方法，还包括：轮询所述第二缓存数据库中的文本数据的时间标识；在当前文本数据的时间标识表征的时间晚于当前系统时间的情况下，从所述第二缓存数据库中提取所述当前文本数据；以及将所述当前文本数据存储至数据库中。5.根据权利要求1～4中任一项所述的方法，还包括：将所述目标文本数据存储至所述第一缓存数据库中。6.根据权利要求1～4中任一项所述的方法，还包括：设置定时任务；响应于触发所述定时任务，删除...
【专利技术属性】
技术研发人员：王守艺，韩龙，万江，王勇，刘侨，刘朔冰，毛香林，王丹凤，
申请(专利权)人：北京京东拓先科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。