本公开揭示了一种网络内容过滤方法及装置，属于数据处理技术领域。所述网络内容过滤方法包括：接收网络数据包；提取该网络数据包中各个数据块的关键信息，该关键信息至少包括数据块的文本摘要、图片特征值和视频展示图片特征值中的至少一种；筛选出关键信息与数据库中关键信息匹配的数据块；删除该网络数据包中被筛选出的数据块。通过获取网络数据包，筛选出该网络数据包中关键信息与数据库中的关键信息重复的数据块，并将筛选出的数据块从该网络数据包中删除；解决了不同应用程序请求下载的网络数据包中的数据块可能对应相同的网络内容，从而导致展示的网络内容重复的问题；达到了提高网络内容展示的简洁性的效果。
【技术实现步骤摘要】
本公开涉及数据处理
，特别涉及一种网络内容过滤方法及装置。
技术介绍
随着网络的发展，电子设备上安装的应用程序越来越多，不同的应用程序都会通过连接自己的服务器来请求数据。当前，电子设备在将应用程序请求下载的网络数据包从指定的服务器中下载到本地后，直接将该网络数据包传送给该应用程序，该应用程序则将该网络数据包中的各个数据块所对应的网络内容进行展示。
技术实现思路
本公开提供一种网络内容过滤方法及装置。所述技术方案如下:根据本公开实施例的第一方面，提供一种网络内容过滤方法，所述方法包括:接收网络数据包；提取所述网络数据包中各个数据块的关键信息，所述关键信息至少包括所述数据块的文本摘要、图片特征值和视频展示图片特征值中的至少一种；筛选出关键信息与数据库中关键信息匹配的数据块；删除所述网络数据包中被筛选出的所述数据块。可选的，所述筛选出关键信息与数据库中关键信息匹配的数据块，包括:对于所述网络数据包中的每个数据块，检测所述数据库中是否存在与所述数据块的关键信息匹配的关键信息；若所述数据库中存在与所述数据块的关键信息匹配的关键信息，则将所述数据块筛选为与所述数据库中关键信息匹配的数据块；若所述数据库中不存在与所述数据块的关键信息匹配的关键信息，则将所述数据块的关键信息添加至所述数据库中。可选的，所述检测所述数据库中是否存在与所述数据块的关键信息匹配的关键信息，包括:当所述数据块的关键信息仅包括文本摘要时，检测所述数据库中是否存在符合第一匹配条件的关键信息，所述第一匹配条件为所述关键信息的文本摘要与所述数据块的文本摘要之间的文本相似度大于预定文本相似度阈值；当所述数据块的关键信息仅包括文本摘要和图片特征值时，检测所述数据库中是否存在符合第二匹配条件的关键信息，所述第二匹配条件为所述关键信息的文本摘要与所述数据块的文本摘要之间的文本相似度大于所述预定文本相似度阈值，且所述关键信息的图片特征值与所述数据块的图片特征值之间的图片相似度大于预定图片相似度阈值；当所述数据块的关键信息包括文本摘要、图片特征值和视频展示图片特征值时，检测所述数据库中是否存在符合第三匹配条件的关键信息，所述第三匹配条件为所述关键信息的文本摘要与所述数据块的文本摘要之间的文本相似度大于所述预定文本相似度阈值，且所述关键信息的图片特征值与所述数据块的图片特征值之间的图片相似度大于所述预定图片相似度阈值，且所述关键信息的视频展示图片特征值与所述数据块的视频展示图片特征值之间的视频展示图片相似度大于预定视频展示图片相似度阈值。可选的，所述检测所述数据库中是否存在符合第三匹配条件的关键信息，包括:检测所述数据库中是否存在符合第一条件的关键信息，所述第一条件为所述关键信息的文本摘要与所述数据块的文本摘要之间的文本相似度大于所述预定文本相似度阈值；若所述数据库中存在符合所述第一条件的关键信息，则检测符合所述第一条件的关键信息中是否存在符合第二条件的关键信息，所述第二条件为所述关键信息的图片特征值与所述数据块的图片特征值之间的图片相似度大于所述预定图片相似度阈值；若符合所述第一条件的关键信息中存在符合所述第二条件的关键信息，则检测符合所述第二条件的关键信息中是否存在符合第三条件的关键信息，所述第三条件为所述关键信息的视频展示图片特征值与所述数据块的视频展示图片特征值之间的视频展示图片相似度大于所述预定视频展示图片相似度阈值。可选的，所述方法还包括:每隔预定时间间隔清空所述数据库中的关键信息；或，接收清空指令，清空所述数据库中的关键信息；或，接收备份指令，将所述数据库中的关键信息进行备份，并在成功备份后清空所述数据库中的关键信息。根据本公开实施例的第二方面，提供一种网络内容过滤装置，所述装置包括:接收模块，被配置为接收网络数据包；提取模块，被配置为提取所述接收模块接收的所述网络数据包中各个数据块的关键信息，所述关键信息至少包括所述数据块的文本摘要、图片特征值和视频展示图片特征值中的至少一种；筛选模块，被配置为筛选出关键信息与数据库中关键信息匹配的数据块；删除模块，被配置为删除所述网络数据包中被所述筛选模块筛选出的所述数据块。可选的，所述筛选模块，包括:第一检测子模块，被配置为对于所述网络数据包中的每个数据块，检测所述数据库中是否存在与所述数据块的关键信息匹配的关键信息；筛选子模块，被配置为当所述第一检测子模块检测到所述数据库中存在与所述数据块的关键信息匹配的关键信息时，将所述数据块筛选为与所述数据库中关键信息匹配的数据块；添加子模块，被配置为当所述第一检测子模块检测到所述数据库中不存在与所述数据块的关键信息匹配的关键信息时，将所述数据块的关键信息添加至所述数据库中。可选的，所述第一检测子模块，包括:第二检测子模块，被配置为当所述数据块的关键信息仅包括文本摘要时，检测所述数据库中是否存在符合第一匹配条件的关键信息，所述第一匹配条件为所述关键信息的文本摘要与所述数据块的文本摘要之间的文本相似度大于预定文本相似度阈值；第三检测子模块，被配置为当所述数据块的关键信息仅包括文本摘要和图片特征值时，检测所述数据库中是否存在符合第二匹配条件的关键信息，所述第二匹配条件为所述关键信息的文本摘要与所述数据块的文本摘要之间的文本相似度大于所述预定文本相似度阈值，且所述关键信息的图片特征值与所述数据块的图片特征值之间的图片相似度大于预定图片相似度阈值；第四检测子模块，被配置为当所述数据块的关键信息包括文本摘要、图片特征值和视频展示图片特征值时，检测所述数据库中是否存在符合第三匹配条件的关键信息，所述第三匹配条件为所述关键信息的文本摘要与所述数据块的文本摘要之间的文本相似度大于所述预定文本相似度阈值，且所述关键信息的图片特征值与所述数据块的图片特征值之间的图片相似度大于所述预定图片相似度阈值，且所述关键信息的视频展示图片特征值与所述数据块的视频展示图片特征值之间的视频展示图片相似度大于预定视频展示图片相似度阈值。可选的，所述第四检测子模块，包括:第五检测子模块，被配置为检测所述数据库中是否存在符合第一条件的关键信息，所述第一条件为所述关键信息的文本摘要与所述数据块的文本摘要之间的文本相似度大于所述预定文本相似度阈值；第六检测子模块，被配置为在所述第五检测子模块检测到所述数据库中存在符合所述第一条件的关键信息后，检测符合所述第一条件的关键信息中是否存在符合第二条件的关键信息，所述第二条件为所述关键信息的图片特征值与所述数据块的图片特征值之间的图片相似度大于所述预定图片相似度阈值；第七检测子模块，被配置为在所述第六检测子模块检测到符合所述第一条件的关键信息中存在符合所述第二条件的关键信息后，检测符合所述第二条件的关键信息中是否存在符合第三条件的关键信息，所述第三条件为所述关键信息的视频展示图片特征值与所述数据块的视频展示图片特征值之间的视频展示图片相似度大于所述预定视频展示图片相似度阈值。可选的，所述装置还包括:第一清空模块，被配置为每隔预定时间间隔清空所述数据库中的关键信息；或，第二清空模块，被配置为接收清空指令，清空所述数据库中的关键信息；或，第三清空模块，被配置为接收备份指令，将所述数据库中的关键信息进行备份，并在成功备份后清空所述数据库中的关键信息。根本文档来自技高网...
【技术保护点】
一种网络内容过滤方法，其特征在于，所述方法包括：接收网络数据包；提取所述网络数据包中各个数据块的关键信息，所述关键信息至少包括所述数据块的文本摘要、图片特征值和视频展示图片特征值中的至少一种；筛选出关键信息与数据库中关键信息匹配的数据块；删除所述网络数据包中被筛选出的所述数据块。
【技术特征摘要】
【专利技术属性】
技术研发人员：高毅，葛云源，王振淦，
申请(专利权)人：小米科技有限责任公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。