去重方法、装置、设备、介质及产品制造方法及图纸

本公开提供了去重方法、装置、设备、介质及产品，涉及数据处理领域，尤其涉及数据去重领域。具体实现方案为：响应于去重请求，确定所述去重请求所属的待去重时间段；确定所述待去重时间段包括的至少一个目标去重周期；将所述目标去重周期对应的去重过滤器，作为目标去重过滤器；根据所述目标去重过滤器对所述去重请求中的待去重数据进行处理，得到去重结果。本公开的方案提高了去重查询准确度，以及提高了对整体去重服务存储空间的控制精准度。整体去重服务存储空间的控制精准度。整体去重服务存储空间的控制精准度。

【技术实现步骤摘要】
去重方法、装置、设备、介质及产品


[0001]本公开涉及数据处理领域，尤其涉及数据去重
，具体涉及一种去重方法、装置、设备、介质及产品。

技术介绍

[0002]在当前大数据时代的飞速发展下，视频和图文都属于快消品，用户频繁刷新。在信息流推荐场景下为了提高用户体验，提升用户对新鲜资源的感知，对于用户消费过的内容在一段时间内没必要继续推荐，因此对于推荐内容需要进行去重处理。而不同的业务场景对于去重时长的要求也不同，并且随着业务发展，去重时长也需要随时调整。

技术实现思路

[0003]本公开提供了一种用于去重方法、装置、设备、介质及产品。
[0004]根据本公开的一方面，提供了去重方法，包括：
[0005]响应于去重请求，确定所述去重请求所属的待去重时间段；
[0006]确定所述待去重时间段包括的至少一个目标去重周期；
[0007]将所述目标去重周期对应的去重过滤器，作为目标去重过滤器；
[0008]根据所述目标去重过滤器对所述去重请求中的待去重数据进行处理，得到去重结果。
[0009]根据本公开的另一方面，提供了一种去重装置，包括：
[0010]待去重时间段确定模块，用于响应于去重请求，确定所述去重请求所属的待去重时间段；
[0011]目标去重周期确定模块，用于确定所述待去重时间段包括的至少一个目标去重周期；
[0012]目标去重过滤器确定模块，用于将所述目标去重周期对应的去重过滤器，作为目标去重过滤器；
[0013]去重结果确定模块，用于根据所述目标去重过滤器对所述去重请求中的待去重数据进行处理，得到去重结果。
[0014]根据本公开的另一方面，提供了一种电子设备，包括：
[0015]至少一个处理器；以及
[0016]与所述至少一个处理器通信连接的存储器；其中，
[0017]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开中任一实施例所述的去重方法。
[0018]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据本公开中任一实施例所述的去重方法。
[0019]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算
机程序在被处理器执行时实现根据本公开中任一实施例所述的去重方法。
[0020]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0021]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0022]图1是根据本公开实施例的一种去重方法的示意图；
[0023]图2是根据本公开实施例的另一种去重方法的示意图；
[0024]图3是根据本公开实施例的又一种去重方法的示意图；
[0025]图4是根据本公开实施例的又一种去重方法的示意图；
[0026]图5是根据本公开实施例的又一种去重方法的示意图；
[0027]图6是根据本公开实施例的又一种去重方法的示意图；
[0028]图7是根据本公开实施例的一种去重服务的整体架构图；
[0029]图8是根据本公开实施例的一种去重装置的结构示意图；
[0030]图9是用来实现本公开实施例的去重方法的电子设备的框图。
具体实施方式
[0031]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0032]图1是根据本公开实施例的一种去重方法的示意图，本实施例可适用于对去重方式进行优化的情况，该方法可以通过去重装置执行，该装置可以通过软件和/或硬件的方式实现，并集成在电子设备中；本实施例中涉及到的电子设备可以为等本地服务器等具有通信和计算能力的设备。具体的，参考图1，该方法具体包括如下：
[0033]S110、响应于去重请求，确定去重请求所属的待去重时间段。
[0034]其中，去重请求可以是用户发起的对搜索内容的去重请求，或者服务端发起的对用户的推荐内容的去重请求，例如，用户在刷视频期间，判断向用户推荐的下一条视频是否已经推荐过，若已经推荐过，则更换推荐视频，并继续对推荐视频进行去重判断，否则，则确定该视频可以向用户进行推荐。待去重时间段是指对去重请求中的待去重数据进行重复判断的时间段，例如，判断向用户推荐的下一条视频在三天内是否已经推荐过，则待去重时间段为三天内。
[0035]具体的，获取到待去重内容，针对该待去重内容发起去重请求，响应于该去重请求，并根据待去重内容对应的去重时长确定需要对该待去重内容进行重复查询的时间段，该时间段为待去重时间段。示例性的，获取到服务端为用户确定的下一个推荐产品，根据该推荐产品生成去重请求，去重请求的请求生成时刻为11月7号，同时根据预先设置的配置信息确定该推荐产品对应的去重时长为三天，则需要确定三天内是否向用户推荐过该产品，根据去重请求的请求时刻确定与去重时长对应的待去重时间段为11月5号到11月7号，待去重时间段的具体精确时间点可以根据去重时长的要求精准度进行确定。
[0036]S120、确定待去重时间段包括的至少一个目标去重周期。
[0037]其中，去重周期是指去重服务中单个去重过滤器所支持的查重时间单位，例如，单个去重过滤器所支持的查重时间单位为一天，则表示在单个去重过滤器中分别设置一天内所需要查询重复的内容。示例性的，按照所需的查重时间单位对去重过滤器进行切分，在单个去重过滤器的创建时间后当前时间的时间差达到去重周期长度后，则重新创建一个新的去重过滤器。通过对单个去重过滤器的去重周期时长进行控制，可以有效控制单个去重过滤器的大小以及查重内容对应时间，便于对去重过滤器进行管理，以及对待去重时间段的长度进行控制。
[0038]具体的，根据待去重时间段和去重服务中包括的候选去重周期，确定待去重时间段中所包括的所有候选去重周期，作为目标去重周期，示例性的，在上述示例的基础上，去重周期为一天，则在去重服务中包括了各天对应的候选去重周期，每天对应的候选去重周期对应的去重过滤器中保存了该天内所需查询重复的内容，待去重时间段为11月5号到11月7号，则确定待去重时间段中包括了三个候选去重周期，即5号、6号和7号三个候选去重周期，将这三个候选去重周期确定为目标去重周期。
[0039]在本实施例的另一个可选实现方式中，S120，包括：
[0040]确定去重请求对应的请求时刻，并将请求时刻所属的候选去重周期，作为末尾的目标去重周期；
[0041本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种去重方法，包括：响应于去重请求，确定所述去重请求所属的待去重时间段；确定所述待去重时间段包括的至少一个目标去重周期；将所述目标去重周期对应的去重过滤器，作为目标去重过滤器；根据所述目标去重过滤器对所述去重请求中的待去重数据进行处理，得到去重结果。2.根据权利要求1所述的方法，其中，所述确定所述待去重时间段包括的至少一个目标去重周期，包括：确定所述去重请求对应的请求时刻，并将所述请求时刻所属的候选去重周期，作为末尾的目标去重周期；将位于末尾的目标去重周期之前，且属于所述待去重时间段的候选去重周期，也作为所述目标去重周期。3.根据权利要求1所述的方法，其中，所述响应于去重请求，确定所述去重请求所属的待去重时间段，包括：确定去重时长，其中，所述去重时长根据设置的配置信息确定；将所述去重请求对应的请求时刻前推所述去重时长的对应时刻确定为待去重起始时刻，并将所述请求时刻确定为待去重结束时刻；将所述待去重起始时刻和所述待去重结束时刻之间的时间段作为所述去重请求所属的待去重时间段。4.根据权利要求1所述的方法，其中，根据所述目标去重过滤器对所述去重请求中的待去重数据进行处理，得到去重结果，包括：根据所述目标去重过滤器对所述待去重数据进行同步处理；其中，所述去重过滤器为布隆过滤器；在确定过滤器中目标执行函数未对所述待去重数据进行设置过时，则确定所述目标执行函数所属的目标去重过滤器的去重结果为所述待去重数据不重复。5.根据权利要求1
‑
4任一项所述的方法，所述方法还包括：响应于对目标数据内容的排查请求，根据所述排查请求对应的排查时刻确定排查去重过滤器；在所述排查去重过滤器中添加所述目标数据内容，用于排查待去重数据中是否包括所述目标数据内容。6.根据权利要求5所述的方法，其中，响应于对目标数据内容的排查请求，根据排查请求对应的排查时刻确定排查去重过滤器，包括：确定候选去重周期中的末尾去重周期的去重结束时刻；若所述排查时刻大于或等于所述去重结束时刻，则重新创建新的候选去重周期，并将所述新的候选去重周期对应的去重过滤器作为所述排查去重过滤器。7.根据权利要求1所述的方法，其中，所述方法还包括：确定候选去重周期对应的去重过滤器的存活时长；确定所述存活时长大于过期时长的去重过滤器为过期去重过滤器；其中，所述过期时长根据设置的配置信息确定；对所述过期去重过滤器进行删除。
8.根据权利要求1所述的方法，所述方法还包括：根据所述去重请求、所述目标去重过滤器的数量以及所述目标去重过滤器中的执行函数数量，确定根据所述目标去重过滤器对所述待去重数据进行处理时的放大处理流量；根据所述放大处理流量、去重服务的当前累积流量和流量阈值判断所述去重请求是否影响去重服务当前稳定性；根据判断结果对所述去重请求进行过滤。9.根据权利要求8所述的方法，其中，根据所述放大处理流量、去重服务的当前累积流量和流量阈值判断所述去重请求是否影响去重服务当前稳定性，包括：若所述放大处理流量和所述当前累积流量的流量和大于或等于所述流量阈值，则确定所述去重请求影响去重服务当前稳定性；其中，所述当前累积流量是指按照配置信息中的统计周期统计的所述去重服务在当前统计周期内的历史累积流量。10.一种去重装置，包括：待去重时间段确定模块，用于响应于去重请求，确定所述去重请求所属的待去重时间段；目标去重周期确定模块，用于确定所述待去重时间段包括的至少一个目标去重周期；目标去重过滤器确定模块，用于将所述目标去重周期对应的去重过滤器，作为目标去重过滤器；去重结果确定模块，用于根据所述目标去重过滤器对所述去重请求中的待去重数据进行处理，得到去重结果。11.根据权利要求10所述的装置，其中，目标去...

【专利技术属性】
技术研发人员：李可威，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：