召回策略的准召率的确定方法、装置、设备及存储介质制造方法及图纸

本公开提供一种的召回策略的准召率的确定方法、装置、设备及存储介质，涉及智能推荐技术，包括：根据召回策略生成用于在线召回的向量数据；根据向量数据、已有的真实用户点击数据模拟线上召回过程，并确定召回结果；根据召回结果确定召回策略对应的准召率。本公开提供的方法、装置、设备及可读存储介质中，可以通过线下模拟的方式确定召回结果，再根据召回结果确定准召率，无需将系统上线获取召回结果，从而能够提高确定召回策略准召率的效率。

【技术实现步骤摘要】
召回策略的准召率的确定方法、装置、设备及存储介质
本公开涉及计算机技术，尤其涉及智能推荐技术。
技术介绍
互联网能够向用户提供海量的信息，而智能推荐系统能够迅速帮助用户找到感兴趣的信息。推荐系统的推荐，是通过建立人和物品的关联关系，围绕数据、算法、系统为核心，将海量的数据信息，利用推荐系统的算法，应用到对应的召回策略和排序策略中，实现提供给用户个性化的推荐过程。其中召回策略用于生成推荐的候选集，在原始数据中通过算法和规则匹配用户的候选集。排序策略根据不同的算法模型对召回策略生成的候选集进行重排序，得到推荐候选集列表。由于目前存在多种召回策略，而现有技术中需要根据召回策略和排序策略生成推荐信息，并在线上应用，再基于线上应用的结果确定召回策略的准召率，从而利用准召率确定召回策略的效果。但是，通过线上测试的方式需要较长的时间，导致评估召回策略的效率较低，因此，如何提高召回策略的评估效率，是本领域技术人员亟需解决的技术问题。
技术实现思路
本公开提供一种召回策略的准召率的确定方法、装置、设备及存储介质，以提高召回策略的评估效率。本公开的第一个方面是提供一种召回策略的准召率的确定方法，包括：根据所述召回策略生成用于在线召回的向量数据；根据所述向量数据、已有的真实用户点击数据模拟线上召回过程，并确定召回结果；根据所述召回结果确定所述召回策略对应的准召率。在一种可选的实施方式中，所述向量数据中包括用户向量；若所述召回策略包括基于用户的协同过滤，则所述根据所述向量数据、已有的真实用户点击数据模拟线上召回过程，并确定召回结果，包括：根据所述用户向量确定与第一预设用户对应的相似用户；根据所述真实用户点击数据获取在预设时间段内所述第一预设用户的第一点击内容信息、所述相似用户的第二点击内容信息；根据所述第一点击内容信息、所述第二点击内容信息确定所述召回结果。在这种可选的实施方式中，可以利用确定的用户向量模拟基于用户的协同过滤向第一预设用户进行内容推荐的过程，进而得到召回结果。由于在推荐系统中，是根据用户向量向用户进行推荐内容的，因此，这种实施方式能够模拟真实的推荐过程。在一种可选的实施方式中，所述根据所述用户向量确定与第一预设用户对应的相似用户，包括：确定所述第一预设用户的预设向量，根据所述预设向量在所述用户向量中确定对应的相似向量；将所述相似向量对应的用户确定为与所述预设向量对应的相似用户。在这种可选的实施方式中，可以根据确定的用户向量确定第一预设用户的相似用户，进而利用召回策略对应的向量数据模拟出在线向第一预设用户推荐内容时，确定的与该第一预设用户匹配的相似用户。在一种可选的实施方式中，所述根据所述第一点击内容信息、所述第二点击内容信息确定所述召回结果，包括：比对所述第一点击内容、所述第二点击内容的点击时间与第一时间阈值；根据比对结果确定所述召回策略对应的检索信息、内容相关信息。在这种可选的实施方式中，可以利用已有的真实点击数据，确定第一预设用户的点击内容和相似用户的点击内容，从而基于这些内容确定系统检索出的内容与第一预设用户是否相关。在一种可选的实施方式中，所述根据比对结果确定所述召回策略对应的检索信息、内容相关信息，包括：根据所述点击时间大于所述第一时间阈值的第一点击内容、第二点击内容确定所述检索信息；根据所述点击时间小于所述第一时间阈值的第一点击内容、第二点击内容确定所述内容相关。所述根据所述点击时间大于所述第一时间阈值的第一点击内容、第二点击内容确定所述检索信息，包括：在点击时间大于所述第一时间阈值的第一点击内容中，筛选出点击时间最大的第一预设数量个第一筛选内容，在点击时间大于所述第一时间阈值的第二点击内容中，筛选出点击时间最大的第一预设数量个第二筛选内容；根据所述第一筛选内容、所述第二筛选内容确定所述检索信息；所述根据所述点击时间小于所述第一时间阈值的第一点击内容、第二点击内容确定所述内容相关信息，包括：在点击时间小于所述第一时间阈值的第一点击内容中，筛选出点击时间最小的第二预设数量个第三筛选内容，在点击时间小于所述第一时间阈值的第二点击内容中，筛选出点击时间最小的第二预设数量个第四筛选内容；根据所述第三筛选内容、所述第四筛选内容确定所述内容相关信息。在这种可选的实施方式中，通过第一时间阈值对分别对第一点击内容和第二点击内容进行划分，能够模拟出在该时间基于召回策略向第一预设用户推荐内容时，召回结果中的内容相关信息、检索信息，也就是系统检索到的相关内容、检索到的不相关内容，以及未检索到的相关内容。在一种可选的实施方式中，所述向量数据包括内容向量；若所述召回策略包括基于内容的协同过滤，则所述根据所述向量数据、已有的真实用户点击数据模拟线上召回过程，并确定召回结果，包括：获取第二预设用户在第二时间阈值对应的第三点击内容；根据所述第三点击内容确定相关内容候选集、检索内容候选集；根据所述向量数据中包括的内容向量、所述相关内容候选集、所述检索内容候选集确定所述召回结果。在这种可选的实施方式中，可以利用确定的内容向量模拟基于内容的协同过滤向第二预设用户进行内容推荐的过程，进而得到召回结果。由于在推荐系统中，是根据内容向量向用户进行推荐内容的，因此，这种实施方式能够模拟真实的推荐过程。在一种可选的实施方式中，所述根据所述向量数据中包括的内容向量、所述相关内容候选集、所述检索内容候选集确定所述召回结果，包括：根据所述内容向量、所述相关内容候选集确定内容相关信息；根据所述检索内容候选集确定检索信息。在这种可选的实施方式中，可以结合内容向量、内容候选集模拟出更多的相关内容信息，并且可以根据第二预设用户的检索内容候选集确定检索信息，从而得到此次模拟过程的召回结果。在一种可选的实施方式中，所述根据所述召回结果确定所述召回策略对应的准召率，包括：根据所述内容相关信息、所述检索信息，确定检索到相关内容的第一数量、检索到不相关内容的第二数量、未检索到相关内容的第三数量；根据所述第一数量、所述第二数量、所述第三数量确定所述准召率。所述根据所述第一数量、所述第二数量、所述第三数量确定所述准召率，包括：将所述第一数量与所述第一数量与所述第二数量之和的比值，确定为准确率；将所述第一数量与所述第一数量与所述第三数量之和的比值，确定为召回率。在这种可选的实施方式中，可以统计出召回结果中检索到的相关内容，检索到的不相关内容以及未检索到的相关内容，基于此，能够确定出召回策略对应的准确率和召回率，进而能够利用这些数据衡量召回策略的优劣。在一种可选的实施方式中，所述根据所述召回策略生成用于在线召回的向量数据，包括：获取用户历史点击数据，并根据所述历史点击数据确定用户相关性信息、内容相关性信本文档来自技高网...

【技术保护点】
1.一种召回策略的准召率的确定方法，其特征在于，包括：/n根据所述召回策略生成用于在线召回的向量数据；/n根据所述向量数据、已有的真实用户点击数据模拟线上召回过程，并确定召回结果；/n根据所述召回结果确定所述召回策略对应的准召率。/n

【技术特征摘要】
1.一种召回策略的准召率的确定方法，其特征在于，包括：
根据所述召回策略生成用于在线召回的向量数据；
根据所述向量数据、已有的真实用户点击数据模拟线上召回过程，并确定召回结果；
根据所述召回结果确定所述召回策略对应的准召率。


2.根据权利要求1所述的方法，其特征在于，所述向量数据中包括用户向量；
若所述召回策略包括基于用户的协同过滤，则所述根据所述向量数据、已有的真实用户点击数据模拟线上召回过程，并确定召回结果，包括：
根据所述用户向量确定与第一预设用户对应的相似用户；
根据所述真实用户点击数据获取在预设时间段内所述第一预设用户的第一点击内容信息、所述相似用户的第二点击内容信息；
根据所述第一点击内容信息、所述第二点击内容信息确定所述召回结果。


3.根据权利要求2所述的方法，其特征在于，所述根据所述用户向量确定与第一预设用户对应的相似用户，包括：
确定所述第一预设用户的预设向量，根据所述预设向量在所述用户向量中确定对应的相似向量；
将所述相似向量对应的用户确定为与所述预设向量对应的相似用户。


4.根据权利要求2所述的方法，其特征在于，所述根据所述第一点击内容信息、所述第二点击内容信息确定所述召回结果，包括：
比对所述第一点击内容、所述第二点击内容的点击时间与第一时间阈值；
根据比对结果确定所述召回策略对应的检索信息、内容相关信息。


5.根据权利要求4所述的方法，其特征在于，所述根据比对结果确定所述召回策略对应的检索信息、内容相关信息，包括：
根据所述点击时间大于所述第一时间阈值的第一点击内容、第二点击内容确定所述检索信息；
根据所述点击时间小于所述第一时间阈值的第一点击内容、第二点击内容确定所述内容相关信息。


6.根据权利要求5所述的方法，其特征在于，
所述根据所述点击时间大于所述第一时间阈值的第一点击内容、第二点击内容确定所述检索信息，包括：
在点击时间大于所述第一时间阈值的第一点击内容中，筛选出点击时间最大的第一预设数量个第一筛选内容，在点击时间大于所述第一时间阈值的第二点击内容中，筛选出点击时间最大的第一预设数量个第二筛选内容；
根据所述第一筛选内容、所述第二筛选内容确定所述检索信息；
所述根据所述点击时间小于所述第一时间阈值的第一点击内容、第二点击内容确定所述内容相关信息，包括：
在点击时间小于所述第一时间阈值的第一点击内容中，筛选出点击时间最小的第二预设数量个第三筛选内容，在点击时间小于所述第一时间阈值的第二点击内容中，筛选出点击时间最小的第二预设数量个第四筛选内容；
根据所述第三筛选内容、所述第四筛选内容确定所述内容相关信息。


7.根据权利要求1所述的方法，其特征在于，所述向量数据包括内容向量；
若所述召回策略包括基于内容的协同过滤，则所述根据所述向量数据、已有的真实用户点击数据模拟线上召回过程，并确定召回结果，包括：
获取第二预设用户在第二时间阈值对应的第三点击内容；
根据所述第三点击内容确定相关内容候选集、检索内容候选集；
根据所述向量数据中包括的内容向量、所述相关内容候选集、所述检索内容候选集确定所述召回结果。


8.根据权利要求7所述的方法，其特征在于，所述根据所述向量数据中包括的内容向量、所述相关内容候选集、所述检索内容候选集确定所述召回结果，包括：
根据所述内容向量、所述相关内容候选集确定内容相关信息；
根据所述检索内容候选集确定检索信息。


9.根据权利要求4-6、8任一项所述的方法，其特征在于，所述根据所述召回结果确定所述召回策略对应的准召率，包括：
根据所述内容相关信息、所述检索信息，确定检索到相关内容的第一数量、检索到不相关内容的第二数量、未检索到相关内容的第三数量；
根据所...

【专利技术属性】
技术研发人员：魏龙，王娜，武桓州，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11