推荐系统测试方法、装置、电子设备及存储介质制造方法及图纸

本申请提供一种推荐系统测试方法、装置、电子设备及存储介质，该方法包括：获取N个业务推荐子系统对应的基于线上数据确定的样本数据，N个业务推荐子系统为推荐系统对应的多个业务推荐子系统中的至少部分，每个业务推荐子系统对应于至少一个待测试的目标推荐场景；针对各目标推荐场景，根据在对应的目标时段内的多条样本数据生成多个推荐请求，并发送至对应的业务推荐子系统，获取目标推荐场景的推荐结果集合；针对各目标推荐场景，根据推荐结果集合获取指标集合；根据各目标推荐场景的指标集合，生成推荐系统的测试结果并展示。本申请可基于线上数据确定测试样本，保证了测试结果的真实性，并可实现在多个维度对推荐系统进行度量。量。量。

【技术实现步骤摘要】
推荐系统测试方法、装置、电子设备及存储介质


[0001]本申请涉及计算机
，尤其涉及一种推荐系统测试方法、装置、电子设备及存储介质。

技术介绍

[0002]推荐系统(Recommender system)是一种通过运用深度学习、神经网络等技术帮助用户快速获取有用信息的复杂系统，通过分析用户的历史行为，对用户画像进行建模，从而主动给用户推荐能够满足用户兴趣和需求的内容。
[0003]推荐系统全链路的数据流向由召回、粗排、精排、重排到推荐组装，其中召回环节包含召回服务调用外部服务、调用存储层等方式以实现多路召回推荐数据；排序环节则通过排序服务采用模型、特征等方式对召回数据进行粗排、精排、重排等；推荐组装环节由推荐工程服务对召回数据、排序数据进行上下文传递整合，并调用数据摘要、标签服务以应用程序编程接口(Application Programming Interface，API)的方式暴露推荐详细内容给上层业务系统使用。
[0004]目前的推荐系统产品多样，其服务覆盖多个行业。随着推荐系统数据的递增，推荐内容千人千面的特性，现有的通过单一的构造测试数据对推荐系统进行测试的方式，对推荐系统全链路的质量度量有很大的疏漏和不足。

技术实现思路

[0005]鉴于上述问题，本申请实施例提供一种克服上述问题或者至少部分地解决上述问题的推荐系统测试方法、装置、电子设备及存储介质。
[0006]第一方面，本申请实施例提供一种推荐系统测试方法，包括：
[0007]获取N个业务推荐子系统分别对应的样本数据，所述N个业务推荐子系统为推荐系统对应的多个业务推荐子系统中的至少部分，且每个业务推荐子系统对应于至少一个待测试的目标推荐场景，N为大于或等于1的整数，所述样本数据基于线上数据确定；
[0008]针对每个目标推荐场景，根据所述目标推荐场景在对应的目标时段内的多条样本数据生成多个推荐请求，将多个所述推荐请求发送至所述目标推荐场景对应的业务推荐子系统，根据所述业务推荐子系统返回的多个推荐响应结果信息获取所述目标推荐场景对应的推荐结果集合；
[0009]针对每个目标推荐场景，根据所述目标推荐场景对应的推荐结果集合进行指标计算，获取第一指标集合、第二指标集合；
[0010]根据每个目标推荐场景对应的第一指标集合和第二指标集合，生成所述推荐系统对应的测试结果并展示。
[0011]第二方面，本申请实施例提供一种推荐系统测试装置，包括：
[0012]获取模块，用于获取N个业务推荐子系统分别对应的样本数据，所述N个业务推荐子系统为推荐系统对应的多个业务推荐子系统中的至少部分，且每个业务推荐子系统对应
于至少一个待测试的目标推荐场景，N为大于或等于1的整数，所述样本数据基于线上数据确定；
[0013]处理模块，用于针对每个目标推荐场景，根据所述目标推荐场景在对应的目标时段内的多条样本数据生成多个推荐请求，将多个所述推荐请求发送至所述目标推荐场景对应的业务推荐子系统，根据所述业务推荐子系统返回的多个推荐响应结果信息获取所述目标推荐场景对应的推荐结果集合；
[0014]计算获取模块，用于针对每个目标推荐场景，根据所述目标推荐场景对应的推荐结果集合进行指标计算，获取第一指标集合、第二指标集合；
[0015]生成展示模块，用于根据每个目标推荐场景对应的第一指标集合和第二指标集合，生成所述推荐系统对应的测试结果并展示。
[0016]第三方面，本申请实施例提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述第一方面所述的推荐系统测试方法的步骤。
[0017]第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的推荐系统测试方法的步骤。
[0018]本申请实施例的技术方案，通过获取N个业务推荐子系统分别对应的基于线上数据确定的样本数据，可以选用线上数据作为测试样本，解决了构造用例的疏漏和不足，保证了测试结果的真实性，同时可基于测试需求选择合适的测试样本，以实现对推荐系统的针对性测试和相对全面性的测试，以及时确定出推荐系统的隐藏问题；通过针对N个业务推荐子系统对应的每个待测试的目标推荐场景，获取目标推荐场景对应的推荐结果集合，根据推荐结果集合进行指标计算，获取数据和系统层面对应的第一指标集合、业务层面对应的第二指标集合，实现基于数据和系统层面、业务层面的质量指标计算，在多个维度对推荐系统进行度量；通过基于各目标推荐场景对应的第一指标集合和第二指标集合，生成推荐系统对应的测试结果并展示，实现了推荐系统测试结果的可视化。
附图说明
[0019]图1表示本申请实施例提供的推荐系统测试方法的示意图；
[0020]图2表示本申请实施例提供的数据采集存储过程的示意图；
[0021]图3表示本申请实施例提供的指标集合的示意图；
[0022]图4表示本申请实施例提供的针对推荐系统在目标推荐场景下测试的一实施流程图；
[0023]图5表示本申请实施例提供的推荐系统测试装置的示意图；
[0024]图6表示本申请实施例提供的电子设备结构示意图。
具体实施方式
[0025]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施
例，都属于本申请保护的范围。
[0026]应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
[0027]在本申请的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
[0028]下面对本申请提供的推荐系统测试方法进行介绍，本申请提供的推荐系统测试方法应用于测试系统，参见图1所示，该方法包括：
[0029]步骤101、获取N个业务推荐子系统分别对应的样本数据，所述N个业务推荐子系统为推荐系统对应的多个业务推荐子系统中的至少部分，且每个业务推荐子系统对应于至少一个待测试的目标推荐场景，N为大于或等于1的整数，所述样本数据基于线上数据确定。
[0030]测试系统获取N个业务推荐子系统分别对应的样本数据，N个业务推荐子系统为推荐系统对应的多个业务推荐子系统中的子系统，N的取值大于或者等于1，且N个业务推荐子系统为推荐系统对应的全部业务推荐子系统中的至少部分。
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种推荐系统测试方法，其特征在于，包括：获取N个业务推荐子系统分别对应的样本数据，所述N个业务推荐子系统为推荐系统对应的多个业务推荐子系统中的至少部分，且每个业务推荐子系统对应于至少一个待测试的目标推荐场景，N为大于或等于1的整数，所述样本数据基于线上数据确定；针对每个目标推荐场景，根据所述目标推荐场景在对应的目标时段内的多条样本数据生成多个推荐请求，将多个所述推荐请求发送至所述目标推荐场景对应的业务推荐子系统，根据所述业务推荐子系统返回的多个推荐响应结果信息获取所述目标推荐场景对应的推荐结果集合；针对每个目标推荐场景，根据所述目标推荐场景对应的推荐结果集合进行指标计算，获取第一指标集合、第二指标集合；根据每个目标推荐场景对应的第一指标集合和第二指标集合，生成所述推荐系统对应的测试结果并展示。2.根据权利要求1所述的方法，其特征在于，所述获取N个业务推荐子系统分别对应的样本数据，包括：根据测试需求，确定所述N个业务推荐子系统、所述N个业务推荐子系统中的每个业务推荐子系统对应的目标推荐场景以及每个目标推荐场景对应的目标时段；基于目标数据仓库中的Hive表，获取每个目标推荐场景在对应的目标时段内的线上数据，将所获取的线上数据确定为所述样本数据，以获取所述N个业务推荐子系统分别对应的样本数据；其中，所述N个业务推荐子系统对应的样本数据为所述测试需求对应的数据；所述Hive表中存储对采集数据进行预处理、数据解析后得到的线上数据，所述采集数据为针对所述多个业务推荐子系统对应的线上日志文件进行实时数据采集所获取。3.根据权利要求2所述的方法，其特征在于，所述基于目标数据仓库中的Hive表，获取每个目标推荐场景在对应的目标时段内的线上数据，包括：针对每个目标推荐场景，在所述Hive表中直接查询所述目标推荐场景在对应的目标时段内的线上数据；或者，针对每个目标推荐场景，在存储介质中查询所述目标推荐场景在对应的目标时段内的线上数据，所述存储介质中存储有预先转存的所述Hive表中的线上数据。4.根据权利要求1所述的方法，其特征在于，所述根据所述目标推荐场景在对应的目标时段内的多条样本数据生成多个推荐请求，将多个所述推荐请求发送至所述目标推荐场景对应的业务推荐子系统，根据所述业务推荐子系统返回的多个推荐响应结果信息获取所述目标推荐场景对应的推荐结果集合，包括：通过动态管理所述目标推荐场景所需要调用的目标信息，获取所述目标推荐场景对应的业务推荐子系统和待测接口；针对所述目标推荐场景下的每条样本数据，将所述样本数据转化为可被待测接口接受的目标类型，并生成携带所述目标类型的样本数据的推荐请求；通过所述目标推荐场景对应的待测接口将多个所述推荐请求发送至所述目标推荐场景对应的业务推荐子系统；
根据所述目标推荐场景对应的业务推荐子系统针对多个所述推荐请求返回的多个推荐响应结果信息，获取所述目标推荐场景对应的推荐结果集合。5.根据权利要求1或4所述的方法，其特征在于，所述根据所述目标推荐场景对应的推荐结果集合进行指标计算，获取第一指标集合、第二指标集合，包括：根据所述目标推荐场景对应的推荐结果集合中的多个推荐响应结果信息进行指标计算，获取所述目标推荐场景对应的第一指标集合和第二指标集合；其中，所述第一指标集合包括以下指标中的至少部分：召回空值率、召回超时率、召回失败率、排序失败率、排序超时率以及推荐接口超时率；所述第二指标集合包括以下指标中的至少部分：结果空值率、结果重复率、业务规则匹配失败率。6.根据权利要求5所述的方法，其特征在于，所述根据所述目标推荐场景对应的推荐结果集合...

【专利技术属性】
技术研发人员：肖志旭，涂思娜，
申请(专利权)人：五八畅生活北京信息技术有限公司，
类型：发明
国别省市：