【技术实现步骤摘要】
本专利技术涉及互联网以及电商推荐系统，特别地涉及一种数据读写监控方法、数据读写监控装置、计算设备、计算机可读存储介质和计算机程序产品。
技术介绍
1、搜索推荐系统是电商平台开发的用于向用户提供商品信息并进行商品展示的服务系统。搜索推荐系统的处理流程一般包括前处理、召回、粗排、精排和重排等，业务复杂程度高，需要对大量的数据进行读写，尤其在例如召回、粗排、精排等阶段涉及大规模的数据读写操作，而且这些数据的来源可能涉及多部门、多责任方，如果由于埋点异常、数据任务失败等原因造成数据读取异常，往往难以及时发现，导致搜索推荐系统的数据读写服务质量无法得到保障。
技术实现思路
1、鉴于此，本专利技术提出了一种数据读写监控方法、数据读写监控装置、计算设备、计算机可读存储介质和计算机程序产品。本申请实施例能对搜索推荐系统中的数据进行监控，在满足特定的监控报警条件时发出报警信号，可辅助系统及时发现并排除错误，提升系统的数据读写服务质量。
2、本申请实施例提出一种数据读写监控方法，该方法用于对搜索推荐系统中产生的数据进行监控，搜索推荐系统产生的数据包括前处理模块数据、召回模块数据、过滤模块数据、粗排模块数据和精排模块数据，数据读写监控方法包括：将前处理模块数据、召回模块数据、过滤模块数据、粗排模块数据和精排模块数据确定为多个监控项对象，其中，单个监控项对象中包括一种或多种属性的数据；为每个监控项对象的数据指定至少一个监控类型标签和至少一个聚合策略，其中，每一种监控类型标签对应数据的一种属性，
3、可选地，监控项对象为前处理模块数据时，监控项对象中的数据包括以下至少一种列表：用户点击列表、用户收藏列表、用户加购列表、用户下单列表、用户支付列表、用户兴趣列表、用户搜索列表、用户筛选列表、用户负反馈列表；监控项对象中的数据对应的监控类型标签包括以下至少一者：列表长度标签、行为时效标签；监控报警条件包括以下至少一者：监控项对象中的列表是否满足一定数量、列表是否长时间未更新。
4、可选地，监控项对象为召回模块数据时，监控项对象中的数据包括以下至少一者：召回源1至召回源n、召回分组1至召回分组n、商品属性1至商品属性n；监控项对象中的数据对应的监控类型标签包括以下至少一者：召回列表长度标签、召回数据更新时间标签、获取成功占比标签：监控报警条件包括以下至少一者：监控项对象中的召回源是否满足一定数量、召回源的数据是否长时间未更新、召回源分组是否满足一定数量、商品属性是否正常获取。
5、可选地，其特征在于，监控对象为过滤模块数据时，监控项对象中的数据包括以下至少一者：过滤器1至过滤器n、过滤器整体；监控项对象中的数据对应的监控类型标签包括以下至少一者：输入数量标签、过滤数量标签、输出数量标签、过滤百分比标签；监控报警条件包括以下至少一者：监控项对象过滤前是否大于预设值、过滤条件是否正常、过滤后是否还剩余足够商品、过滤比例是否高于预定值。
6、可选地，监控对象为粗排模块数据时，监控项对象中的数据包括以下至少一者：粗排特征1至粗排特征n、粗排模型a；监控项对象中的数据对应的监控类型标签包括以下至少一者：获取成功占比标签、粗排得分均值标签、粗排得分方差标签；监控报警条件包括以下至少一者：监控对象中的粗排特征是否正常获取、模型是否正常执行、商品间得分是否一致。
7、可选地，其特征在于，监控对象为精排模块数据时，监控项对象中的数据包括以下至少一者：精排特征1至精排特征n；监控项对象中的数据对应的监控类型标签包括以下至少一者：获取成功占比标签、精排得分均值标签、精排得分方差标签；监控报警条件包括以下至少一者：监控对象中的精排特征是否正常获取、模型是否正常执行、商品间得分是否一致。
8、本申请实施例还提出一种数据读写监控装置，该装置用于对搜索推荐系统中产生的数据进行监控，搜索推荐系统产生的数据包括前处理模块数据、召回模块数据、过滤模块数据、粗排模块数据和精排模块数据，数据读写监控装置包括：确定模块，用于将前处理模块数据、召回模块数据、过滤模块数据、粗排模块数据和精排模块数据确定为多个监控项对象，其中，单个监控项对象中包括一种或多种属性的数据；指定模块，用于为每个监控项对象的数据指定至少一个监控类型标签和至少一个聚合策略，其中，每一种监控类型标签对应数据的一种属性，聚合策略包括平均值聚合策略和/或最大值聚合策略；上报模块，用于对各个监控项对象中的数据对应的原始值、监控类型标签及聚合策略执行上报，其中，对属于线上服务属性及实时数据任务属性的数据执行实时上报，对属于调度型离线任务属性的数据执行离线上报，部分或全部原始值来自系统日志；聚合模块，用于对各个监控项对象中的数据对应的原始值执行对应的聚合策略，得到对应的指标值，其中，对与时间有关的监控类型标签对应的原始值执行最大值聚合策略，对与时间无关的监控类型标签对应的原始值执行平均值聚合策略，其中，与时间有关的监控类型标签包括前处理模块数据中的行为时效标签以及召回模块数据中的召回数据更新时间标签；报警模块，用于将得到的指标值分别与预设的监控阈值进行比较，在达到预设的监控报警条件时，发出报警。
9、本申请实施例还提出一种计算设备，该计算设备包括处理器以及存储有计算机程序指令的存储器；计算设备执行计算机程序指令时实现如前述任一项所述的方法。
10、本申请实施例还提出一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如前述任一项所述的方法。
11、本申请实施例还提出一种计算机程序产品，其包括计算机程序指令，计算机程序指令被处理器执行时实现如前述任一项所述的方法。
12、利用本申请实施例的数据读写监控解决方案，能够对搜索推荐系统中调度型离线任务属性的数据和线上服务属性及实时数据任务属性的数据的读写进行监控，通过比较指标值和监控阈值来判断是否达到预设的报警条件，如果满足报警条件，能够及时发出报警信号，并且还能够根据指定的监控类型标签定位异常点，缩短数据排查时间，及时解决问题点，保证搜索推荐服务质量。
本文档来自技高网...【技术保护点】
1.一种数据读写监控方法，其特征在于，所述方法用于对搜索推荐系统中产生的数据进行监控，所述搜索推荐系统产生的数据包括前处理模块数据、召回模块数据、过滤模块数据、粗排模块数据和精排模块数据，
2.根据权利要求1所述的方法，其特征在于，监控项对象为所述前处理模块数据时，
3.根据权利要求1所述的方法，其特征在于，监控项对象为所述召回模块数据时，
4.根据权利要求1所述的方法，其特征在于，监控对象为所述过滤模块数据时，
5.根据权利要求1所述的方法，其特征在于，监控对象为所述粗排模块数据时，
6.根据权利要求1所述的方法，其特征在于，监控对象为所述精排模块数据时，
7.一种数据读写监控装置，其特征在于，所述装置用于对搜索推荐系统中产生的数据进行监控，所述搜索推荐系统产生的数据包括前处理模块数据、召回模块数据、过滤模块数据、粗排模块数据和精排模块数据，
8.一种计算设备，其特征在于，所述计算设备包括处理器以及存储有计算机程序指令的存储器；所述计算设备执行所述计算机程序指令时实现如权利要求1-6任一项所述的
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-6任一项所述的方法。
10.一种计算机程序产品，其特征在于，其包括计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-6中任一项所述的方法。
...【技术特征摘要】
1.一种数据读写监控方法，其特征在于，所述方法用于对搜索推荐系统中产生的数据进行监控，所述搜索推荐系统产生的数据包括前处理模块数据、召回模块数据、过滤模块数据、粗排模块数据和精排模块数据，
2.根据权利要求1所述的方法，其特征在于，监控项对象为所述前处理模块数据时，
3.根据权利要求1所述的方法，其特征在于，监控项对象为所述召回模块数据时，
4.根据权利要求1所述的方法，其特征在于，监控对象为所述过滤模块数据时，
5.根据权利要求1所述的方法，其特征在于，监控对象为所述粗排模块数据时，
6.根据权利要求1所述的方法，其特征在于，监控对象为所述精排模块数据时，
7.一种数据读写监控...
【专利技术属性】
技术研发人员：曾祥瑞，
申请(专利权)人：北京转转精神科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。