本发明专利技术是关于算法服务评估方法和装置，方法包括：获取多个算法服务中每个算法服务的指标值；其中，所述指标值基于预设指标的值、算法服务调用次数来确定，所述多个算法服务对应同一预设指标；根据每个算法服务的指标值，计算每个算法服务的正态分布值；根据每个算法服务的正态分布值，确定所述多个算法服务中的待改进算法服务。实现了面向全局多个算法服务的评估；并且实现从算法调用召回、曝光展示、用户点击等全链路的评估。击等全链路的评估。击等全链路的评估。
【技术实现步骤摘要】
一种算法服务评估方法和装置
[0001]本专利技术涉及算法服务领域，尤其涉及算法服务评估方法和装置。
技术介绍
[0002]目前结合业务评估算法效果，多是通过线上流量A/B测试，观测一些业务指标的升降实现的。比如对于广告算法服务，一般使用广告收入、ECPM(Effective Cost Per Mille，千次展示有效收益)、CTR(Click Through Rate，点击通过率)等指标衡量，其中：
[0003]ECPM等于：(广告总费用/广告展示量总数)*1000；
[0004]CTR等于：实际点击次数/广告展示量总数。
[0005]然而，这些指标的前提都是策略返回结果已曝光，因此缺失了算法调用召回环节，且关注的只是单个算法服务的效果，无法对算法服务全局把控。而实际上，有些算法服务，召回数很少，所以广告展示量必然很少，ECPM指标、CTR指标都是根据广告展示量来计算，较难发现召回的问题，效果评估出现断层。为了解决以上的缺点/问题，亟需提出一种新型的算法服务评估方法
技术实现思路
[0006]为克服相关技术中存在的问题，本专利技术的实施例提供一种算法服务评估方法和装置。技术方案如下：
[0007]根据本专利技术的实施例的第一方面，提供一种算法服务评估方法，包括：
[0008]获取多个算法服务中每个算法服务的指标值；其中，所述指标值基于预设指标的值、算法服务调用次数来确定，所述多个算法服务对应同一预设指标；
[0009]根据每个算法服务的指标值，计算每个算法服务的正态分布值；
[0010]根据每个算法服务的正态分布值，确定所述多个算法服务中的待改进算法服务。
[0011]在一个实施例中，所述获取多个算法服务中每个算法服务的指标值，包括：根据以下公式计算算法服务的指标值：
[0012](预设指标的值/算法服务调用次数)*1000。
[0013]在一个实施例中，所述根据每个算法服务的正态分布值，确定所述多个算法服务中的待改进算法服务，包括：
[0014]根据每个算法服务的正态分布值，绘制频率分布直方图和正态分布曲线；
[0015]根据频率分布直方图和正态分布曲线，确定所述多个算法服务中的待改进算法服务。
[0016]在一个实施例中，所述方法还包括：
[0017]根据预设的算法服务和策略映射关系，获取算法服务对应的策略；
[0018]获取算法服务对应的策略的预设指标的值之和作为算法服务的预设指标的值；
[0019]获取算法服务对应的策略的调用量之和作为算法服务调用次数。
[0020]在一个实施例中，所述方法还包括：
[0021]存储算法服务的指标值；
[0022]算法服务更新后，根据算法服务更新前后的指标值，确定算法服务的效果；和/或，在预设时长后计算算法服务的指标值，根据新旧两个指标值，确定算法服务的效果；
[0023]在算法服务的效果低于预期时，发送监控通知。
[0024]根据本专利技术的实施例的第二方面，提供一种算法服务评估装置，包括：
[0025]第一获取模块，用于获取多个算法服务中每个算法服务的指标值；其中，所述指标值基于预设指标的值、算法服务调用次数来确定，所述多个算法服务对应同一预设指标；
[0026]计算模块，用于根据每个算法服务的指标值，计算每个算法服务的正态分布值；
[0027]确定模块，用于根据每个算法服务的正态分布值，确定所述多个算法服务中的待改进算法服务。
[0028]所述第一获取模块用于：根据以下公式计算算法服务的指标值：
[0029](预设指标的值/算法服务调用次数)*1000。
[0030]在一个实施例中，所述确定模块用于：
[0031]根据每个算法服务的正态分布值，绘制频率分布直方图和正态分布曲线；
[0032]根据频率分布直方图和正态分布曲线，确定所述多个算法服务中的待改进算法服务。
[0033]在一个实施例中，所述装置还包括：
[0034]第二获取模块，用于根据预设的算法服务和策略映射关系，获取算法服务对应的策略；
[0035]所述第一获取模块，用于：获取算法服务对应的策略的预设指标的值之和作为算法服务的预设指标的值；获取算法服务对应的策略的调用量之和作为算法服务调用次数。
[0036]根据本专利技术的实施例的第三方面，提供一种算法服务评估装置，包括：
[0037]处理器；
[0038]用于存储处理器可执行指令的存储器；
[0039]其中，处理器被配置为：
[0040]获取多个算法服务中每个算法服务的指标值，其中，所述指标值基于预设指标的值、算法服务调用次数来确定；其中，所述多个算法服务对应同一预设指标；
[0041]根据每个算法服务的指标值，计算每个算法服务的正态分布值；
[0042]根据每个算法服务的正态分布值，确定所述多个算法服务中的待改进算法服务。
[0043]根据本专利技术的实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现本专利技术的实施例的第一方面中任一项方法的步骤。
[0044]本专利技术的实施例提供的技术方案，是面向全局多个算法服务的，根据分布评估算法服务的效果；并且，算法服务的指标值不依赖算法服务的曝光量，而是采用算法服务调用次数，实现从算法调用召回、曝光展示、用户点击(扣费)等全链路的评估，实现工程调用和业务指标的联通评估。对于调用量很高，曝光很少，收入很少算法服务，现有的ECPM指标不会有感知，但本专利技术提出的指标值会有明显感知。本专利技术提出的指标值中的预设指标可结合业务特性动态设置指标。
[0045]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术。
附图说明
[0046]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。
[0047]图1是根据一示例性实施例示出的算法服务评估方法流程图；
[0048]图2是根据一示例性实施例示出的算法服务评估方法流程图；
[0049]图3是根据一示例性实施例示出的数据流向示意图；
[0050]图4是根据一示例性实施例示出的数据计算过程示意图；
[0051]图5a是根据一示例性实施例示出的指标值的示意图；
[0052]图5b是根据一示例性实施例示出的正态分布值的示意图；
[0053]图5c是根据一示例性实施例示出的算正态分布曲线示意图；
[0054]图6是根据一示例性实施例示出的算法服务评估装置的框图；
[0055]图7是根据一示例性实施例示出的算法服务评估装置的框图；
[0056]图8是根据一示例性实施例示出的算法服务评估装置的框图。
具体实施方式
[0057]这里将详细地对示例性实施例进行说明，其示例本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种算法服务评估方法，其特征在于，包括：获取多个算法服务中每个算法服务的指标值；其中，所述指标值基于预设指标的值、算法服务调用次数来确定，所述多个算法服务对应同一预设指标；根据每个算法服务的指标值，计算每个算法服务的正态分布值；根据每个算法服务的正态分布值，确定所述多个算法服务中的待改进算法服务。2.根据权利要求1所述的方法，其特征在于，其中，所述获取多个算法服务中每个算法服务的指标值，包括：根据以下公式计算算法服务的指标值：(预设指标的值/算法服务调用次数)*1000。3.根据权利要求1所述的方法，其特征在于，所述根据每个算法服务的正态分布值，确定所述多个算法服务中的待改进算法服务，包括：根据每个算法服务的正态分布值，绘制频率分布直方图和正态分布曲线；根据频率分布直方图和正态分布曲线，确定所述多个算法服务中的待改进算法服务。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据预设的算法服务和策略映射关系，获取算法服务对应的策略；获取算法服务对应的策略的预设指标的值之和作为算法服务的预设指标的值；获取算法服务对应的策略的调用量之和作为算法服务调用次数。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：存储算法服务的指标值；算法服务更新后再次计算算法服务的指标值，根据算法服务更新前后的指标值，确定算法服务的效果；和/或，在预设时长后计算算法服务的指标值，根据新旧两个指标值，确定算法服务的效果；在算法服务的效果低于预期时，发送监控通知。6.一种算法服务评估装置，其特征在于，包括：第一获取模块，用于获取多个算法服务中每个算法服务的指标值；其中，所述指标值基于预设指标的值...
【专利技术属性】
技术研发人员：韩笑，
申请(专利权)人：无线生活杭州信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。