基于算法测评的纳管算法优化方法、装置和计算机介质制造方法及图纸

技术编号:43002842 阅读:29 留言:0更新日期:2024-10-18 17:11
本申请公开了一种基于算法测评的纳管算法优化方法、装置和计算机介质。该方法包括:在算法纳管平台上引入算法;对测评算法进行准入测试;将通过测评准入测试的算法上线应用;对测评算法进行周期性测评;输出测评周期性测评的报告;以及对测评算法进行打分排名。本申请还描述了相关的装置和计算机介质。

【技术实现步骤摘要】

本申请涉及机器学习领域,更具体地涉及机器学习算法测评领域。更为具体地,涉及一种基于算法测评的纳管算法优化方法、装置和计算机介质


技术介绍

1、随着人工智能行业的飞速发展,基于ai的标准化、流程化平台也越来越被人们所关注,以追求ai能力快速落地并驱动ai产业爆发式增长。作为电信运营商,基于ai中台的算法纳管平台不仅需要纳管在本平台上开发的自研算法,还需要能够纳管其他厂商的算法并投入生产。

2、算法仓纳管的算法在算法准入验证阶段需要对接口规范、功能性做测试以保障算法质量。但在模型上线后的泛化能力更加重要。线上模型的安全可靠、及上线提供推理能力时的性能、稳定性、鲁棒性,都需要在算法上线后需要进行持续跟踪和优化。但在现有技术中,在算法持续优化的实现中存在以下问题:

3、第一,并未建立算法模型的评估机制,因此缺乏质量保障;

4、第二,并未建立算法模型迭代优化的自动化闭环流程;

5、第三,考虑到数据安全问题,线上回流的数据无法直接提供给算法厂商,线上算法测试报告也难以使用原始样例数据。

6、因此,本领域急需本文档来自技高网...

【技术保护点】

1.一种基于算法测评的纳管算法优化方法,所述方法包括以下步骤:

2.如权利要求1所述的算法优化方法,其特征在于,对所述算法进行准入测试包括:

3.如权利要求2所述的算法优化方法,其特征在于,对所述算法进行周期性测评包括:

4.如权利要求3所述的算法优化方法,其特征在于,基于线上回流数据集对所述算法进行周期性测评还包括:

5.如权利要求1所述的算法优化方法,其特征在于,所述周期性测评的报告包括去隐私化的样例数据和异常数据的标签分析结果。

6.如权利要求5所述的算法优化方法,其特征在于,如果所述周期性测评的报告指示所述算法效果欠佳,...

【技术特征摘要】

1.一种基于算法测评的纳管算法优化方法,所述方法包括以下步骤:

2.如权利要求1所述的算法优化方法,其特征在于,对所述算法进行准入测试包括:

3.如权利要求2所述的算法优化方法,其特征在于,对所述算法进行周期性测评包括:

4.如权利要求3所述的算法优化方法,其特征在于,基于线上回流数据集对所述算法进行周期性测评还包括:

5.如权利要求1所述的算法优化方法,其特征在于,所述周期性测评的报告包括去隐私化的样例数据和异常数据的标签分析结果。

6.如权利要求5所述的算法优化方法,其特征在于,如果所述周期性测评的报...

【专利技术属性】
技术研发人员:钟杰
申请(专利权)人:天翼视联科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1