模型监控方法及装置、电子设备、计算机可读存储介质制造方法及图纸

技术编号:45032252 阅读:29 留言:0更新日期:2025-04-18 17:12
本公开提供了一种模型监控方法及装置、电子设备、计算机可读存储介质,该方法包括:从预设数据源端加载网络模型的模型数据;对加载的网络模型的模型数据进行数据预处理;对预处理后的模型数据进行数据切片处理,得到多个数据切片;针对每个数据切片,对数据切片中的模型数据进行数据分箱处理,得到数据切片对应的多个数据分桶;对多个数据分桶并行进行模型数据的降维映射处理;利用预设线程池中多个线程,并行根据每个数据切片所对应的每个数据分桶中经降维映射处理后的模型数据进行监控指标计算,得到每个数据分桶对应的监控指标,监控指标为反映所述网络模型的性能的指标。

【技术实现步骤摘要】

本公开涉及计算机,特别涉及一种模型监控方法及装置、电子设备、计算机可读存储介质


技术介绍

1、目前,行业内在实施模型效果监控技术方案时,或在做特征筛选中,由于模型数据规模庞大,大多对原始数据采用分布式存储方案,在计算时,需将数据拉取到本地,然后通过python(一种计算机编程语言)进行数据加载和数据预处理工作,最后对多个模型数据进行串行迭代式计算,得到模型的监控指标。


技术实现思路

1、本公开提供一种模型监控方法及装置、电子设备、计算机可读存储介质。

2、第一方面,本公开提供了一种模型监控方法,该模型监控方法包括:

3、从预设数据源端加载网络模型的模型数据,所述预设数据端用于采用分布式存储方式存储网络模型的模型数据;

4、对加载的网络模型的模型数据进行数据预处理;

5、对预处理后的模型数据进行数据切片处理,得到多个数据切片,每个数据切片包括预处理后的多个模型数据;

6、针对每个数据切片,对所述数据切片中的模型数据进行数据分箱处理,得到所述数据切片对本文档来自技高网...

【技术保护点】

1.一种模型监控方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述从预设数据源端加载网络模型的模型数据,包括:

3.根据权利要求1所述的方法,其特征在于,所述数据预处理包括以下至少一项:

4.根据权利要求1所述的方法,其特征在于,所述对预处理后的模型数据进行数据切片处理,得到多个数据切片,包括:

5.根据权利要求1所述的方法,其特征在于,所述对所述数据切片中的模型数据进行数据分箱处理,得到所述数据切片对应的多个数据分桶,包括:

6.根据权利要求1所述的方法,其特征在于,所述对多个数据分桶并行进行模型数据的降...

【技术特征摘要】

1.一种模型监控方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述从预设数据源端加载网络模型的模型数据,包括:

3.根据权利要求1所述的方法,其特征在于,所述数据预处理包括以下至少一项:

4.根据权利要求1所述的方法,其特征在于,所述对预处理后的模型数据进行数据切片处理,得到多个数据切片,包括:

5.根据权利要求1所述的方法,其特征在于,所述对所述数据切片中的模型数据进行数据分箱处理,得到所述数据切片对应的多个数据分桶,包括:

6.根据权利要求1所述的方法,其特征在于...

【专利技术属性】
技术研发人员:苏鹏飞周家林
申请(专利权)人:马上消费金融股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1