大模型业务指标监控方法、装置和存储介质制造方法及图纸

本发明专利技术提供了一种大模型业务指标监控方法、装置和存储介质，涉及大模型技术领域，包括：将待监控的大模型部署在CGRA平台中；监控首个Token的生成时刻；监控Token的生成耗时；监控平均Token数量；监控每秒请求总数；监控请求的平均耗时；监控处理中的长连接请求总数；基于CGRA平台提供的数据传输机制将采集到的监控数据传输到监控系统中；根据历史数据和业务需求，为每个被监控的数据设定报警阈值，当被监控的数据超出报警阈值时发出异常预警信息。基于本申请提供的技术方案能够精确掌握模型的文本生成效率、服务器负载情况以及模型输出内容的丰富度，有助于开发人员采取相应措施，以增强大模型处理效率，提升服务器可靠性。

【技术实现步骤摘要】

本专利技术涉及大模型，具体而言，涉及一种大模型业务指标监控方法、装置和存储介质。

技术介绍

1、随着人工智能技术的飞速发展，大模型在自然语言处理、计算机视觉等诸多领域得到了广泛应用。cgra 平台因其具有高度可配置性和并行计算能力，成为运行大模型的理想选择之一。然而，大模型的运行对计算资源需求巨大，且其复杂的结构和动态的业务负载，使得准确了解其在 cgra 平台上的运行状况变得至关重要。现有技术主要披露了如下三种大模型业务指标监控方法：（1）传统监控工具的应用：直接使用传统的服务器监控工具来监控大模型在 cgra 平台上的运行。这些工具主要侧重于对硬件资源的基础监控，如cpu 使用率、内存占用等。但对于大模型复杂的业务逻辑和特殊的计算需求而言，这种监控方式过于笼统，无法深入了解大模型内部各模块的运行情况以及业务指标的详细变化。（2）简单的日志记录：现有方案通过在大模型代码中添加简单的日志记录语句，记录关键步骤的执行情况和部分业务数据。然而，这种方式缺乏系统性，日志的分析和整合较为困难，难以实时反映大模型的运行状态，且对于大规模、高并发的大模型业务场景，日志本文档来自技高网...

【技术保护点】

1.一种大模型业务指标监控方法，其特征在于，包括：

2.根据权利要求1所述的大模型业务指标监控方法，其特征在于，所述数据采集与传输的步骤，还包括：

3.根据权利要求1所述的大模型业务指标监控方法，其特征在于，还包括：

4.根据权利要求1所述的大模型业务指标监控方法，其特征在于，还包括：

5.根据权利要求1所述的大模型业务指标监控方法，其特征在于，还包括：

6.根据权利要求1至5中任一项所述的大模型业务指标监控方法，其特征在于，所述异常预警信息通过即时通讯软件或非即使通讯软件发送至移动终端。

7.根据权利要求1至5中任...

【技术特征摘要】

1.一种大模型业务指标监控方法，其特征在于，包括：

2.根据权利要求1所述的大模型业务指标监控方法，其特征在于，所述数据采集与传输的步骤，还包括：

3.根据权利要求1所述的大模型业务指标监控方法，其特征在于，还包括：

4.根据权利要求1所述的大模型业务指标监控方法，其特征在于，还包括：

5.根据权利要求1所述的大模型业务指标监控方法，其特征在于，还包括：

6.根据权利要求1至5中任一项所...

【专利技术属性】
技术研发人员：王贺阳，赵毅，闫小英，
申请(专利权)人：天开智算天津科技有限公司，
类型：发明
国别省市：