一种数据资产管理方法、系统、计算机设备及存储介质技术方案

本发明专利技术公开了一种数据资产管理方法、系统、计算机设备及存储介质，方法包括：创建推理服务；为推理服务配置logger关键字，并基于logger关键字对推理服务中的推理数据进行回显；为logger关键字配置URL关键字，并基于URL关键字将回显的推理数据转发到数据资产管理组件；数据资产管理组件接收推理数据，并对推理数据进行解析计算；存储解析计算后的推理数据。通过本发明专利技术的方案，实现了对推理服务中的推理数据的收集和存储。推理数据的收集和存储。推理数据的收集和存储。

A data asset management method, system, computer equipment and storage medium

【技术实现步骤摘要】
一种数据资产管理方法、系统、计算机设备及存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种数据资产管理方法、系统、计算机设备及存储介质。

技术介绍

[0002]kserve是为了解决训练过后的模型，如何上线服务的问题。其实，各大深度学习平台也注意到上线服务这个gap，所以tensorflow、pytorch对应出了TFServing、torchserve，nvidia出了triton。这些推理平台满足了基本的推理服务上线要求，而kserve依托于knative，为推理服务赋予更多特性。knative支持的弹性扩缩容、缩容至零、蓝绿发布、回滚、多版本控制、流量控制，以及k8s对容器的监控、重启、资源调度、监控等特性，kserve都具有。
[0003]用户可以采用kserve进行推理服务的创建。kserve为服务提供了自动伸缩、伸缩至零和滚动发布等多种功能，可以很好的满足用户的推理需求。
[0004]但是如果开发人员并未在自己得到的模型中添加推理数据输出及统计部分代码，那么在实际的推理过程中这部分数据是丢失的。而实际上推理过程中产生的数据也非常重要。现有的技术手段无法满足开发人员未添加推理输出情况下获取推理数据的问题。
[0005]场景一：由于训练样本的限制，在训练好的模型在实际使用的过程中，很可能会出现针对某一类图片或者语句等模型准确率非常差的情况，因而在实际推理过程中产生的数据尤为重要。
[0006]场景二：在多个推理服务相互调用，形成一个调用链的时候，很可能出现推理结果不满足需求或者调用链性能特别差的情况，那么此时通过推理结果去查看到底是哪个成为了性能瓶颈或者哪个服务的推理结果出错就显得尤为重要。
[0007]而目前通过常规方式部署的服务无法去追踪整个推理的数据流。

技术实现思路

[0008]有鉴于此，本专利技术提出了一种数据资产管理方法、系统、计算机设备及存储介质，实现了从推理服务数据的收集，数据存储，数据解析，服务请求链查询，数据回流的完整链路与全面的的监控，使得推理数据得以保留，并可以进一步提升模型的准确率以及定位性能瓶颈等，解决了目前通过常规方式部署的推理服务无法去追踪整个推理的数据流的问题。
[0009]基于上述目的，本专利技术实施例的一方面提供了一种数据资产管理方法，具体包括如下步骤：
[0010]创建推理服务；
[0011]为所述推理服务配置logger关键字，并基于所述logger关键字对所述推理服务中的推理数据进行回显；
[0012]为所述logger关键字配置URL关键字，并基于所述URL关键字将回显的推理数据转
发到数据资产管理组件；
[0013]数据资产管理组件接收所述推理数据，并对所述推理数据进行解析计算；
[0014]存储解析计算后的推理数据。
[0015]在一些实施方式中，基于所述logger关键字对所述推理服务中的推理数据进行回显包括：
[0016]基于logger关键字执行以下步骤：
[0017]抓取所述推理服务接收到的每一条推理数据；
[0018]解析所述推理数据的HTTP属性以获取所述推理数据的数据信息；
[0019]在获取到所述推理数据的数据信息后，还原所述推理数据的HTTP属性；
[0020]为所述logger关键字配置URL关键字，并基于所述URL关键字将所述推理数据转发到数据资产管理组件包括：
[0021]为所述logger关键字配置URL关键字，并将所述推理数据的还原后的HTTP属性放入URL关键字，并基于包含所述还原后的HTTP属性的URL关键字将所述推理数据转发到数据资产管理组件。
[0022]在一些实施方式中，响应于在推理平台部署了多个推理服务，基于所述logger关键字对所述推理服务中的推理数据进行回显还包括：
[0023]基于所述logger关键字为存在调用关系的推理服务创建参数，以基于所述参数对所述存在调用关系的推理服务进行调用链路追踪。
[0024]在一些实施方式中，对所述推理数据进行解析计算包括：
[0025]从所述推理数据中，解析和/或计算推理服务的关键信息，其中，所述关键信息包括请求时间、响应时间、处理时长、请求数据类型、请求数据元数据、响应数据类型、响应数据元数据、响应状态。
[0026]在一些实施方式中，存储解析计算后的推理数据包括：
[0027]将elasticsearch作为主存储、hdfs作为外部存储以存储解析计算后的推理数据；或
[0028]将elasticsearch作为主存储、本地存储作为外部存储以存储解析计算后的推理数据。
[0029]在一些实施方式中，方法进一步包括
[0030]创建解析模板；
[0031]在所述解析模板配置对应的参数；
[0032]将配置了参数的解析模板导入推理平台以对文本类型的推理数据进行进一步解析。
[0033]在一些实施方式中，方法进一步包括：
[0034]基于预设条件对存储的推理数据进行筛选以判断是否对推理数据进行回流。
[0035]本专利技术实施例的另一方面，还提供了一种数据资产管理系统，包括：
[0036]服务创建模块，所述服务创建模块配置为创建推理服务；
[0037]数据回显模块，所述数据回显模块配置为为所述推理服务配置logger关键字，并基于所述logger关键字对所述推理服务中的推理数据进行回显；
[0038]数据转发模块，所述数据转发模块配置为为所述logger关键字配置URL关键字，并
基于所述URL关键字将回显的推理数据转发到数据资产管理组件；
[0039]数据解析模块，所述数据解析模块配置为数据资产管理组件接收所述推理数据，并对所述推理数据进行解析计算；
[0040]存储模块，所述存储模块配置为存储解析计算后的推理数据。
[0041]本专利技术实施例的又一方面，还提供了一种计算机设备，包括：至少一个处理器；以及存储器，所述存储器存储有可在所述处理器上运行的计算机程序，所述计算机程序由所述处理器执行时实现如上方法的步骤。
[0042]本专利技术实施例的再一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时实现如上方法步骤的计算机程序。
[0043]本专利技术至少具有以下有益技术效果：通过创建推理服务；为推理服务配置logger关键字，并基于logger关键字对推理服务中的推理数据进行回显；为logger关键字配置URL关键字，并基于URL关键字将回显的推理数据转发到数据资产管理组件；数据资产管理组件接收推理数据，并对推理数据进行解析计算；存储解析计算后的推理数据，实现了对推理服务中的推理数据的收集和存储。
附图说明
[0044]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据资产管理方法，其特征在于，包括：创建推理服务；为所述推理服务配置logger关键字，并基于所述logger关键字对所述推理服务中的推理数据进行回显；为所述logger关键字配置URL关键字，并基于所述URL关键字将回显的推理数据转发到数据资产管理组件；数据资产管理组件接收所述推理数据，并对所述推理数据进行解析计算；存储解析计算后的推理数据。2.根据权利要求1所述的方法，其特征在于，基于所述logger关键字对所述推理服务中的推理数据进行回显包括：基于logger关键字执行以下步骤：抓取所述推理服务接收到的每一条推理数据；解析所述推理数据的HTTP属性以获取所述推理数据的数据信息；在获取到所述推理数据的数据信息后，还原所述推理数据的HTTP属性；为所述logger关键字配置URL关键字，并基于所述URL关键字将所述推理数据转发到数据资产管理组件包括：为所述logger关键字配置URL关键字，并将所述推理数据的还原后的HTTP属性放入URL关键字，并基于包含所述还原后的HTTP属性的URL关键字将所述推理数据转发到数据资产管理组件。3.根据权利要求1所述的方法，其特征在于，响应于在推理平台部署了多个推理服务，基于所述logger关键字对所述推理服务中的推理数据进行回显还包括：基于所述logger关键字为存在调用关系的推理服务创建参数，以基于所述参数对所述存在调用关系的推理服务进行调用链路追踪。4.根据权利要求1所述的方法，其特征在于，对所述推理数据进行解析计算包括：从所述推理数据中，解析和/或计算推理服务的关键信息，其中，所述关键信息包括请求时间、响应时间、处理时长、请求数据类型、请求数据元数据、响应数据类型、响应数据...

【专利技术属性】
技术研发人员：宋小妹，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：