样本数据处理方法、装置、设备、存储介质和程序产品制造方法及图纸

本公开实施例涉及一种样本数据处理方法、装置、设备、存储介质和程序产品。该方法包括：获取待查询的数据关键字段；基于数据关键字段查询目标数据源，确定目标查询数据；其中，目标数据源包括离线数据源、近线数据源和在线数据源中的至少一个；基于目标查询数据生成目标样本数据，并将目标样本数据存储至离线数据源、近线数据源和在线数据源中的样本数据表。根据本公开实施例，实现了同时对在线、近线和离线的三个数据源的访问，并统一了对三个数据源中的数据的解析与基本处理逻辑，解决了在近离三线不一致的问题，保证了算法模型在训练过程和推理过程中输入数据的一致性。

【技术实现步骤摘要】

本公开涉及数据处理，尤其涉及一种样本数据处理方法、装置、设备、存储介质和程序产品。

技术介绍

1、在算法工程活动中，存在大量的样本数据构建需求。通常利用构建的离线样本数据对算法模型进行训练，并利用训练好的算法模型对近线或在线数据进行推理，并将推理结果更新至离线样本数据中。

2、上述样本构建过程中不仅存在触发事件杂、链路飞线多、运维难度高的问题，还存在由于对离线/近线/在线数据的存取逻辑和处理逻辑不同，造成训练过程中的算法模型的输入和推理过程中的算法模型的输入无法对齐，从而导致训练结果与推理结果之间的偏差问题。

技术实现思路

1、为了解决上述技术问题，本公开实施例提供了一种样本数据处理方法、装置、设备、存储介质和程序产品。

2、第一方面，本公开实施例提供了一种样本数据处理方法，该方法包括：

3、获取待查询的数据关键字段；基于数据关键字段查询目标数据源，确定目标查询数据；其中，目标数据源包括离线数据源、近线数据源和在线数据源中的至少一个；基于目标查询数据生成目标样本数据，并将目本文档来自技高网...

【技术保护点】

1.一种样本数据处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述目标查询数据生成目标样本数据，包括：

3.根据权利要求1或2所述的方法，其特征在于，所述在线数据源通过预先封装在线服务和所述在线服务支持的在线功能而构建。

4.根据权利要求2所述的方法，其特征在于，在所述基于所述数据关键字段查询目标数据源，确定目标查询数据之后，所述方法还包括：

5.根据权利要求4所述的方法，其特征在于，所述基于各所述目标查询数据，调用目标功能函数，以基于所述目标功能函数对应的目标功能对各所述目标查询数据进行处理，生成函数处理...

【技术特征摘要】

1.一种样本数据处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述目标查询数据生成目标样本数据，包括：

3.根据权利要求1或2所述的方法，其特征在于，所述在线数据源通过预先封装在线服务和所述在线服务支持的在线功能而构建。

4.根据权利要求2所述的方法，其特征在于，在所述基于所述数据关键字段查询目标数据源，确定目标查询数据之后，所述方法还包括：

5.根据权利要求4所述的方法，其特征在于，所述基于各所述目标查询数据，调用目标功能函数，以基于所述目标功能函数对应的目标功能对各所述目标查询数据进行处理，生成函数处理结果，包括：

6.根据权利要求4所述的...

【专利技术属性】
技术研发人员：李治，张全胜，
申请(专利权)人：北京有竹居网络技术有限公司，
类型：发明
国别省市：