数据处理方法、装置、系统、设备和可读存储介质制造方法及图纸

本公开实施例公开了数据处理方法、装置、系统、设备和可读存储介质，所述数据处理方法包括：获取第一数据；通过第一处理方式从所述第一数据提取特征，并且利用所提取的特征进行模型训练以生成数据处理模型；通过第二处理方式处理所述第一数据以生成第二数据；利用所述特征、所述数据处理模型和所述第二数据进行预测。本公开实施例的方案提出多场景通用的预测以及运行基于预测的业务框架，该框架可应用于各种预测以及运行基于预测的业务的场景，应用该框架的系统可以节约大量开发运维成本。该框架的系统可以节约大量开发运维成本。该框架的系统可以节约大量开发运维成本。

Data processing method, apparatus, system, apparatus and readable storage medium

【技术实现步骤摘要】
数据处理方法、装置、系统、设备和可读存储介质


[0001]本公开涉及计算机
，具体涉及数据处理方法、装置、系统、设备和可读存储介质。

技术介绍

[0002]近年来，随着云技术的迅猛发展，各业务场景上云势不可挡。然而众多部门的非核心定制业务都将面临无法对所有场景进行预测以及基于预测进行定制化服务的人力成本投入。例如，在电商领域，内容领域新视频、新闻等领域，都面临着预测时以及运行基于预测的业务时的行为数据缺失的困扰。鉴于此，急需一种能够通用的预测以及运行基于预测的业务框架，以降低开发运维成本。

技术实现思路

[0003]为了解决相关技术中的问题，本公开实施例提供数据处理方法、装置、系统、设备和可读存储介质。
[0004]第一方面，本公开实施例中提供了一种数据处理方法，包括：
[0005]获取第一数据；
[0006]通过第一处理方式从所述第一数据提取特征，并且利用所提取的特征进行模型训练以生成数据处理模型；
[0007]通过第二处理方式处理所述第一数据以生成第二数据；
[0008]利用所述特征、所述数据处理模型和所述第二数据进行预测。
[0009]结合第一方面，本公开在第一方面的第一种实现方式中，还包括：
[0010]存储所述特征以及所述数据处理模型。
[0011]结合第一方面的第一种实现方式，本公开在第一方面的第二种实现方式中，还包括：
[0012]根据所述第二数据对所存储的特征和数据处理模型进行更新；
[0013]存储经更新的特征和数据处理模型。
[0014]结合第一方面的第二种实现方式，本公开在第一方面的第三种实现方式中，所述利用所述特征、所述数据处理模型和所述第二数据进行预测，包括：
[0015]根据所存储的特征和数据处理模型对所述第二数据触发的事件进行预测。
[0016]结合第一方面，本公开在第一方面的第四种实现方式中，还包括：
[0017]存储预测结果。
[0018]结合第一方面的第四种实现方式，本公开在第一方面的第五种实现方式中，还包括：
[0019]根据所存储的预测结果提供服务。
[0020]结合第一方面的第五种实现方式，本公开在第一方面的第六种实现方式中，所述根据所存储的预测结果提供服务，包括：
[0021]将所存储的预测结果提供给应用程序。
[0022]结合第一方面的第六种实现方式，本公开在第一方面的第七种实现方式中，所述通过第一处理方式从所述第一数据提取特征，并且利用所提取的特征进行模型训练以生成数据处理模型，包括：
[0023]更新从所述第一数据提取的特征，并且利用经更新的特征更新所述数据处理模型，
[0024]其中，所述利用所述特征、所述数据处理模型和所述第二数据进行预测，包括：
[0025]利用经更新的特征、经更新的数据处理模型和所述第二数据进行预测以获取针对经更新的特征的预测结果。
[0026]结合第一方面的第七种实现方式，本公开在第一方面的第八种实现方式中，所述获取第一数据包括：
[0027]响应于对冷启动模式或热启动模式的选择，获取第一数据。
[0028]结合第一方面的第七种或第八种实现方式，本公开在第一方面的第九种实现方式中，所述将所存储的预测结果提供给应用程序，包括：
[0029]针对经更新的特征将所存储的预测结果提供给应用程序。
[0030]结合第一方面，本公开在第一方面的第十种实现方式中，所述通过第一处理方式从所述第一数据提取特征，并且利用所提取的特征进行模型训练以生成数据处理模型，还包括：
[0031]存储数据处理模型。
[0032]结合第一方面，本公开在第一方面的第十一种实现方式中，所述通过第一处理方式从所述第一数据提取特征，并且利用所提取的特征进行模型训练以生成数据处理模型，还包括：
[0033]从第一数据的训练候选池中选取训练子集或训练全集；
[0034]从选取的训练子集或训练全集中的样本提取特征。
[0035]结合第一方面的第十一种实现方式，本公开在第一方面的第十二种实现方式中，所述通过第一处理方式从所述第一数据提取特征，并且利用所提取的特征进行模型训练以生成数据处理模型，还包括：
[0036]通过将提取的特征输入选定数据处理模型来对选定数据处理模型进行训练以得到经训练的数据处理模型。
[0037]结合第一方面的第十二种实现方式，本公开在第一方面的第十三种实现方式中，所述利用所述特征、所述数据处理模型和所述第二数据进行预测，包括：
[0038]从第一数据的预测候选池中选取预测子集或预测全集；
[0039]从选取的预测子集或预测全集中的样本提取特征；
[0040]通过将提取的特征输入经训练的数据处理模型来对预测子集或预测全集中的样本进行预测以获得第一预测结果。
[0041]结合第一方面的第十三种实现方式，本公开在第一方面的第十四种实现方式中，所述利用所述特征、所述数据处理模型和所述第二数据进行预测，还包括：
[0042]根据所述第二数据对所述特征和所述数据处理模型进行更新；
[0043]利用所述经更新的特征和数据处理模型以及所述第二数据进行预测以获得第二
预测结果；
[0044]利用所述第二预测结果对所述第一预测结果进行更新。
[0045]结合第一方面的第十四种实现方式，本公开在第一方面的第十五种实现方式中，所述第二预测结果是实时预测结果，所述第一预测结果是离线预测结果。
[0046]结合第一方面，本公开在第一方面的第十六种实现方式中，所述第一数据包括应用程序生成的日志数据。
[0047]结合第一方面的第十六种实现方式，本公开在第一方面的第十七种实现方式中，所述第一数据还包括元信息。
[0048]结合第一方面，本公开在第一方面的第十八种实现方式中，所述第一处理方式是批处理方式，所述第二处理方式是流处理方式。
[0049]第二方面，本公开实施例中提供了一种数据处理装置，包括：
[0050]获取模块，被配置为获取第一数据；
[0051]第一处理模块，被配置为通过第一处理方式从所述第一数据提取特征，并且利用所提取的特征进行模型训练以生成数据处理模型；
[0052]第二处理模块，被配置为通过第二处理方式处理所述第一数据以生成第二数据；
[0053]预测模块，被配置为利用所述特征、所述数据处理模型和所述第二数据进行预测。
[0054]第三方面，本公开实施例中提供了一种数据处理系统，包括：
[0055]采集装置，用于获取第一数据；
[0056]第一云平台，用于通过第一处理方式从所述第一数据提取特征，并且利用所提取的特征进行模型训练以生成数据处理模型；
[0057]第二云平台，用于通过第二处理方式处理所述第一数据以生成第二数据；
[0058]至少一个计算装置本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取第一数据；通过第一处理方式从所述第一数据提取特征，并且利用所提取的特征进行模型训练以生成数据处理模型；通过第二处理方式处理所述第一数据以生成第二数据；利用所述特征、所述数据处理模型和所述第二数据进行预测。2.根据权利要求1所述的方法，其特征在于，还包括：存储所述特征以及所述数据处理模型。3.根据权利要求2所述的方法，其特征在于，还包括：根据所述第二数据对所存储的特征和数据处理模型进行更新；存储经更新的特征和数据处理模型。4.根据权利要求3所述的方法，其特征在于，所述利用所述特征、所述数据处理模型和所述第二数据进行预测，包括：根据所存储的特征和数据处理模型对所述第二数据触发的事件进行预测。5.根据权利要求1所述的方法，其特征在于，还包括：存储预测结果。6.根据权利要求5所述的方法，其特征在于，还包括：根据所存储的预测结果提供服务。7.根据权利要求6所述的方法，其特征在于，所述根据所存储的预测结果提供服务，包括：将所存储的预测结果提供给应用程序。8.根据权利要求7所述的方法，其特征在于，所述通过第一处理方式从所述第一数据提取特征，并且利用所提取的特征进行模型训练以生成数据处理模型，包括：更新从所述第一数据提取的特征，并且利用经更新的特征更新所述数据处理模型，其中，所述利用所述特征、所述数据处理模型和所述第二数据进行预测，包括：利用经更新的特征、经更新的数据处理模型和所述第二数据进行预测以获取针对经更新的特征的预测结果。9.根据权利要求8所述的方法，其特征在于，所述获取第一数据包括：响应于对冷启动模式或热启动模式的选择，获取第一数据。10.根据权利要求8或9所述的方法，其特征在于，所述将所存储的预测结果提供给应用程序，包括：针对经更新的特征将所存储的预测结果提供给应用程序。11.根据权利要求1所述的方法，其特征在于，所述通过第一处理方式从所述第一数据提取特征，并且利用所提取的特征进行模型训练以生成数据处理模型，还包括：存储数据处理模型。12.根据权利要求1所述的方法，其特征在于，所述通过第一处理方式从所述第一数据提取特征，并且利用所提取的特征进行模型训练以生成数据处理模型，还包括：从第一数据的训练候选池中选取训练子集或训练全集；从选取的训练子集或训练全集中的样本提取特征。
13.根据权利要求12所述的方法，其特征在于，所述通过第一处理方式从所述第一数据提取特征，并且利用所提取的特征进行模型训练以生成数据处理模型，还包括：通过将提取的特征输入选定数据处理模型来对选定数据处理模型进行训练以得到经训练的数据处理模型。14.根据权利要求13所述的方法，其特征在于，所述利用所述特征、所述数据处理模型和所述第二数据进行预测，包括：从第一数据的预测候选池中选取预测子集或预测全集；从选取的预测子集或预测全集中的样本提取特征；通过将提取的特征输入经训练的数据处理模型来对预测子集或预测全集中的样本进行预测以获得第一预测结果。15.根据权利要求14所述的方法，其特征在于，所述利用所述特征、所述数据处理模型和所述第二数据进行预测，还包括：根据所述第二数据对所述特征和所述数据处理模型进行更新；利用所述经更新的特征和数据处理模型以及所述第二数据进行预测以获得第二预测结果；利用所述第二预测结果对所述第一预测结果进行更新。16.根据权...

【专利技术属性】
技术研发人员：张继海，肖文明，王智楠，王剑峰，裴勇泉，杨程，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：