数据处理方法、装置、电子设备和存储介质制造方法及图纸

本申请实施例提供了一种数据处理方法、装置、电子设备和存储介质，所述方法包括：对第一程序的第一中间结果数据进行转换，以得到与第二程序相匹配的第二中间结果数据；对所述第二中间结果数据进行存储；其中，所述第一程序和所述第二程序对应相同的代码逻辑信息；所述第一程序对应离线模式，所述第二程序对应在线模式；或者，所述第一程序对应在线模式，所述第二程序对应离线模式。本申请实施例能够降低程序的维护成本。的维护成本。的维护成本。

【技术实现步骤摘要】
数据处理方法、装置、电子设备和存储介质


[0001]本申请实施例涉及计算机
，特别是涉及一种数据处理方法、一种数据处理装置、一种电子设备和一种存储介质。

技术介绍

[0002]数据的处理模式可以包括：离线模式和在线模式。其中，离线模式适用于规模性和/或时间要求较低的场景，在线模式适用于低时延的场景。
[0003]为了同时满足规模性和低时延的需求，目前会同时维护两套程序：离线处理程序和在线处理程序；其中，离线处理程序用于执行离线模式的离线任务，在线处理任务用于执行在线模式的在线任务。然而，两套程序的维护成本较高。

技术实现思路

[0004]本申请实施例提供了一种数据处理方法，能够降低程序的维护成本。
[0005]相对应的，本申请实施例还提供了一种数据处理装置、一种电子设备和一种存储介质，用以实现上述方法的实现及应用。
[0006]为了解决上述问题，本申请实施例公开了一种数据处理方法，所述方法包括：
[0007]对第一程序的第一中间结果数据进行转换，以得到与第二程序相匹配的第二中间结果数据；
[0008]对所述第二中间结果数据进行存储；其中，所述第一程序和所述第二程序对应相同的代码逻辑信息；所述第一程序对应离线模式，所述第二程序对应在线模式；或者，所述第一程序对应在线模式，所述第二程序对应离线模式。
[0009]为了解决上述问题，本申请实施例公开了一种数据处理方法，所述方法包括：
[0010]启动第一程序，由第一程序进行任务处理；
[0011]启动第二程序，以使第二程序根据第二中间结果数据进行任务处理；其中，所述第二中间结果数据为对第一程序的第一中间结果数据进行转换得到的、与第二程序相匹配的数据；所述第一程序和所述第二程序对应相同的代码逻辑信息；所述第一程序对应离线模式，所述第二程序对应在线模式；或者，所述第一程序对应在线模式，所述第二程序对应离线模式。
[0012]为了解决上述问题，本申请实施例公开了一种数据处理方法，所述方法包括：
[0013]加载第二中间结果数据；
[0014]根据第二中间结果数据进行任务处理；
[0015]其中，所述第二中间结果数据为对第一程序的第一中间结果数据进行转换得到的、与第二程序相匹配的数据；所述第一程序和所述第二程序对应相同的代码逻辑信息；所述第一程序对应离线模式，所述第二程序对应在线模式；或者，所述第一程序对应在线模式，所述第二程序对应离线模式。
[0016]为了解决上述问题，本申请实施例公开了一种数据处理方法，所述方法包括：
[0017]确定代码逻辑信息；
[0018]根据所述代码逻辑信息，编译得到离线模式对应的离线程序、以及在线模式对应的在线程序。
[0019]为了解决上述问题，本申请实施例公开了一种电子设备，包括：处理器；和存储器，其上存储有可执行代码，当所述可执行代码被执行时，使得所述处理器执行如上述实施例中任一项所述的方法。
[0020]为了解决上述问题，本申请实施例公开了一个或多个机器可读介质，其上存储有可执行代码，当所述可执行代码被执行时，使得处理器执行如上述实施例中任一项所述的方法。
[0021]与现有技术相比，本申请实施例包括以下优点：
[0022]本申请实施例的技术方案中，根据一套代码逻辑信息，编译得到一套任务在两种处理模式下的两套程序。由于本申请实施例可以对一套代码逻辑信息进行维护，因此，能够降低程序的维护成本。
[0023]并且，本申请实施例可以使得用户根据处理需求信息，以一套任务在统一的处理平台之上，对在线模式与离线模式进行切换。因此，既能经由在线模式满足低时延的需求；又能切换到离线模式，以满足对离线数据(尤其是历史数据)的回溯需求，进而满足对数据准确度的诉求。
附图说明
[0024]图1是本申请实施例的一种离线模式和在线模式的处理方式的示意图；
[0025]图2是本申请一个实施例的数据处理方法的步骤流程图；
[0026]图3是本申请一个实施例的数据处理方法的步骤流程图；
[0027]图4是本申请实施例的一种状态处理装置联通离线模式和在线模式的示意图；
[0028]图5是本申请一个实施例的数据处理方法的步骤流程图；
[0029]图6是本申请一个实施例的数据处理方法的步骤流程图；
[0030]图7是本申请一个实施例的数据处理方法的步骤流程图；
[0031]图8是本申请一个实施例的数据处理方法的步骤流程图；
[0032]图9是本申请一个实施例的数据处理方法的步骤流程图；
[0033]图10是本申请一个实施例的数据处理方法的步骤流程图；
[0034]图11是本申请一个实施例的数据处理系统的结构框图；
[0035]图12是本申请一个实施例的数据处理装置的结构示意图；
[0036]图13是本申请一个实施例的数据处理装置的结构示意图；
[0037]图14是本申请一个实施例的数据处理装置的结构示意图；
[0038]图15是本申请一个实施例的数据处理装置的结构示意图；
[0039]图16是本申请一个实施例提供的示例性装置的结构示意图。
具体实施方式
[0040]为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
[0041]本申请实施例可以应用于数据的处理场景。此处的数据可以是一个或多个领域的数据。领域的例子可以包括：电商领域、物流领域、金融领域、社交领域、电力领域、交通领域等，可以理解，本申请实施例对于数据涉及的具体领域不加以限制。
[0042]数据的处理模式可以包括：离线模式和在线模式。其中，离线模式可以指对离线数据的批量处理，即当开始计算之前离线数据已经准备到位，主要用于数据挖掘和验证服务模型。离线模式采用用时调度的方式，在需要处理数据的情况下，申请计算资源进行数据计算；并且可以根据实际待处理的数据量，在短时间内请求海量的计算资源进行瞬时并行数据计算；实际消耗的资源较少，但缺点在于以累积一批数据的方式进行计算，花费的时间较长。
[0043]在线模式可以指对具有时效性的在线数据进行的处理。在线模式通常会要求计算资源持续保持在线，以应对持续输入的流数据。由于是持续占用资源的模式，因此在线模式对计算资源的消耗较大；在计算资源有限的情况下通常无法达到在线模式的海量规模性和瞬时高吞吐性，但胜在数据即来即计算，可以实现低时延的数据计算和及时展示决策。
[0044]在线数据可以为流数据。流数据可以是一组顺序、大量、快速、连续到达的数据序列。一般情况下，流数据可被视为一个随时间延续而无限增长的动态数据集合，其可应用于网络监测、传感器网络、航空航天、气象测控和金融服务等领域。而流数据对应的计算可用于及时快速地处理流数据，实时地对大规模的流数据在不断变化的运动过程中进行分析，捕捉到可能有用的信息，并把在线结果本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：对第一程序的第一中间结果数据进行转换，以得到与第二程序相匹配的第二中间结果数据；对所述第二中间结果数据进行存储；其中，所述第一程序和所述第二程序对应相同的代码逻辑信息；所述第一程序对应离线模式，所述第二程序对应在线模式；或者，所述第一程序对应在线模式，所述第二程序对应离线模式。2.根据权利要求1所述的方法，其特征在于，所述第一程序对应离线模式，所述第二程序对应在线模式，则所述第一中间结果数据对应文件数据，所述第二中间结果数据对应内存数据；或者所述第一程序对应离线模式，所述第二程序对应在线模式，则所述第一中间结果数据对应列数据，所述第二中间结果数据对应行数据。3.一种数据处理方法，其特征在于，所述方法包括：启动第一程序，由第一程序进行任务处理；启动第二程序，以使第二程序根据第二中间结果数据进行任务处理；其中，所述第二中间结果数据为对第一程序的第一中间结果数据进行转换得到的、与第二程序相匹配的数据；所述第一程序和所述第二程序对应相同的代码逻辑信息；所述第一程序对应离线模式，所述第二程序对应在线模式；或者，所述第一程序对应在线模式，所述第二程序对应离线模式。4.根据权利要求3所述的方法，其特征在于，所述启动第一程序，包括：在符合第一条件的情况下，启动第一程序；所述第一条件与处理阶段信息和/或处理需求信息相关；所述启动第二程序，包括：在符合第二条件的情况下，启动第二程序；所述第二条件与处理阶段信息和/或处理需求信息相关。5.根据权利要求3所述的方法，其特征在于，所述第一程序对应在线模式，所述第二程序对应离线模式；所述启动第二程序，包括：在第一程序的在线任务出现异常、或者需要进行数据修复的情况下，启动第二程序，以使第二程序完成离线任务；所述方法还包括：暂...

【专利技术属性】
技术研发人员：张庭，
申请(专利权)人：浙江菜鸟供应链管理有限公司，
类型：发明
国别省市：