基于算子的数据处理流程构建方法和电子设备技术

本公开提出了一种基于算子的数据处理流程构建方法和电子设备，涉及数据处理和高精地图技术领域，方法包括获取目标场景中第一数据处理模式下的初始流程和初始流程包括的任务算子；获取第二数据处理模式，并根据任务算子获取第二数据处理模式下的目标算子目录；基于目标算子目录，在目标场景中构建第二数据处理模式下的目标流程。本公开中，使得初始流程与目标流程可以在目标场景下各自的独立运行，进而使得初始流程与目标流程之间处于解耦状态，提高了数据处理的稳定性，优化了目标场景的数据处理性能，提高了目标场景的数据处理效率，优化的目标场景的数据处理的时效性。优化的目标场景的数据处理的时效性。优化的目标场景的数据处理的时效性。

【技术实现步骤摘要】
基于算子的数据处理流程构建方法和电子设备


[0001]本公开涉及数据处理领域和高精地图
，尤其涉及一种基于算子的数据处理流程构建方法和电子设备。

技术介绍

[0002]高精地图也称高精度地图，是自动驾驶汽车使用。高精地图，拥有精确的车辆位置信息和丰富的道路元素数据信息，可以帮助汽车预知路面复杂信息，如坡度、曲率、航向等，更好地规避潜在的风险。高精地图相比于普通地图，数据规模更大因而需要更高的数据处理性能和处理效率。具体实现中，数据处理存在多种处理模式。
[0003]相关技术中，可以通过批处理的方式进行数据处理，然而，基于批处理的方式进行数据处理的过程中存在资源的等待现象，从而导致数据处理的时效性受到一定程度的影响。

技术实现思路

[0004]本公开提出了一种基于算子的数据处理流程构建方法和电子设备。
[0005]根据本公开的第一方面，提出了一种基于算子的数据处理流程构建方法，方法包括：获取目标场景中第一数据处理模式下的初始流程和所述初始流程包括的任务算子；获取第二数据处理模式，并根据所述任务算子获取所述第二数据处理模式下的目标算子目录；根据所述任务算子，构建所述目标算子目录的算子接入脚本；基于所述目标算子目录以及所述目标算子目录的算子接入脚本，在所述目标场景中构建所述第二数据处理模式下的目标流程。
[0006]根据本公开的第二方面，提出了一种基于算子的数据处理流程构建装置，装置包括：获取模块，用于获取目标场景中第一数据处理模式下的初始流程和所述初始流程包括的任务算子；算子目录模块，用于获取第二数据处理模式，并根据所述任务算子获取所述第二数据处理模式下的目标算子目录；第一构建模块，用于根据所述任务算子，构建所述目标算子目录的算子接入脚本；第二构建模块，用于基于所述目标算子目录以及所述目标算子目录的算子接入脚本，在所述目标场景中构建所述第二数据处理模式下的目标流程。
[0007]根据本公开的第三方面，提出了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述第一方面所述的基于算子的数据处理流程构建方法。
[0008]根据本公开的第四方面，提出了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述第一方面所述的基于算子的数据处理流程构建方法。
[0009]根据本公开的第五方面，提出了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述第一方面所述的基于算子的数据处理流程构建方法。
[0010]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0011]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0012]图1为本公开一实施例的基于算子的数据处理流程构建方法的流程示意图；
[0013]图2为本公开另一实施例的基于算子的数据处理流程构建方法的流程示意图；
[0014]图3为本公开另一实施例的基于算子的数据处理流程构建方法的流程示意图；
[0015]图4为本公开另一实施例的基于算子的数据处理流程构建方法的流程示意图；
[0016]图5为本公开一实施例的基于算子的数据处理流程构建装置的结构示意图；
[0017]图6为本公开一实施例的电子设备的示意性框图。
具体实施方式
[0018]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0019]数据处理(data processing)，数据处理是系统工程和自动控制的基本环节，数据是对事实、概念或指令的一种表达形式，可由人工或自动化装置进行处理。数据经过解释并赋予一定的意义之后，便成为信息。数据处理是对数据的采集、存储、检索、加工、变换和传输。数据处理的基本目的是从大量的、可能是杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据。
[0020]图1为本公开一实施例的基于算子的数据处理流程构建方法的流程示意图，如图1所示，该方法包括：
[0021]S101，获取目标场景中第一数据处理模式下的初始流程和初始流程包括的任务算子。
[0022]本公开实施例中，可以将存在数据处理需求的场景确定为目标场景，其中，目标场景中可以存在至少一种数据处理模式，可以将其中任一种数据处理模式确定为目标场景中的第一数据处理模式。
[0023]比如，设定目标场景A中包括两种数据处理模式，分别为批处理模式以及流处理模式，则可以将其中的批处理模式确定为目标场景A中的第一数据处理模式。
[0024]可选地，目标场景中存在的待处理数据可以基于第一数据处理模式进行计算处理，比如，在上述示例的基础上可知，目标场景A中的第一数据处理模式为批处理模式，则可以将目标场景A中的待处理数据基于批处理模式进行计算处理。
[0025]在进行数据的计算处理的过程中，第一数据处理模式存在其对应的数据的计算处理流程，其中，可以将该计算处理流程确定为第一数据处理模式下的初始流程。
[0026]进一步地，可以将初始流程下包括的用于对数据进行计算处理的算子，确定为初始流程中的任务算子。
[0027]S102，获取第二数据处理模式，并根据任务算子获取第二数据处理模式下的目标
算子目录。
[0028]可选地，可以将目标场景中包括的数据处理模式中，非第一数据处理模式的其他数据处理模式，确定为目标场景中的第二数据处理模式。
[0029]比如，在上述示例的基础上可知，目标场景A中包括有批处理模式和流处理模式两种数据处理模式，其中，批处理模式为目标场景A中的第一数据处理模式，则可以将流处理模式确定为目标场景A中的第二数据处理模式。
[0030]本公开实施例中，在第一数据处理模式与第二数据处理模式对于同一待处理数据的计算处理的方法不同的场景下，基于第一数据处理模式和第二数据处理模式对同一数据进行计算处理所得到的计算结果存在可能是相同的。
[0031]在该场景下，可以获取第一数据处理模式下的任务算子，并基于第一数据处理模式下的任务算子，获取第二数据处理模式下进行数据的计算处理的算子的相关信息。
[0032]在一些实现中，第二数据处理模式下的算子可以基于目录的形式存在，其中，可以将基于目录的形式存在的第二数据处理模式下的算子，确定为第二数据处理模式下的目标算子目录。
[0033]可选地，可以基于预设的划分方法对第一数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于算子的数据处理流程构建方法，其中，所述方法包括：获取目标场景中第一数据处理模式下的初始流程和所述初始流程包括的任务算子；获取第二数据处理模式，并根据所述任务算子获取所述第二数据处理模式下的目标算子目录；根据所述任务算子，构建所述目标算子目录的算子接入脚本；基于所述目标算子目录以及所述目标算子目录的算子接入脚本，在所述目标场景中构建所述第二数据处理模式下的目标流程。2.根据权利要求1所述的方法，其中，所述获取第二数据处理模式，并根据所述任务算子获取所述第二数据处理模式下的目标算子目录，包括：获取所述任务算子的元数据，并根据所述元数据生成所述任务算子在所述第二数据处理模式下的所述目标算子目录。3.根据权利要求1
‑
2任一项所述的方法，其中，所述方法还包括：获取所述目标场景中待处理的候选数据，并从所述目标流程的全部目标算子目录中获取处理所述候选数据的执行算子目录；获取所述执行算子目录对应的执行算子元数据，并根据所述执行算子元数据获取对应的执行算子程序包；通过所述执行算子目录的执行算子接入脚本，获取所述执行算子程序包的依赖信息；基于所述依赖信息运行所述执行算子程序包，以获取所述候选数据基于所述目标流程进行数据处理得到的目标数据。4.根据权利要求3所述的方法，其中，所述基于所述依赖信息运行所述执行算子程序包，以获取所述候选数据基于所述目标流程进行数据处理得到的目标数据，包括：将所述执行算子程序包嵌入所述执行算子目录生成目标镜像文件；获取所述目标镜像文件的任务容器，并基于所述依赖信息在所述任务容器中运行所述目标镜像文件，得到所述目标数据。5.根据权利要求4所述的方法，其中，所述方法还包括：获取所述任务容器的隔离机制，并基于所述隔离机制在所述任务容器中运行所述执行算子程序包。6.根据权利要求1
‑
2中任一项所述的方法，其中，所述方法还包括：响应于所述目标流程存在目标算子目录的增加需求，获取所述增加需求对应的更新算子目录，并获取所述更新算子目录对应的更新算子程序包的第一算子类型；从全部的目标算子目录各自对应的算子程序包的第二算子类型中，获取与所述第一算子类型相同的第三算子类型；从全部的目标算子目录中获取所述第三算子类型对应的参考算子目录；根据所述参考算子目录，将所述更新算子目录添加至所述目标流程中，得到新的目标流程。7.根据权利要求6所述的方法，其中，所述根据所述参考算子目录，将所述更新算子目录添加至所述目标流程中，得到新的目标流程，包括：获取所述参考算子目录的参考算子接入脚本，并将所述参考算子接入脚本作为所述更新算子目录的更新算子接入脚本；
确定所述更新算子目录在所述目标流程中的更新位置，并根据所述更新位置将所述更新算子接入脚本以及所述更新算子目录添加至所述目标流程中，得到新的目标流程。8.一种基于算子的数据处理流程的构建装置，其中，所述装置包括：获取模块，用于获取目标场景中第一数据处理模式下的初始流程和所述初始流程包括的任务算子；算子目录模块，用于获取第二数据处理模式，并根据所述任务算子获取所述第二数据处理模式下的目标算...

【专利技术属性】
技术研发人员：代玉泉，梁涛，戴浩男，白宇，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：