【技术实现步骤摘要】
一种数据处理方法、装置、设备及存储介质
[0001]本专利技术属于计算机
，具体涉及一种数据处理方法、装置、设备及存储介质。
技术介绍
[0002]在现有的实时计算框架中，通常是将计算任务在内部分解成为若干个算子，将这些算子之间的逻辑关系或顺序构建成有向无环图(Directed Acyclic Graph，DAG)结构。
[0003]图1是现有技术中的一种实时计算图结构，在该计算图结构中，数据首先流入A1算子节点，经过处理后，有两个分支，一部分数据流向B1算子节点，另一部分数据流向C1算子节点处理，再流向D1算子节点。
[0004]但图1中的实时计算图结构中的一条消息同时只会在一个算子节点中处理，其仅考虑了多条消息的并发处理，并未考虑单条消息在多个算子之间的并发运行，使得消息处理时间较长，系统响应速度较慢。
技术实现思路
[0005]为了实现单消息在多个算子之间的并发运行，缩短消息处理时间，提高系统响应速度，本专利技术提出一种数据处理方法、装置、设备及存储介质。
[0006]一方...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：获取待处理数据以及所述待处理数据对应的预设计算图；所述预设计算图表征多个算子之间的关系，所述多个算子包括连接算子和由所述待处理数据的数据处理任务确定的任务算子，所述任务算子包括上游任务算子和至少两个并发任务算子；基于所述上游任务算子，对所述待处理数据进行处理，得到上游数据处理结果；基于所述至少两个并发任务算子，对所述上游数据处理结果进行并发处理，得到各个并发任务算子各自对应的并发数据处理结果；基于所述连接算子，对各个并发任务算子各自对应的并发数据处理结果进行组合，得到数据组合结果。2.根据权利要求1所述的方法，其特征在于，所述方法还包括构建所述预设计算图的步骤，所述构建所述预设计算图包括：获取所述待处理数据的数据处理任务；对所述数据处理任务进行分析，确定处理所述待处理数据所需的所述任务算子；确定所述任务算子的算子类型和配置参数；所述任务算子的配置参数包括记录相应的字段偏移位置信息的字段偏移参数；基于所述任务算子的算子类型和配置参数，确定具有相互依赖关系的任务算子和不具有相互依赖关系的任务算子；基于所述具有相互依赖关系的任务算子之间的依赖关系，确定所述具有相互依赖关系的任务算子的执行顺序；将所述具有相互依赖关系的任务算子按照相应的执行顺序进行连接，并将所述不具有相互依赖关系的任务算子的输出结果通过所述连接算子进行组合，得到所述预设计算图；所述连接算子的配置参数包括统计所述不具有相互依赖关系的任务算子的统计参数，所述至少两个并发任务算子属于所述不具有相互依赖关系的任务算子，所述上游任务算子为所述预设计算图中，执行顺序位于所述多个并发任务算子之前的任务算子。3.根据权利要求2所述的方法，其特征在于，所述上游任务算子包括预处理任务算子，则所述基于所述上游任务算子，对所述待处理数据进行处理，得到上游数据处理结果，包括：获取所述预处理任务算子的算子类型和配置参数；基于所述预处理算子的算子类型和配置参数，将所述待处理数据处理成预设格式数据；将所述预设格式数据作为所述上游数据处理结果；相应地，在所述基于所述上游任务算子，对所述待处理数据进行处理，得到上游数据处理结果之后，所述方法还包括：获取所述上游任务算子对应的字段偏移参数；从所述上游任务算子对应的字段偏移参数中，获取所述上游数据处理结果对应的第一字段偏移位置信息；确定所述上游数据处理结果所需的第一存储空间；基于所述第一字段偏移位置信息和所述第一存储空间，将所述上游数据处理结果存储在预设存储结构中。
4.根据权利要求2所述的方法，其特征在于，在所述基于所述至少两个并发任务算子，对所述上游数据处理结果进行并发处理，得到各个并发任务算子各自对应的并发数据处理结果之前，所述方法还包括：将所述上游数据处理结果同时传输至所述至少两个并发任务算子；相应地，所述基于所述至少两个并发任务算子，对所述上游数据处理结果进行并发处理，得到各个并发任务算子各自对应的并发数据处理结果，包括：获取各个并发任务算子各自对应的算子类型和配置参数；基于各个并发任务算子各自对应的算子类型和配置参数，对所述上游...
【专利技术属性】
技术研发人员：曾波，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。