基于元数据驱动的数据处理方法、装置及系统制造方法及图纸

本申请提供一种基于元数据驱动的数据处理方法、装置及系统，其中方法应用于基于元数据驱动的数据处理系统中调用服务器，所述方法包括：从消息引擎的消息队列中提取任务消息；确定执行所述任务消息所需使用的运行数据标识集，并确定存储所述运行数据标识集对应运行数据的一个或多个节点标识；在所述一个或多个节点标识对应的节点或附近节点的运行容器中执行任务消息。本申请中节点上的运行容器不再是固定不变的，而是可以依据存储任务消息所需的运行数据的节点，在该节点的运行容器或与该节点的附近节点的运行容器中来执行任务消息。本申请由于两个节点之间的距离减少，所以传输时间也会相对减少，因此可以提高FaaS装置的处理速度。

【技术实现步骤摘要】
基于元数据驱动的数据处理方法、装置及系统
本申请涉及通信
，尤其涉及基于元数据驱动的数据处理方法、装置及系统。
技术介绍
FaaS装置(函数即服务，Function-as-a-Service，FaaS)包括多个节点，节点既可以作为计算节点又可以作为存储节点。FaaS装置的节点可以加载运行容器，以用于运行任务并获得结果。但是，FaaS装置中节点的运行容器是固定的，运行容器中运行任务所需的运行数据通常位于其它节点，所以运行容器接收任务后，需要从其它节点调取任务所需的运行数据。节点之间交互运行数据会浪费较多时间，所以导致FaaS装置的处理速度较慢。
技术实现思路
鉴于此，本申请提供基于元数据驱动的数据处理方法、装置及系统，可以提高FaaS装置的处理速度。为了实现上述目的，本申请提供下述技术特征：一种基于元数据驱动的数据处理方法，应用于基于元数据驱动的数据处理系统中调用服务器，所述方法包括：从消息引擎的消息队列中提取任务消息；确定执行所述任务消息所需使用的运行数据标识集，并确定存储所述运行数据标识集对应运行数据的一个或多个节点标识；在所述一个或多个节点标识对应的节点或附近节点的运行容器中执行任务消息。可选的，所述在所述一个或多个节点标识对应的节点或附近节点的运行容器中执行任务消息，包括：在确定存储所述运行数据标识集对应运行数据的一个节点标识情况下，判断该节点标识对应节点是否有足够资源运行所述任务消息；若该节点标识对应节点有足够资源运行所述任务消息，则在该节点标识对应节点的运行容器中执行所述任务消息；若该节点标识对应节点不具有足够资源运行所述任务消息，则在与该节点标识对应节点的附近节点的运行容器中执行所述任务消息。可选的，所述在与该节点标识对应节点的附近节点的运行容器中执行所述任务消息包括：确定与该节点标识对应节点的最接近节点；发送任务消息至所述最接近节点，由所述最接近节点从该节点标识对应节点中获取运行数据并于所述最接近节点的运行容器中执行所述任务消息；接收所述最接近节点反馈的最终结果，并发送最终结果至持久化服务器。可选的，所述在所述一个或多个节点标识对应的节点或附近节点的运行容器中执行任务消息，包括：在确定存储所述运行数据标识集对应运行数据的N个节点标识的情况下，划分所述运行数据标识集为N个节点标识一一对应的N个运行数据标识子集；划分所述任务消息为与N个运行数据标识子集一一对应的N个子任务消息，获得N个节点标识一一对应的N个子任务消息；对于一个节点标识对应的一个子任务消息而言：判断该节点标识对应节点是否有足够资源运行所述子任务消息；若该节点标识对应节点有足够资源运行所述子任务消息，则在该节点标识对应节点的运行容器中执行所述子任务消息；若该节点标识对应节点不具有足够资源运行所述子任务消息，则在与该节点标识对应节点的附近节点的运行容器中执行所述子任务消息；汇集N个节点标识对应节点反馈的子任务消息对应的N个子结果；分析并计算个N个子结果获得所述任务消息对应的最终结果，并发送最终结果至持久化服务器。可选的，所述在与该节点标识对应节点的附近节点的运行容器中执行所述子任务消息包括：确定与该节点标识对应节点的最接近节点；发送子任务消息至所述最接近节点，由所述最接近节点从该节点标识对应节点中获取运行数据并于所述最接近节点的运行容器中执行所述任务消息。可选的，所述任务消息包括任务类型；在所述任务消息的任务类型为订阅类型的情况下，所述确定存储所述运行数据标识集对应运行数据的一个或多个节点标识包括：确定存储所述运行数据标识集对应运行数据的一个节点标识；在所述任务消息的任务类型为业务服务函数类型的情况下，所述确定所述任务消息所需使用的运行数据对应的一个或多个节点标识包括：确定存储所述运行数据标识集对应运行数据的一个或多个节点标识。可选的，在所述任务消息的任务类型为订阅类型的情况下，若出现异常中断，则保存中间结果至持久化服务器中，以供下次启动后从持久化服务器中获取中间结果以按照中间结果继续执行。一种基于元数据驱动的数据处理方法，应用于基于元数据驱动的数据处理系统中节点，所述方法包括：接收调用服务器发送的任务消息；其中，所述任务消息包括脚本标识、运行数据标识集和运行数据标识集所归属的节点标识；判断节点是否包含运行所述运行数据标识集对应的运行数据；若否则从所述节点标识对应的节点中获取与所述运行数据标识集对应的运行数据；若是则判断节点是否包含与所述脚本标识对应的运行容器；若是则于该运行容器中创建与任务消息对应的任务，以用于执行所述任务消息并获得结果；若否则于该节点构建与脚本标识对应的运行容器，并于该运行容器中创建与任务消息对应的任务，以用于执行所述任务消息并获得结果。一种基于元数据驱动的数据处理装置，应用于基于元数据驱动的数据处理系统中调用服务器，所述装置包括：提取单元，用于从消息引擎的消息队列中提取任务消息；确定单元，用于确定执行所述任务消息所需使用的运行数据标识集，并确定存储所述运行数据标识集对应运行数据的一个或多个节点标识；执行单元，用于在所述一个或多个节点标识对应的节点或附近节点的运行容器中执行任务消息。一种基于元数据驱动的数据处理系统，包括：调用服务器；与所述调用服务器相连的控制层服务器、元数据服务器和多个节点，控制层服务器和所述元数据服务器相连；其中，所述控制层服务器，用于接收执行请求，对所述执行请求进行鉴权操作并在鉴权通过后转换所述执行请求为任务消息并存储所述执行请求至消息引擎的消息队列；所述调用服务器，用于从消息引擎的消息队列中提取任务消息；确定执行所述任务消息所需使用的运行数据标识集，并确定存储所述运行数据标识集对应运行数据的一个或多个节点标识；在所述一个或多个节点标识对应的节点或附近节点的运行容器中执行任务消息。通过以上技术手段，可以实现以下有益效果：本申请中节点上的运行容器不再是固定不变的，而是可以依据存储任务消息所需的运行数据的节点，在该节点的运行容器或与该节点的附近节点的运行容器中来执行任务消息。由于运行容器于存储运行数据的节点上实现，此情况下可以直接避免节点之间的数据传输过程。运行容器还可以在存储运行数据附近节点上实现，相对于原来毫无规律两个节点之间交互数据而言，本申请由于两个节点之间的距离减少，所以传输时间也会相对减少。即，本申请通过改变运行容器的位置，来实现运行容器与运行数据的靠近，从而避免传输运行数据或者减少交互运行数据的时间，以此来提高FaaS装置的处理速度。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例公开的一种基于元数据驱动的数据处理系统的结构示意图；图2为本申请实施例公开的一种基于元数据驱动的数据处理方法的流程图；图3为本申请实施例公开的又一种基于元数据驱动的数据处理方法的流程图；图4为本申请实施例公开的一种基于元数据驱动的数据处理装置的结构示意图；图5为本申请实施例公开的又一种基于元数据驱动的数据处理装置的结构示意图。具体实施方式本申请可以存储元数据本文档来自技高网...

【技术保护点】
1.一种基于元数据驱动的数据处理方法，其特征在于，应用于基于元数据驱动的数据处理系统中调用服务器，所述方法包括：从消息引擎的消息队列中提取任务消息；确定执行所述任务消息所需使用的运行数据标识集，并确定存储所述运行数据标识集对应运行数据的一个或多个节点标识；在所述一个或多个节点标识对应的节点或附近节点的运行容器中执行任务消息。

【技术特征摘要】
1.一种基于元数据驱动的数据处理方法，其特征在于，应用于基于元数据驱动的数据处理系统中调用服务器，所述方法包括：从消息引擎的消息队列中提取任务消息；确定执行所述任务消息所需使用的运行数据标识集，并确定存储所述运行数据标识集对应运行数据的一个或多个节点标识；在所述一个或多个节点标识对应的节点或附近节点的运行容器中执行任务消息。2.如权利要求1所述的方法，其特征在于，所述在所述一个或多个节点标识对应的节点或附近节点的运行容器中执行任务消息，包括：在确定存储所述运行数据标识集对应运行数据的一个节点标识情况下，判断该节点标识对应节点是否有足够资源运行所述任务消息；若该节点标识对应节点有足够资源运行所述任务消息，则在该节点标识对应节点的运行容器中执行所述任务消息；若该节点标识对应节点不具有足够资源运行所述任务消息，则在与该节点标识对应节点的附近节点的运行容器中执行所述任务消息。3.如权利要求1所述的方法，其特征在于，所述在与该节点标识对应节点的附近节点的运行容器中执行所述任务消息包括：确定与该节点标识对应节点的最接近节点；发送任务消息至所述最接近节点，由所述最接近节点从该节点标识对应节点中获取运行数据并于所述最接近节点的运行容器中执行所述任务消息；接收所述最接近节点反馈的最终结果，并发送最终结果至持久化服务器。4.如权利要求3所述的方法，其特征在于，所述在所述一个或多个节点标识对应的节点或附近节点的运行容器中执行任务消息，包括：在确定存储所述运行数据标识集对应运行数据的N个节点标识的情况下，划分所述运行数据标识集为N个节点标识一一对应的N个运行数据标识子集；划分所述任务消息为与N个运行数据标识子集一一对应的N个子任务消息，获得N个节点标识一一对应的N个子任务消息；对于一个节点标识对应的一个子任务消息而言：判断该节点标识对应节点是否有足够资源运行所述子任务消息；若该节点标识对应节点有足够资源运行所述子任务消息，则在该节点标识对应节点的运行容器中执行所述子任务消息；若该节点标识对应节点不具有足够资源运行所述子任务消息，则在与该节点标识对应节点的附近节点的运行容器中执行所述子任务消息；汇集N个节点标识对应节点反馈的子任务消息对应的N个子结果；分析并计算个N个子结果获得所述任务消息对应的最终结果，并发送最终结果至持久化服务器。5.如权利要求4所述的方法，其特征在于，所述在与该节点标识对应节点的附近节点的运行容器中执行所述子任务消息包括：确定与该节点标识对应节点的最接近节点；发送子任务消息至所述最接近节点，由所述最接近节点从该节点标识对应节点中获取运行...

【专利技术属性】
技术研发人员：姚炜，杨明明，陈吉平，谭彰，
申请(专利权)人：浙江蓝卓工业互联网信息技术有限公司，
类型：发明
国别省市：浙江,33