一种基于功能定义的数据处理方法及系统技术方案

本发明专利技术公开了一种基于功能定义的数据处理方法及系统，方法包括：获取功能定义指令，功能定义指令包括：算法版本信息、算法输入参数、算法输出参数以及环境变量；通过算法模板的方式，对算法基本信息、算法输入参数、算法输出参数及环境变量进行统一格式的定义；基于功能定义指令，确定算法版本信息对应的算法包，并以容器化或独立进程或服务的方式运行算法包；基于算法包从消息队列或网络通道或者外部输入源获取数据，并对数据进行分析，将分析后的数据输入至新的消息队列或网络通道中。本发明专利技术可实现运行时环境的隔离，通过算法模板的封装定义，实现各个厂家不同算法输入输出参数及环境参数等格式统一，并且多设备多种算法可以协同交互。交互。交互。

【技术实现步骤摘要】
一种基于功能定义的数据处理方法及系统


[0001]本专利技术涉及数据处理
，尤其涉及一种基于功能定义的数据处理方法及系统。

技术介绍

[0002]物联网发展的最终核心是云端技术的比拼，随着物联网终端设备数量的快速增加，同时由于网络带宽有限，高昂的传输成本和较高的响应延时等问题，传统的基于云计算模型的集中式数据处理方式已不能有效处理网络边缘设备所产生的海量数据。
[0003]现有技术中已经有将软件下发给终端设备用于分析的方法。比如，平台将软件包通过网络下发给终端设备，对特定的终端设备的特定软件做更新和升级，缺点是受限于设备型号及运行环境，功能定义依赖于设备芯片定制+算法定制。不同设备只能运行自家平台或厂商定制的算法，造成各厂商设备之间相互独立，算法无法跨不同厂商设备使用，没有数据协同机制，无法实现计算资源的高效利用，业务实现成本高，周期长；设备功能模块都是预置好的，不支持自定义。
[0004]因此，现有技术还有待改进和提高。

技术实现思路

[0005]本专利技术要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于功能定义的数据处理方法及系统，旨在提供解决现有技术中的不同设备只能运行自家平台或厂商定制的算法，造成各厂商设备之间相互独立，算法无法跨不同厂商设备使用，没有数据协同机制，无法实现计算资源的高效利用，业务实现成本高，周期长；设备功能模块都是预置好的，不支持自定义的问题。
[0006]第一方面，本专利技术提供一种基于功能定义的数据处理方法，其中，所述方法包括：获取功能定义指令，所述功能定义指令包括：算法版本信息、算法基本信息、算法输入参数、算法输出参数以及环境变量；通过算法模板的方式，对算法基本信息、算法输入参数、算法输出参数及环境变量进行统一格式的定义，所述算法基本信息包括：算法作者、创建时间、算法描述、模型框架、模型存储格式、硬件类型、资源需求；基于所述功能定义指令，确定所述算法版本信息对应的算法包，并以容器化或独立进程或服务的方式运行分析所述算法包；基于所述算法包从消息队列或指定网络通道或者外部输入源获取数据，并对所述数据进行分析，将分析后的数据输入至新的消息队列或网络通道中，并将分析后的数据汇入结果分发服务。
[0007]在一种实现方式中，所述基于所述功能定义指令，确定所述算法版本信息对应的算法包包括：对所述功能定义指令进行解析，确定所述功能定义指令中的所述算法版本信息；
基于所述算法版本信息从算法仓拉取与所述算法版本信息所对应的算法包。
[0008]在一种实现方式中，所述获取功能定义指令之前，包括：获取下发的分析任务，基于所述分析任务选择算法流程，并开始获取下发的功能定义指令。
[0009]在一种实现方式中，所述获取下发的分析任务，包括：若所述分析任务为多个，则根据可用资源情况将所述分析任务均匀分配到各个设备集群，每个设备集群中的设备之间网络互通。
[0010]在一种实现方式中，所述功能定义指令下发时选取资源最充裕的设备为中心节点。
[0011]在一种实现方式中，每个算法通过环境变量加载自身的输入、输出队列名称，通过消息队列进行数据交互；或，输入输出的网络通道协议、IP地址或URL信息、端口信息，通过网络通道进行数据交互。
[0012]在一种实现方式中，所述方法还包括：基于所述结果分发服务将分析后的数据进行汇总，并将产生的结果流和特征流上报给云/边侧系统。
[0013]第二方面，本专利技术实施例还提供一种基于功能定义的数据处理系统，其中，所述系统包括：功能定义模块，用于获取功能定义指令，所述功能定义指令包括：算法版本信息、算法基本信息、算法输入参数、算法输出参数以及环境变量；格式统一模块，用于通过算法模板的方式，对算法基本信息、算法输入参数、算法输出参数及环境变量进行统一格式的定义，所述算法基本信息包括：算法作者、创建时间、算法描述、模型框架、模型存储格式、硬件类型、资源需求；算法模块，用于基于所述功能定义指令，确定所述算法版本信息对应的算法包，并以容器化或独立进程或服务的方式运行分析所述算法包；数据处理模块，用于基于所述算法包从消息队列或者指定网络通道或者外部输入源获取数据，并对所述数据进行分析，将分析后的数据输入至新的消息队列或网络通道，并将分析后的数据汇入结果分发服务。
[0014]第三方面，本专利技术实施例还提供一种设备，其中，所述设备包括存储器、处理器及存储在存储器中并可在处理器上运行基于功能定义的数据处理程序，处理器执行基于功能定义的数据处理程序时，实现上述方案中任一项所述的基于功能定义的数据处理方法的步骤。
[0015]第四方面，本专利技术实施例还提供一种计算机可读存储介质，其中，计算机可读存储介质上存储有基于功能定义的数据处理程序，所述者基于功能定义的数据处理程序被处理器执行时，实现上述方案中任一项所述的基于功能定义的数据处理方法的步骤。
[0016]有益效果：与现有技术相比，本专利技术提供了一种基于功能定义的数据处理方法，本专利技术首先获取功能定义指令，所述功能定义指令包括：算法版本信息、算法基本信息、算法输入参数、算法输出参数以及环境变量；通过算法模板的方式，对算法基本信息、算法输入参数、算法输出参数及环境变量进行统一格式的定义；基于所述功能定义指令，确定所述算法版本信息对应的算法包，并以容器化或独立进程、服务的方式运行分析所述算法包；基于
所述算法包从消息队列或指定网络通道或者外部输入源获取数据，并对所述数据进行分析，将分析后的数据输入至新的消息队列或网络通道中，并将分析后的数据汇入结果分发服务。本专利技术通过对将算法模型容器化或独立进程或服务方式运行于设备，实现运行时环境的隔离，通过算法模板的封装定义，实现各个厂家不同算法输入输出参数及环境参数等格式的统一，并且多设备多种算法可以协同交互。
附图说明
[0017]图1为本专利技术实施例提供的基于功能定义的数据处理方法的具体实施方式的流程图。
[0018]图2为本专利技术实施例提供的基于功能定义的数据处理方法中算法模型容器的运行示意图。
[0019]图3为本专利技术实施例提供的基于功能定义的数据处理方法中的算法模板图。
[0020]图4为本专利技术实施例提供的基于功能定义的数据处理方法中的算法描述文件图。
[0021]图5为本专利技术实施例提供的基于功能定义的数据处理方法中的主处理函数结构图。
[0022]图6为本专利技术实施例提供的基于功能定义的数据处理方法中的主处理函数代码示例图。
[0023]图7为本专利技术实施例提供的基于功能定义的数据处理方法应用在单设备功能定义指令下发图。
[0024]图8为本专利技术实施例提供的基于功能定义的数据处理方法应用多设备时多算法协同图。
[0025]图9为本专利技术实施例提供的基于功能定义的数据处理系统的功能原理图。
[0026]图10为本专利技术实施例提供的设备的原理框图。
具体实施方式
[0027]为使本专利技术的目的、技术方案及效果更加清楚、明确，以下本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于功能定义的数据处理方法，其特征在于，所述方法包括：获取功能定义指令，所述功能定义指令包括：算法版本信息、算法基本信息、算法输入参数、算法输出参数以及环境变量；通过算法模板的方式，对算法基本信息、算法输入参数、算法输出参数及环境变量进行统一格式的定义，所述算法基本信息包括：算法作者、创建时间、算法描述、模型框架、模型存储格式、硬件类型、资源需求；基于所述功能定义指令，确定所述算法版本信息对应的算法包，并以容器化或独立进程或服务的方式运行所述算法包；基于所述算法包从消息队列或网络通道或者外部输入源获取数据，并对所述数据进行分析，将分析后的数据输入至新的消息队列或网络通道中，并将分析后的数据汇入结果分发服务。2.根据权利要求1所述的基于功能定义的数据处理方法，其特征在于，所述基于所述功能定义指令，确定所述算法版本信息对应的算法包包括：对所述功能定义指令进行解析，确定所述功能定义指令中的所述算法版本信息；基于所述算法版本信息从算法仓拉取与所述算法版本信息所对应的算法包。3.根据权利要求1所述的基于功能定义的数据处理方法，其特征在于，所述获取功能定义指令之前，包括：获取下发的分析任务，基于所述分析任务选择算法流程，并开始获取下发的功能定义指令。4.根据权利要求3所述的基于功能定义的数据处理方法，其特征在于，所述获取下发的分析任务，包括：若所述分析任务为多个，则根据可用资源情况将所述分析任务均匀分配到各个设备集群，每个设备集群中的设备之间网络互通。5.根据权利要求4所述的基于功能定义的数据处理方法，其特征在于，所述功能定义指令下发时选取资源最充裕的设备为中心节点。6.根据权利要求4所述的基于功能定义的数据处理方法，其特征在于，每个设备集群中的设备独立运行不同算法，每个算法通过环境变量加载自身的输...

【专利技术属性】
技术研发人员：王耀威，周运红，陈鹏，袁锦宇，高文，
申请(专利权)人：鹏城实验室，
类型：发明
国别省市：