一种基于功能定义的数据处理方法及系统技术方案

本发明专利技术公开了一种基于功能定义的数据处理方法及系统，方法包括：获取功能定义指令，功能定义指令包括：算法版本信息、算法输入参数、算法输出参数以及环境变量；通过算法模板的方式，对算法基本信息、算法输入参数、算法输出参数及环境变量进行统一格式的定义；基于功能定义指令，确定算法版本信息对应的算法包，并以容器化或独立进程或服务的方式运行算法包；基于算法包从消息队列或网络通道或者外部输入源获取数据，并对数据进行分析，将分析后的数据输入至新的消息队列或网络通道中。本发明专利技术可实现运行时环境的隔离，通过算法模板的封装定义，实现各个厂家不同算法输入输出参数及环境参数等格式统一，并且多设备多种算法可以协同交互。交互。交互。

【技术实现步骤摘要】
一种基于功能定义的数据处理方法及系统


[0001]本专利技术涉及数据处理
，尤其涉及一种基于功能定义的数据处理方法及系统。

技术介绍

[0002]物联网发展的最终核心是云端技术的比拼，随着物联网终端设备数量的快速增加，同时由于网络带宽有限，高昂的传输成本和较高的响应延时等问题，传统的基于云计算模型的集中式数据处理方式已不能有效处理网络边缘设备所产生的海量数据。
[0003]现有技术中已经有将软件下发给终端设备用于分析的方法。比如，平台将软件包通过网络下发给终端设备，对特定的终端设备的特定软件做更新和升级，缺点是受限于设备型号及运行环境，功能定义依赖于设备芯片定制+算法定制。不同设备只能运行自家平台或厂商定制的算法，造成各厂商设备之间相互独立，算法无法跨不同厂商设备使用，没有数据协同机制，无法实现计算资源的高效利用，业务实现成本高，周期长；设备功能模块都是预置好的，不支持自定义。
[0004]因此，现有技术还有待改进和提高。

技术实现思路

[0005]本专利技术要解决的技术问题在于，针对现有技术的上述缺陷，提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于功能定义的数据处理方法，其特征在于，所述方法包括：获取功能定义指令，所述功能定义指令包括：算法版本信息、算法基本信息、算法输入参数、算法输出参数以及环境变量；通过算法模板的方式，对算法基本信息、算法输入参数、算法输出参数及环境变量进行统一格式的定义，所述算法基本信息包括：算法作者、创建时间、算法描述、模型框架、模型存储格式、硬件类型、资源需求；基于所述功能定义指令，确定所述算法版本信息对应的算法包，并以容器化或独立进程或服务的方式运行所述算法包；基于所述算法包从消息队列或网络通道或者外部输入源获取数据，并对所述数据进行分析，将分析后的数据输入至新的消息队列或网络通道中，并将分析后的数据汇入结果分发服务。2.根据权利要求1所述的基于功能定义的数据处理方法，其特征在于，所述基于所述功能定义指令，确定所述算法版本信息对应的算法包包括：对所述功能定义指令进行解析，确定所述功能定义指令中的所述算法版本信息；基于所述算法版本信息从算法仓拉取与所述算法版本信息所对应的算法包。3.根据权利要求1所述的基于功能定义的数据处理方法，其特征在于，所述获取功能定义指令之前，包括：获取下发的分析任务，基于所述分析任务选择算法流程，并开始获取下发的功能定义指令。4.根据权利要求3所述的基于功能定义的数据处理方法，其特征在于，所述获取下发的分析任务，包括：若所述分析任务为多个，则根据可用资源情况将所述分析任务均匀分配到各个设备集群，每个设备集群中的设备之间网络互通。5.根据权利要求4所述的基于功能定义的数据处理方法，其特征在于，所述功能定义指令下发时选取资源最充裕的设备为中心节点。6.根据权利要求4所述的基于功能定义的数据处理方法，其特征在于，每个设备集群中的设备独立运行不同算法，每个算法通过环境变量加载自身的输...

【专利技术属性】
技术研发人员：王耀威，周运红，陈鹏，袁锦宇，高文，
申请(专利权)人：鹏城实验室，
类型：发明
国别省市：