基于边缘计算的数据处理方法及系统技术方案

本发明专利技术提供了一种基于边缘计算的数据处理方法，该方法包括：当出现新的数据处理需求时，中心节点向数据处理需求关联的至少一个分布式设备发送数据处理请求；分布式设备获取数据处理请求所需的数据资源，并将数据资源加载至预设的数据计算框架；分布式设备调用数据计算框架中预先集成的数据计算插件，对加载的数据资源进行数据计算；分布式设备从数据计算框架中导出数据计算结果，并将数据计算结果反馈至需求发起方。本发明专利技术提供的数据处理方法使得数据处理无中心化，大大降低了中心节点的负载和压力；也提高了分布式设备的性能利用率；且数据处理过程中，减少了数据处理过程中的数据传输量，提高了数据处理效率。

【技术实现步骤摘要】
基于边缘计算的数据处理方法及系统
本专利技术涉及计算机数据处理
，特别涉及一种基于边缘计算的数据处理方法及系统。
技术介绍
云计算技术是一种将硬件、软件、网络等资源统一起来，通过网络提供给用户，以实现数据的计算、储存、共享等处理的技术。目前在利用云计算技术实现数据处理时，可以将数据资源集中上传至中心节点，然后统一通过中心节点实现具体的数据处理。具体来说，用户可以将需要应用于云计算的数据资源，通过物联网技术上传至中心节点。当需要执行云计算处理时，用户可以向中心节点发送相应的数据处理请求。中心节点接收到数据处理请求后，可以先获取已存储的数据处理请求关联的数据资源，然后对这些数据资源进行集中的分析、计算等处理。继而，中心节点可以将得到的计算结果反馈给用户，即对数据处理请求进行响应，完成云计算处理。在实现本专利技术的过程中，专利技术人发现现有技术至少存在以下问题：随着云计算技术的发展，应用于云计算的数据资源的数据量飞速增长，如果仍然在中心节点进行集中的数据计算，会导致中心节点的负载过高、压力过大。再者，在中心节点进行数据计算，需要将所有数据资源传输至中心节点，由中心节点逐一进行处理，这样不仅消耗了大量的带宽资源，而且数据计算结果的反馈耗时较长。另外，中心节点中的数据计算逻辑需要更新时，技术人员往往需要对数据计算逻辑的代码进行修改或更换后，再对整体处理流程的代码进行打包，数据计算逻辑的升级比较繁琐复杂。
技术实现思路
为了解决现有技术的问题，本专利技术实施例提供了一种基于边缘计算的数据处理方法及系统。所述技术方案如下：第一方面，提供了一种基于边缘计算的数据处理方法，应用于内容分发网络，该方法包括：当出现新的数据处理需求时，中心节点向所述数据处理需求关联的至少一个分布式设备发送数据处理请求；所述分布式设备获取所述数据处理请求所需的数据资源，并将所述数据资源加载至预设的数据计算框架；所述分布式设备调用所述数据计算框架中预先集成的数据计算插件，对加载的数据资源进行数据计算；所述分布式设备从所述数据计算框架中导出数据计算结果，并将所述数据计算结果反馈至需求发起方。进一步地，若所述数据处理需求关联的至少一个分布式设备为边缘节点机，则该方法包括：当产生新的数据处理需求时，中心节点向所述数据处理需求关联的至少一个边缘节点机发送数据处理请求；所述边缘节点机获取本地存储的所述数据处理请求所需的数据资源，并将所述数据资源加载至预设的数据计算框架；所述边缘节点机调用所述数据计算框架中预先集成的数据计算插件，对加载的数据资源进行数据计算；所述边缘节点机从所述数据计算框架中导出数据计算结果，并将所述数据计算结果反馈至所述需求发起方。进一步地，若所述数据处理需求关联的至少一个分布式设备为节点服务器，则该方法包括：当产生新的数据处理需求时，中心节点向所述数据处理需求关联的至少一个节点服务器发送数据处理请求；所述节点服务器从至少一个边缘节点机获取所述数据处理请求所需的数据资源，将所述数据资源加载至预设的数据计算框架；所述节点服务器调用所述数据计算框架中预先集成的数据计算插件，对加载的数据资源进行数据计算；所述节点服务器从所述数据计算框架中导出数据计算结果，并将所述数据计算结果反馈至所述需求发起方。进一步地，所述节点服务器从所述数据处理需求关联的至少一个边缘节点机获取所述数据处理请求所需的数据资源的步骤，具体包括：所述节点服务器向所述数据处理需求关联的至少一个边缘节点机发送所述数据处理请求所需的数据资源的获取请求；所述边缘节点机接收所述数据资源的获取请求后，通过本地的数据传输工具将所述数据资源上报至所述节点服务器。进一步地，所述节点服务器获取所述数据处理请求所需的数据资源后，将所述数据资源加载至预设的数据计算框架的步骤之前，还包括：所述节点服务器将获取的所述数据资源缓存至本地的消息队列中。进一步地，所述分布式设备获取所述数据处理请求所需的数据资源，将所述数据资源加载至预设的数据计算框架的步骤，具体包括：所述分布式设备获取所述数据处理请求所需的数据资源；所述分布式设备根据所述数据资源的数据类型，确定预设的数据计算框架中的目标加载组件；所述分布式设备通过所述目标加载组件将所述数据资源加载至所述数据计算框架的数据缓存组件。进一步地，所述分布式设备调用所述数据计算框架中预先集成的数据计算插件，对加载的数据资源进行数据计算的步骤，具体包括：所述分布式设备根据加载的所述数据资源的数据类型，确定所述数据计算框架中预先集成的目标数据计算插件；所述分布式设备调用所述目标数据计算插件，对加载的数据资源进行数据计算。进一步地，所述分布式设备从所述数据计算框架中导出数据计算结果，并将所述数据计算结果反馈至所述需求发起方的步骤，具体包括：所述分布式设备从所述数据计算框架获取所述数据计算结果；所述分布式设备将所述数据计算结果缓存至本地的消息队列中；所述分布式设备通过本地的数据采集框架将所述数据计算结果从所述消息队列反馈至需求发起方。进一步地，所述分布式设备调用所述数据计算框架中预先集成的数据计算插件，对加载的数据资源进行数据计算的步骤之前，还包括：所述分布式设备通过所述数据计算框架中的防火墙组件，对所述数据资源进行过滤，以筛除分布式拒绝服务攻击数据。进一步地，所述方法还包括：所述分布式设备将待集成的计算功能代码和所述计算功能代码对应的预备脚本通过SCM进程添加至所述数据计算框架；所述分布式设备执行所述预备脚本，调用所述数据计算框架中的代码封装组件将所述计算功能代码封装成新数据计算插件；所述分布式设备将所述新数据计算插件集成到所述数据计算框架。第二方面提供一种基于边缘计算的数据处理系统，该系统包括中心节点和分布式设备，其中：所述中心节点，用于当出现新的数据处理需求时，向所述数据处理需求关联的至少一个分布式设备发送数据处理请求；所述分布式设备，用于获取所述数据处理请求所需的数据资源，并将所述数据资源加载至预设的数据计算框架；还用于调用所述数据计算框架中预先集成的数据计算插件，对加载的数据资源进行数据计算；还用于从所述数据计算框架中导出数据计算结果，并将所述数据计算结果反馈至需求发起方。本专利技术提供的数据处理方法，由于采用预设有数据计算框架的分布式设备，且数据计算框架上集成有数据计算插件，所以可以在分布式设备上进行数据处理，使得数据处理无中心化，大大降低了中心节点的负载和压力；也提高了分布式设备的性能利用率；且数据处理过程中，数据资源无需上传至中心节点，数据计算结果只是在分布式设备与需求发起方之间进行传输，节省了数据处理过程中的数据传输量，提高了数据处理效率；且采用集成在数据计算框架中的可插拔式的数据计算插件来实现数据计算功能，数据计算插件上线和升级周期短，可以在短时间内满足客户需求。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术某实施例提供的基于边缘计算的数据处理方法流程示意图；图2为本专利技术某实施例提供的集成数据计算插件的方法流程示意图；图3为本专利技术某实施例提供的基于边缘本文档来自技高网...

【技术保护点】
1.一种基于边缘计算的数据处理方法，其特征在于，该方法包括：当出现新的数据处理需求时，中心节点向所述数据处理需求关联的至少一个分布式设备发送数据处理请求；所述分布式设备获取所述数据处理请求所需的数据资源，并将所述数据资源加载至预设的数据计算框架；所述分布式设备调用所述数据计算框架中预先集成的数据计算插件，对加载的数据资源进行数据计算；所述分布式设备从所述数据计算框架中导出数据计算结果，并将所述数据计算结果反馈至需求发起方。

【技术特征摘要】
1.一种基于边缘计算的数据处理方法，其特征在于，该方法包括：当出现新的数据处理需求时，中心节点向所述数据处理需求关联的至少一个分布式设备发送数据处理请求；所述分布式设备获取所述数据处理请求所需的数据资源，并将所述数据资源加载至预设的数据计算框架；所述分布式设备调用所述数据计算框架中预先集成的数据计算插件，对加载的数据资源进行数据计算；所述分布式设备从所述数据计算框架中导出数据计算结果，并将所述数据计算结果反馈至需求发起方。2.如权利要求1所述的方法，其特征在于，若所述数据处理需求关联的至少一个分布式设备为边缘节点机，则该方法包括：当产生新的数据处理需求时，中心节点向所述数据处理需求关联的至少一个边缘节点机发送数据处理请求；所述边缘节点机获取本地存储的所述数据处理请求所需的数据资源，并将所述数据资源加载至预设的数据计算框架；所述边缘节点机调用所述数据计算框架中预先集成的数据计算插件，对加载的数据资源进行数据计算；所述边缘节点机从所述数据计算框架中导出数据计算结果，并将所述数据计算结果反馈至所述需求发起方。3.如权利要求1所述的方法，其特征在于，若所述数据处理需求关联的至少一个分布式设备为节点服务器，则该方法包括：当产生新的数据处理需求时，中心节点向所述数据处理需求关联的至少一个节点服务器发送数据处理请求；所述节点服务器从至少一个边缘节点机获取所述数据处理请求所需的数据资源，将所述数据资源加载至预设的数据计算框架；所述节点服务器调用所述数据计算框架中预先集成的数据计算插件，对加载的数据资源进行数据计算；所述节点服务器从所述数据计算框架中导出数据计算结果，并将所述数据计算结果反馈至所述需求发起方。4.如权利要求3所述的方法，其特征在于，所述节点服务器从所述数据处理需求关联的至少一个边缘节点机获取所述数据处理请求所需的数据资源的步骤，具体包括：所述节点服务器向所述数据处理需求关联的至少一个边缘节点机发送所述数据处理请求所需的数据资源的获取请求；所述边缘节点机接收所述数据资源的获取请求后，通过本地的数据传输工具将所述数据资源上报至所述节点服务器。5.如权利要求3所述的方法，其特征在于，所述节点服务器获取所述数据处理请求所需的数据资源后，将所述数据资源加载至预设的数据计算框架的步骤之前，还包括：所述节点服务器将获取的所述数据资源缓存至本地的消息队列中。6.如权利要求1所述的方法，其特征在于，所...

【专利技术属性】
技术研发人员：陈潜森，
申请(专利权)人：网宿科技股份有限公司，
类型：发明
国别省市：上海,31