数据处理系统和数据处理方法技术方案

本申请实施例提供了一种数据处理系统和数据处理方法，该数据处理系统包括数据采集服务和数据处理服务，数据采集服务与至少一个边缘设备连接。其中，边缘设备用于采集监控环境中的数据，得到多条原始数据；数据采集服务用于从边缘设备中获取多条原始数据，并将多条原始数据发送给数据处理服务；数据处理服务用于处理数据采集服务发送的多条原始数据。由此可见，本申请的数据处理系统在数据采集服务和数据处理服务之间，去除了传统的消息服务队列，节省了部署消息队列服务所需的运行资源和服务器资源。而且，数据采集服务和数据处理服务之间采用点对点的模式进行通信，降低了消息传输时延，提高了系统响应的实时性。提高了系统响应的实时性。提高了系统响应的实时性。

【技术实现步骤摘要】
数据处理系统和数据处理方法


[0001]本申请涉及大数据
，尤其涉及一种数据处理系统和数据处理方法。

技术介绍

[0002]随着信息化建设的发展，大规模低延迟物联网数据的采集、存储、计算和管理成为信息数字化的核心。
[0003]相关技术中，在大规模低延迟物联网数据采集场景中，通常采用具备分组订阅能力的消息队列（Message queue，MQ）服务在数据采集服务和数据处理服务之间进行数据中转，以实现数据处理过程中数据处理服务中各处理服务处理数据量的负载均衡。
[0004]由于所有待处理数据均需要通过消息队列服务进行转发，因此，需要为消息队列服务部署对应的运行资源。然而，为了保证数据采集服务、消息队列服务和数据处理服务之间相互独立，需要为消息队列服务规划独立的服务器资源，导致系统整体运行资源消耗过大。

技术实现思路

[0005]本申请提供了一种数据处理系统和数据处理方法，在数据管理系统中去除了消息队列服务，使得数据采集服务和数据处理服务可以进行点对点通信。技术方案如下：第一方面，本申请提供了一种数据处理系统，该数据处理系统包括：数据采集服务和数据处理服务，数据采集服务与至少一个边缘设备连接；边缘设备，用于采集监控环境中的数据，得到多条原始数据；数据采集服务，用于从边缘设备中获取多条原始数据，并将多条原始数据发送给数据处理服务；数据处理服务，用于处理数据采集服务发送的多条原始数据。
[0006]在一种可能的实现方式中，数据采集服务部署在至少一个第一虚拟节点上，数据采集服务包括转发路由器和多个采集参与者；且每个第一虚拟节点上部署至少一个采集参与者；各采集参与者，用于获取边缘设备采集的多条原始数据，并将多条原始数据发送给转发路由器；转发路由器，用于将多条原始数据发送给数据处理服务。
[0007]在一种可能的实现方式中，数据处理服务部署在至少一个第二虚拟节点上，数据采集服务包括多个处理参与者；且每个第二虚拟节点上部署至少一个处理参与者；各处理参与者，用于按照预设的数据处理逻辑，对应处理转发路由器发送的原始数据。
[0008]在一种可能的实现方式中，数据采集服务通过预设的同步协议，在各第一虚拟节点之间同步节点信息；数据处理服务通过同步协议，在各第二虚拟节点之间同步节点信息；其中，节点信息包括存活节点的节点标识，以及各存活节点的节点状态。
[0009]在一种可能的实现方式中，转发路由器还用于根据目标转发策略，将多条原始数据分发给至少一个处理参与者；其中，目标转发策略包括轮询策略、随机策略、负载均衡策略中的任一种。
[0010]在一种可能的实现方式中，转发路由器通过以下至少一种方式确定目标转发策略：根据各第二虚拟节点的节点运行资源，和/或，各处理参与者的数据处理资源，确定目标转发策略；根据各原始数据分别对应的数据包信息，确定数据处理服务中的数据处理量波动信息；并根据数据处理量波动信息，确定目标转发策略。
[0011]在一种可能的实现方式中，若各第二虚拟节点的节点运行资源处于预设的节点资源波动范围内，则转发路由器确定目标转发策略为轮询策略或随机策略；若各处理参与者的数据处理资源处于预设的处理资源波动范围内，则转发路由器确定目标转发策略为轮询策略或随机策略；若各第二虚拟节点的节点运行资源未处于节点资源波动范围内，和/或，若各处理参与者的数据处理资源未处于处理资源波动范围内，则转发路由器确定目标转发策略为负载均衡策略。
[0012]在一种可能的实现方式中，若数据处理服务中的数据处理量波动信息处于预设的数据处理量范围内，则转发路由器确定目标转发策略为轮询策略或随机策略；若数据处理服务中的数据处理量波动信息未处于数据处理量范围内，则转发路由器确定目标转发策略为负载均衡策略。
[0013]在一种可能的实现方式中，数据采集服务基于数据采集需求，调整第一虚拟节点的数量，以新增或减少数据处理系统中采集参与者的数目。
[0014]在一种可能的实现方式中，数据处理服务基于数据处理需求，调整第二虚拟节点的数量，以新增或减少数据处理系统中处理参与者的数目。
[0015]第二方面，本申请提供了一种数据处理方法，该方法应用于数据处理系统，数据处理系统包括数据采集服务和数据处理服务，数据采集服务与至少一个边缘设备连接；该方法包括：数据采集服务从边缘设备中获取多条原始数据；边缘设备用于采集监控环境中的数据，得到多条原始数据；数据采集服务将多条原始数据发送给数据处理服务；数据处理服务处理数据采集服务发送的多条原始数据。
[0016]第三方面，本申请提供了一种电子设备，该电子设备包括存储器和处理器，存储器存储有计算机程序，处理器执行该计算机程序时实现上述第二方面中的数据处理方法的步骤。
[0017]第四方面，本申请提供了一种计算机存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述第二方面中的数据处理方法的步骤。
[0018]第五方面，本申请提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现上述第二方面中的数据处理方法的步骤。
[0019]本申请提供的技术方案至少可以达到以下有益效果：数据处理系统包括数据采集服务和数据处理服务，数据采集服务与至少一个边缘
设备连接。其中，边缘设备用于采集监控环境中的数据，得到多条原始数据；数据采集服务用于从边缘设备中获取多条原始数据，并将多条原始数据发送给数据处理服务；数据处理服务用于处理数据采集服务发送的多条原始数据。由此可见，本申请的数据处理系统在数据采集服务和数据处理服务之间，去除了传统的消息服务队列，节省了部署消息队列服务所需的运行资源和服务器资源。而且，数据采集服务和数据处理服务之间采用点对点的模式进行通信，降低了消息传输时延，提高了系统响应的实时性。
附图说明
[0020]图1是本申请一示例性实施例示出的一种传统数据处理系统的架构图；图2是本申请一示例性实施例示出的一种数据处理系统的系统架构图；图3是本申请一示例性实施例示出的一种Actor通信模式示意图；图4是本申请一示例性实施例示出的另一种数据处理系统的系统架构图；图5是本申请一示例性实施例示出的一种Actor路由调度机制示意图；图6是本申请一示例性实施例示出的一种数据处理方法的流程示意图；图7是本申请一示例性实施例示出的一种电子设备的结构示意图。
具体实施方式
[0021]为使本申请的目的、技术方案及优点更加清楚明白，下面将结合附图及实施例，对本申请的技术方案做进一步详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
[0022]目前大规模低延迟物联网数据采集场景，主要采用消息队列服务在数据采集服务和数据处理服务之间进行数据中转，以实现数据处理过程中的负载均衡。
[0023]具体地，参见图1所示的系统架构图，在该数据处理系统100中，数据采集服务120从边缘设备110中获取原始数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理系统，其特征在于，包括：数据采集服务和数据处理服务，所述数据采集服务与至少一个边缘设备连接；所述边缘设备，用于采集监控环境中的数据，得到多条原始数据；所述数据采集服务包括转发路由器和多个采集参与者；各所述采集参与者用于获取所述边缘设备采集的所述多条原始数据，并将所述多条原始数据发送给所述转发路由器；所述转发路由器，用于将所述多条原始数据发送给所述数据处理服务；所述数据处理服务包括多个处理参与者，各所述处理参与者用于按照预设的数据处理逻辑，对应处理所述转发路由器发送的原始数据。2.根据权利要求1所述的系统，其特征在于，所述数据采集服务部署在至少一个第一虚拟节点上，且每个所述第一虚拟节点上部署至少一个所述采集参与者；所述数据处理服务部署在至少一个第二虚拟节点上，且每个所述第二虚拟节点上部署至少一个所述处理参与者。3.根据权利要求2所述的系统，其特征在于，所述数据采集服务通过预设的同步协议，在各所述第一虚拟节点之间同步节点信息；所述数据处理服务通过所述同步协议，在各所述第二虚拟节点之间同步节点信息；其中，所述节点信息包括存活节点的节点标识，以及各所述存活节点的节点状态。4.根据权利要求2所述的系统，其特征在于，所述转发路由器用于根据目标转发策略，将所述多条原始数据分发给至少一个所述处理参与者；其中，所述目标转发策略包括轮询策略、随机策略、负载均衡策略中的任一种。5.根据权利要求4所述的系统，其特征在于，所述转发路由器通过以下至少一种方式确定所述目标转发策略：根据各所述第二虚拟节点的节点运行资源，和/或，各所述处理参与者的数据处理资源，确定所述目标转发策略；根据各所述原始数据分别对应的数据包信息，确定所述数据处理服务中的数据处理量波动信息；并根据所述数据处理量波动信...

【专利技术属性】
技术研发人员：李志勇，薛灿，王玮玮，李福存，王苏扬，马宁，
申请(专利权)人：江苏金恒信息科技股份有限公司，
类型：发明
国别省市：