一种数据分析方法、装置、设备和介质制造方法及图纸

本发明专利技术公开了一种数据分析方法、装置、设备和介质。其中，所述方法包括：根据本地分析单元的可用分析能力，以及待处理数据所需的分析能力，确定所述待处理数据中的超载数据；为所述超载数据生成自解释数据，以通过数据分析系统中的可用分析单元根据所述自解释数据对所述超载数据进行分析。本发明专利技术实施例的技术方案，解决了分析单元处理数据负载均衡以及数据分时处理的问题。分时处理的问题。分时处理的问题。

A data analysis method, device, equipment and medium

【技术实现步骤摘要】
一种数据分析方法、装置、设备和介质


[0001]本专利技术实施例涉及数据处理
，尤其涉及一种数据分析方法、装置、设备和介质。

技术介绍

[0002]在安防行业当中，智能分析系统承载的业务不仅规模大而且业务种类繁多，其中，分析系统作为智能安防的核心系统，如何充分的利用现有的分析能力处理更多的数据成为用户的基本诉求。
[0003]现有技术中，分析系统在进行数据分析是最常用的方式是采用实时处理，当实时数据的工作负载超过分析单元的分析能力时，为了保证不对后续的业务产生影响，待分析的部分数据会被丢弃。
[0004]然而，对无法及时处理的实时数据采用丢弃策略，可能会造成部分关键数据丢失，造成数据不全，从而影响关键业务的分析处理。

技术实现思路

[0005]本专利技术提供一种数据分析方法、装置、设备和介质，解决了分析单元处理数据负载均衡以及数据分时处理的问题。
[0006]第一方面，本专利技术实施例提供了一种数据分析方法，由数据分析系统的分析单元执行，该方法包括：
[0007]根据本地分析单元的可用分析能力，以及待处理数据所需的分析能力，确定所述待处理数据中的超载数据；
[0008]为所述超载数据生成自解释数据，以通过数据分析系统中的可用分析单元根据所述自解释数据对所述超载数据进行分析。
[0009]第二方面，本专利技术实施例还提供了一种数据分析方法，由数据分析系统中的中心服务器执行，该方法包括：
[0010]通过数据分析系统的分析单元生成超载数据以及超载数据的自解释数据；其中所述超载数据由所述分析单元根据所述分析单元的可用分析能力，以及待处理数据所需的分析能力确定；
[0011]为所述超载数据分配可用分析单元，以通过所述可用分析单元根据所述自解释数据对所述超载数据进行分析。
[0012]第三方面，本专利技术实施例还提供了一种数据分析装置，配置于数据分析系统的分析单元，该装置包括：
[0013]超载数据确定模块，用于根据本地分析单元的可用分析能力，以及待处理数据所需的分析能力，确定所述待处理数据中的超载数据；
[0014]自解释数据生成模块，用于为所述超载数据生成自解释数据，以通过数据分析系统中的可用根据所述自解释数据对所述超载数据进行分析。
[0015]第四方面，本专利技术实施例还提供了一种数据分析装置，配置于数据分析的中心服务器，所述装置包括：
[0016]生成模块，用于通过数据分析系统的分析单元生成超载数据以及超载数据的自解释数据；其中所述超载数据由所述分析单元根据所述分析单元的可用分析能力，以及待处理数据所需的分析能力确定；分配模块，用于为所述超载数据分配可用分析单元，以通过所述可用分析单元根据所述自解释数据对所述超载数据进行分析。
[0017]第五方面，本专利技术实施例还提供了一种设备，所述设备包括：
[0018]一个或多个处理器；
[0019]存储装置，用于存储一个或多个程序，
[0020]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本专利技术实施例中任一所述的一种数据分析方法。
[0021]第六方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术实施例中任一所述的一种数据分析方法。
[0022]本专利技术通过根据本地分析单元的可用分析能力，以及待处理数据所需的分析能力，确定待处理数据中的超载数据，同时为超载数据生成自解释数据，以通过数据分析系统中的可用分析单元根据所述自解释数据对超载数据进行分析。本专利技术实施例的技术方案，通过为超载数据生成自解释数据，并通过数据分析系统中的可用分析单元对超载数据进行分析处理，实现了分析单元处理数据时的负载均衡以及数据分时处理的问题。
附图说明
[0023]图1为本专利技术实施例提供的一种数据分析方法的流程图；
[0024]图2为本专利技术实施例提供的一种数据分析系统的组网图；
[0025]图3为本专利技术实施例提供的另一种数据分析方法的流程图；
[0026]图4为本专利技术实施例提供的一种数据分析方法的示意图；
[0027]图5为本专利技术实施例提供的又一种数据分析方法的流程图；
[0028]图6为本专利技术实施例提供的一种数据分析装置的结构示意图；
[0029]图7为本专利技术实施例提供的又一数据分析装置的结构示意图；
[0030]图8为本专利技术实施例提供的一种设备的结构示意图。
具体实施方式
[0031]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。
[0032]图1为本专利技术实施例提供的一种数据分析方法的流程图，本实施例可适用于对数据进行分析的情况，典型的，该方法可应用于安防行业智能分析系统中分析单元对数据进行分析的情况。该方法可以由配置于数据分析系统的分析单元中的数据分析装置来执行，该装置可以采集软件和\或硬件的方式实现。参见图1，该方法具体可以包括如下步骤：
[0033]步骤110、根据本地分析单元的可用分析能力，以及待处理数据所需的分析能力，确定所述待处理数据中的超载数据。
[0034]其中，分析单元为执行智能分析的实际计算单元，单个分析单元的可用分析能力有限，通常情况下，由于授权以及硬件设计限制，单个分析单元同一时刻仅能进行一种业务类型的分析。
[0035]具体参见图2，图2为本专利技术实施例提供的一种数据分析系统的组网图。其中，计算节点对应为数据分析系统中的分析单元，中心服务器为分析单元集群的管理服务器，主要负责分析单元管理、工作负载调度。用户可以通过客户端配置数据分析系统的中心服务器，通过分析系统的中心服务器对分析单元进行任务分配，分析单元对中心服务器分配的待处数据进行实时的分析。
[0036]若待处理数据所需的分析能力大于本地分析单元的可用分析能力，则根据上述分析能力与可用分析能力的差值，确定待处理数据中的超载数据，同时本地分析单元实时分析除超载数据之外的其他数据。
[0037]步骤120、为所述超载数据生成自解释数据，以通过数据分析系统中的可用分析单元根据所述自解释数据对所述超载数据进行分析。
[0038]其中，所述自解释数据包括所述超载数据的任务类型；
[0039]或者，所述自解释数据包括所述超载数据的时间信息、来源信息以及转发信息中的至少一个，以及任务类型。
[0040]示例性，任务类型为相互独立的智能分析业务，可以包括人脸分析、视频结构化以及行为分析等数据分析类型，时间信息为超载数据的建立时间，来源信息为超载数据获取路径，根据时间信息和/或来源信息可以确定超载数据的优先级顺序，用于确定超载数据的处理顺序。可选的，超载数据的自解释数据还包括该超载数据初始分配的分析单元信息。
[0041]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据分析方法，其特征在于，由数据分析系统的分析单元执行，所述方法包括：根据本地分析单元的可用分析能力，以及待处理数据所需的分析能力，确定所述待处理数据中的超载数据；为所述超载数据生成自解释数据，以通过数据分析系统中的可用分析单元根据所述自解释数据对所述超载数据进行分析。2.根据权利要求1所述的方法，其特征在于，所述自解释数据包括所述超载数据的任务类型；或者，所述自解释数据包括所述超载数据的时间信息、来源信息与转发信息中的至少一个，以及任务类型。3.根据权利要求1所述的方法，其特征在于，为所述超载数据生成自解释数据，包括：为所述超载数据生成如下至少一种形式的自解释数据：xml，json，内存块，文本。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：接收任一分析单元的超载数据的自解释数据；根据接收的超载数据的自解释数据，对该超载数据进行分析。5.根据权利要求4所述的方法，其特征在于，根据接收的超载数据的自解释数据，对该超载数据进行分析，包括：根据接收的超载数据的任务类型，基于该任务类型关联的分析算法对该超载数据进行分析。6.根据权利要求5所述的方法，其特征在于，基于该任务关联的分析算法对超载数据进行分析之后，还包括：根据接收的超载数据的转发信息，确定超载数据的存储服务器；将超载数据的分析结果转发给所述存储服务器。7.一种数据分析方法，其特征在于，由数据分析系统的中心服务器执行，所述方法包括：通过数据分析系统的分析单元生成超载数据以及超载数据的自解释数据；其中所述超载数据由所述分析单元根据所述分析单元的可用分析能力，以及待处理数据所需的分析能力确定；为所述超载数据分配可用分析单元，以通过所述可用分析单元根据所述自解释数据对所述超载数据进行分析。8.根据权利要求7所述的方法，其特征在于，所述自解释数据包括所述超载数据的任务类型；或者，所述自解释数据包括所述超载数据的时间信息、来源...

【专利技术属性】
技术研发人员：王钺，
申请(专利权)人：浙江宇视科技有限公司，
类型：发明
国别省市：