状态数据处理方法、装置及计算机设备制造方法及图纸

本发明专利技术提供了一种状态数据处理方法、装置及计算机设备，在接收到目标智能设备上报的状态数据后，按照设定格式生成对应的业务日志，将业务日志放置至Flume组件对应的日志目录中，实现对状态数据的整合，由Flume组件按照设定采集规则，将日志目录中的所有业务日志取出发送至Hadoop，由Hadoop中的pig处理框架对业务日志进行分析，以快速针对不同业务需求生成不同的统计数据，通过生成用于表述相应统计数据的sql语句，将sql语句存储到数据库中，从而完成对大量状态数据的统计分析和存储，在需要进行数据统计展示时，可以直接将数据库中的sql语句表述的统计数据进行响应，从而可以提高服务器的响应速度。

【技术实现步骤摘要】
状态数据处理方法、装置及计算机设备
本专利技术涉及数据处理
，特别涉及一种状态数据处理方法、装置及计算机设备。
技术介绍
随着智能家居的发展，智能设备的使用也越来越普遍。智能设备与服务器之间需要经常进行数据交互，例如，智能设备将状态数据上报给服务器，为了便于后续进行数据统计，服务器需要将智能设备上报的状态数据进行持久化处理。传统处理方式是服务器在每接收到智能设备上报的状态数据后，则直接将这些状态数据存储到数据库中，在进行数据统计时，从数据库中存储的状态数据中进行计算，以对统计结果进行响应。然而数据库中存储的数据量较大，计算统计过程耗费时间较长，从而影响服务器的响应速度。因此，需要提供一种快速高效的数据处理方案，以解决现有技术存在的问题。
技术实现思路
本专利技术实施例提供了一种状态数据处理方法、装置及计算机设备，以对状态数据快速高效的进行处理，提高服务器性能。第一方面，本专利技术实施例提供了一种状态数据处理方法，包括接收目标智能设备上报的状态数据，并对所述状态数据进行解析；根据解析后的所述状态数据，按照预设格式，生成对应的业务日志；将生成的所述业务日志放置至Flume组件对应的日志目录中；利用所述Flume组件，按照设定采集规则，将所述日志目录中的所有业务日志取出，发送至分布式系统基础架构Hadoop；所述Hadoop中的pig处理框架对接收到的业务日志进行分析，以针对不同业务需求生成不同的统计数据，并生成用于表述相应统计数据的sql语句；r>采用linux命令将生成的sql语句存储到数据库中。优选地，进一步包括：预先存储有若干解析协议，每一个解析协议对应不同的智能设备；所述对所述状态数据进行解析，包括：确定所述目标智能设备对应的目标解析协议，从预先存储的若干解析协议中选择出所述目标解析协议，利用所述目标解析协议对所述状态数据进行解析。优选地，在所述采用linux命令将生成的sql语句存储到数据库中之前，进一步包括：将生成的sql语句整合到目标文件夹中；所述采用linux命令将生成的sql语句存储到数据库中，包括：采用Linux命令执行所述目标文件夹中包含的sql语句，以将所述目标文件夹中包含的sql语句存储到数据库中。优选地，在所述生成对应的业务日志之后，进一步包括：将生成的所述业务日志进行本地备份；优选地，所述设定采集规则包括：每隔设定时间段采集一次，或，每当所述日志目录中放置的业务日志量达到设定数量则采集一次。第二方面，本专利技术实施例提供了一种状态数据处理装置，包括：数据处理模块，用于接收目标智能设备上报的状态数据，并对所述状态数据进行解析，根据解析后的所述状态数据，按照预设格式，生成对应的业务日志，将生成的所述业务日志放置至Flume组件对应的日志目录中；所述Flume组件，用于按照设定采集规则，将所述日志目录中的所有业务日志取出，发送至分布式系统基础架构Hadoop；所述Hadoop中的pig处理框架，用于对接收到的业务日志进行分析，以针对不同业务需求生成不同的统计数据，并生成用于表述相应统计数据的sql语句；Linux命令调用模块，用于调用Linux命令将生成的sql语句存储到数据库中。优选地，进一步包括：第一存储模块，用于预先存储有若干解析协议，每一个解析协议对应不同的智能设备；所述数据处理模块在对所述状态数据进行解析时，具体包括：确定所述目标智能设备对应的目标解析协议，从预先存储的若干解析协议中选择出所述目标解析协议，利用所述目标解析协议对所述状态数据进行解析。优选地，进一步包括：整合模块，用于将生成的sql语句整合到目标文件夹中；所述Linux命令调用模块，用于采用Linux命令执行所述目标文件夹中包含的sql语句，以将所述目标文件夹中包含的sql语句存储到数据库中。优选地，进一步包括：第二存储模块，用于将生成的所述业务日志进行本地备份；优选地，所述设定采集规则包括：每隔设定时间段采集一次，或，每当所述日志目录中放置的业务日志量达到设定数量则采集一次。第三方面，本专利技术实施例还提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述方法的步骤。本专利技术实施例提供了一种状态数据处理方法、装置及计算机设备，在接收到目标智能设备上报的状态数据后，不是直接执行存储过程，而是解析出状态数据，并按照设定格式生成对应的业务日志，将业务日志放置至Flume组件对应的日志目录中，实现对状态数据的整合，由Flume组件按照设定采集规则，将日志目录中的所有业务日志取出发送至Hadoop，由Hadoop中的pig处理框架对所有的业务日志进行分析，pig处理框架可以用于分析较大数据集，可以快速针对不同业务需求生成不同的统计数据，通过生成用于表述相应统计数据的sql语句，将sql语句存储到数据库中，从而完成对大量状态数据的统计分析和存储，在需要进行数据统计展示时，可以直接将数据库中的sql语句表述的统计数据进行响应，从而可以提高服务器的响应速度。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一实施例提供的一种状态数据处理方法流程图；图2是本专利技术一实施例提供的另一种状态数据处理方法流程图；图3是本专利技术一实施例提供的一种状态数据处理装置结构示意图；图4是本专利技术一实施例提供的一种计算机设备的硬件架构图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例，基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参考图1，本专利技术实施例提供了一种状态数据处理方法，该方法可以包括以下步骤：步骤101：接收目标智能设备上报的状态数据，并对所述状态数据进行解析；步骤102：根据解析后的所述状态数据，按照预设格式，生成对应的业务日志；步骤103：将生成的所述业务日志放置至Flume组件对应的日志目录中；步骤104：利用所述Flume组件，按照设定采集规则，将所述日志目录中的所有业务日志取出，发送至分布式系统基础架构Hadoop；步骤105：所述Hadoop中的pig处理框架对接收到的业务日志进行本文档来自技高网...

【技术保护点】
1.一种状态数据处理方法，其特征在于，包括：/n接收目标智能设备上报的状态数据，并对所述状态数据进行解析；/n根据解析后的所述状态数据，按照预设格式，生成对应的业务日志；/n将生成的所述业务日志放置至Flume组件对应的日志目录中；/n利用所述Flume组件，按照设定采集规则，将所述日志目录中的所有业务日志取出，发送至分布式系统基础架构Hadoop；/n所述Hadoop中的pig处理框架对接收到的业务日志进行分析，以针对不同业务需求生成不同的统计数据，并生成用于表述相应统计数据的sql语句；/n采用linux命令将生成的sql语句存储到数据库中。/n

【技术特征摘要】
1.一种状态数据处理方法，其特征在于，包括：
接收目标智能设备上报的状态数据，并对所述状态数据进行解析；
根据解析后的所述状态数据，按照预设格式，生成对应的业务日志；
将生成的所述业务日志放置至Flume组件对应的日志目录中；
利用所述Flume组件，按照设定采集规则，将所述日志目录中的所有业务日志取出，发送至分布式系统基础架构Hadoop；
所述Hadoop中的pig处理框架对接收到的业务日志进行分析，以针对不同业务需求生成不同的统计数据，并生成用于表述相应统计数据的sql语句；
采用linux命令将生成的sql语句存储到数据库中。


2.根据权利要求1所述的状态数据处理方法，其特征在于，
进一步包括：预先存储有若干解析协议，每一个解析协议对应不同的智能设备；
所述对所述状态数据进行解析，包括：确定所述目标智能设备对应的目标解析协议，从预先存储的若干解析协议中选择出所述目标解析协议，利用所述目标解析协议对所述状态数据进行解析。


3.根据权利要求1所述的状态数据处理方法，其特征在于，在所述采用linux命令将生成的sql语句存储到数据库中之前，进一步包括：将生成的sql语句整合到目标文件夹中；
所述采用linux命令将生成的sql语句存储到数据库中，包括：采用Linux命令执行所述目标文件夹中包含的sql语句，以将所述目标文件夹中包含的sql语句存储到数据库中。


4.根据权利要求1-3中任一所述的状态数据处理方法，其特征在于，
在所述生成对应的业务日志之后，进一步包括：将生成的所述业务日志进行本地备份；
和/或，
所述设定采集规则包括：每隔设定时间段采集一次，或，每当所述日志目录中放置的业务日志量达到设定数量则采集一次。


5.一种状态数据处理装置，其特征在于，包括：
数据处理模块，用于接收目标智能设备上报的状态数据，并对所述状态数据进行解析，根据解析后的所述状态数据，...

【专利技术属性】
技术研发人员：朱堂华，康添，
申请(专利权)人：四川虹美智能科技有限公司，
类型：发明
国别省市：四川;51