一种数据处理方法及相关设备技术

本申请实施例提供了一种数据处理方法及相关设备，可以提高对物联网设备数据的查询效率，降低查询时延。该方法包括:获取结构化查询语言SQL语句，所述SQL语句为所述目标设备对应的SQL语句；对所述SQL语句进行预处理，得到目标SQL语句；根据所述目标SQL语句对目标边缘数据库进行查询，以得到所述SQL语句对应的目标数据，所述目标边缘数据库为云端服务器对应的至少两个边缘数据库中的一个，且所述目标设备与所述目标边缘数据库相对应；根据所述目标数据生成所述SQL语句对应的目标查询结果；输出所述目标查询结果。

A data processing method and related equipment

【技术实现步骤摘要】
一种数据处理方法及相关设备
本申请涉及物联网领域，尤其涉及一种数据处理方法及相关设备。
技术介绍
目前存储设备数据主要有两种方式，一种是设备通过网络上传到应用服务器或云端，一种是数据暂时存储在设备端，积累到一定的数据量后打包上传到应用服务器或云端。存储在应用服务器主要采用关系型数据库和时序数据库，存储在设备端的主要采用嵌入式数据库。数据库主要提供数据的存储与业务查询功能，物联网场景的业务主要包括执行规则引擎流程、滑动窗口查询、异常数据分析、自动报表等，因此对时序数据的分组聚合查询有很高的要求。关系型数据库对时序数据类型的分组、排序、聚合查询效率较低，查询耗时长。当数据量越大，查询越慢，导致业务延时越大，普通时序数据库消耗CPU和内存大，嵌入式数据库对物联网设备的高并发写入支持较差。
技术实现思路
本申请提供了一种数据处理方法及相关设备，可以提高物联网中设备的设备数据的查询效率，降低查询时延。本申请实施例第一方面提供一种数据处理方法，应用于物联网系统，包括：获取结构化查询语言SQL语句，所述SQL语句为所述目标设备对应的SQL语句，所述目标设备为所述物联网系统中的设备；对所述SQL语句进行预处理，得到目标SQL语句；根据所述目标SQL语句对目标边缘数据库进行查询，以得到所述SQL语句对应的目标数据，所述目标边缘数据库为云端服务器对应的至少两个边缘数据库中的一个，且所述目标设备与所述目标边缘数据库相对应；根据所述目标数据生成所述SQL语句对应的目标查询结果；输出所述目标查询结果。可选地，所述方法还包括：实时获取所述目标设备对应的包含时序的目标设备数据；将所述目标设备数据按照第一预设规则存储至所述目标边缘数据库。可选地，所述目标边缘数据库包含磁盘存储区，所述将所述目标设备数据按照第一预设规则存储至所述目标边缘数据库包括：将所述目标设备数据按照数据块格式以及时间关键字递增排列的方式存储至所述磁盘存储区，其中，所述磁盘存储区中的每个数据块按列存储，且相同类型的设备数据存储在所述磁盘存储区中的同一个数据区域。可选地，所述目标边缘数据库包含内存存储区，所述将所述目标设备数据按照预设规则存储至所述目标边缘数据库包括：将所述目标设备数据存储至日志缓存区，所述日志缓存区为所述内存存储区中的第一特定缓存区域；当达到第一预设条件时，将所述日志缓存区中的设备数据存储至所述磁盘存储区。可选地，所述方法还包括：将所述目标设备数据存储至目标缓存区，所述目标缓存区还存储有所述云端服务器下发的所述目标设备的配置信息，所述日志缓存区为所述内存存储区中的第二特定缓存区域；当达到第二预设条件时，将所述目标设备的配置信息发送至所述目标设备。可选地，所述根据所述目标SQL语句对目标边缘数据库进行查询，以得到所述SQL语句对应的目标数据包括：根据所述目标SQL语句对所述日志缓存区进行查询；当所述日志缓存区中未查询到所述目标数据时，根据所述目标SQL语句对所述磁盘存储区进行查询，得到所述目标数据。可选地，所述对所述SQL语句进行预处理，得到目标SQL语句包括：对所述SQL语句进行词法解析，得到N个词法单元，其中，N为大于或等于1的正整数；对目标词法单元进行语法解析，以生成抽象语法树，所述目标词法单元为所述N个词法单元中的任意一个；基于所述抽象语法树以及目标元数据对SQL语句进行语义检查，得到M个执行SQL语句，所述目标元数据与所述目标边缘数据库相对应，M为大于或等于1的正整数；通过预设算法对所述M个执行SQL语句进行计算，得到所述目标SQL语句，所述目标SQL语句为所述M个执行SQL语句中执行成本最低的SQL语句。可选地，所述方法还包括：按照第二预设规则将所述磁盘存储区中存储的所述目标设备的设备数据发送至所述云端服务器，以使得所述云端服务器对所述目标设备的设备数据进行处理，得到处理结果，并返回所述处理结果至所述目标缓存区。本申请实施例第二方面提供了一种数据处理装置，应用于物联网系统，包括：获取单元，用于获取结构化查询语言SQL语句，所述SQL语句为所述目标设备对应的SQL语句，所述目标设备为所述物联网系统中的设备；SQL优化单元，用于对所述SQL语句进行预处理，得到目标SQL语句；查询单元，用于根据所述目标SQL语句对目标边缘数据库进行查询，以得到所述SQL语句对应的目标数据，所述目标边缘数据库为云端服务器对应的至少两个边缘数据库中的一个，且所述目标设备与所述目标边缘数据库相对应；生成单元，用于根据所述目标数据生成所述SQL语句对应的目标查询结果；输出单元，用于输出所述目标查询结果。可选地，所述获取单元，还用于实时获取所述目标设备对应的包含时序的目标设备数据；所述数据处理装置还包括：存储单元，用于将所述目标设备数据按照第一预设规则存储至所述目标边缘数据库。可选地，所述目标边缘数据库包含磁盘存储区，所述存储单元具体用于：将所述目标设备数据按照数据块格式以及时间关键字递增排列的方式存储至所述磁盘存储区，其中，所述磁盘存储区中的每个数据块按列存储，且相同类型的设备数据存储在所述磁盘存储区中的同一个数据区域。可选地，所述目标边缘数据库包含内存存储区，所述存储单元还具体用于：将所述目标设备数据存储至日志缓存区，所述日志缓存区为所述内存存储区中的第一特定缓存区域；当达到第一预设条件时，将所述日志缓存区中的设备数据存储至所述磁盘存储区。可选地，所述存储单元还用于：将所述目标设备数据存储至目标缓存区，所述目标缓存区还存储有所述云端服务器下发的所述目标设备的配置信息，所述日志缓存区为所述内存存储区中的第二特定缓存区域；所述输出单元，还用于当达到第二预设条件时，将所述目标设备的配置信息发送至所述目标设备。可选地，所述查询单元具体用于：根据所述目标SQL语句对所述日志缓存区进行查询；当所述日志缓存区中未查询到所述目标数据时，根据所述目标SQL语句对所述磁盘存储区进行查询，得到所述目标数据。可选地，所述SQL优化单元具体用于：对所述SQL语句进行词法解析，得到N个词法单元，其中，N为大于或等于1的正整数；对目标词法单元进行语法解析，以生成抽象语法树，所述目标词法单元为所述N个词法单元中的任意一个；基于所述抽象语法树以及目标元数据对SQL语句进行语义检查，得到M个执行SQL语句，所述目标元数据与所述目标边缘数据库相对应，M为大于或等于1的正整数；通过预设算法对所述M个执行SQL语句进行计算，得到所述目标SQL语句，所述目标SQL语句为所述M个执行SQL语句中执行成本最低的SQL语句。可选地，所述存储单元还用于：按照第二预设规则将所述磁盘存储区中存储的所述目标设备的本文档来自技高网...

【技术保护点】
1.一种数据处理方法，应用于物联网系统，其特征在于，包括：/n获取结构化查询语言SQL语句，所述SQL语句为所述目标设备对应的SQL语句，所述目标设备为所述物联网系统中的设备；/n对所述SQL语句进行预处理，得到目标SQL语句；/n根据所述目标SQL语句对目标边缘数据库进行查询，以得到所述SQL语句对应的目标数据，所述目标边缘数据库为云端服务器对应的至少两个边缘数据库中的一个，且所述目标设备与所述目标边缘数据库相对应；/n根据所述目标数据生成所述SQL语句对应的目标查询结果；/n输出所述目标查询结果。/n

【技术特征摘要】
1.一种数据处理方法，应用于物联网系统，其特征在于，包括：
获取结构化查询语言SQL语句，所述SQL语句为所述目标设备对应的SQL语句，所述目标设备为所述物联网系统中的设备；
对所述SQL语句进行预处理，得到目标SQL语句；
根据所述目标SQL语句对目标边缘数据库进行查询，以得到所述SQL语句对应的目标数据，所述目标边缘数据库为云端服务器对应的至少两个边缘数据库中的一个，且所述目标设备与所述目标边缘数据库相对应；
根据所述目标数据生成所述SQL语句对应的目标查询结果；
输出所述目标查询结果。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
实时获取所述目标设备对应的包含时序的目标设备数据；
将所述目标设备数据按照第一预设规则存储至所述目标边缘数据库。


3.根据权利要求2所述的方法，其特征在于，所述目标边缘数据库包含磁盘存储区，所述将所述目标设备数据按照第一预设规则存储至所述目标边缘数据库包括：
将所述目标设备数据按照数据块格式以及时间关键字递增排列的方式存储至所述磁盘存储区，其中，所述磁盘存储区中的每个数据块按列存储，且相同类型的设备数据存储在所述磁盘存储区中的同一个数据区域。


4.根据权利要求3所述的方法，其特征在于，所述目标边缘数据库包含内存存储区，所述将所述目标设备数据按照预设规则存储至所述目标边缘数据库包括：
将所述目标设备数据存储至日志缓存区，所述日志缓存区为所述内存存储区中的第一特定缓存区域；
当达到第一预设条件时，将所述日志缓存区中的设备数据存储至所述磁盘存储区。


5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
将所述目标设备数据存储至目标缓存区，所述目标缓存区还存储有所述云端服务器下发的所述目标设备的配置信息，所述日志缓存区为所述内存存储区中的第二特定缓存区域；
当达到第二预设条件时，将所述目标设备的配置信息发送至所述目标设备。


6.根据权利要求4所述的方法，其特征在于，所述根据所述目标SQL语句对目标边缘数据库进行查询，以得到所述SQL语句...

【专利技术属性】
技术研发人员：刘真余，王亚晨，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44