【技术实现步骤摘要】
数据处理方法、系统、装置和存储介质
[0001]本申请涉及数据处理领域，并且更具体地，涉及数据处理领域中一种数据处理方法、系统、装置和存储介质。
技术介绍
[0002]在互联网技术迅速发展的大背景下，科技水平也在不断提升，研究人员致力于创造和专利技术出更多的智能设备，例如机器人、吸尘器、智能家居设备等，这些产品的出现可以在日常生活中更加智能化的为人服务，节省了人力，从而改变人们的日常生活。
[0003]智能设备在工作过程中，主要是通过设备内部的各种传感器采集不同的数据，智能设备对所采集的数据进行处理和分析，基于处理和分析结果，用户可以进一步控制智能设备的工作过程，使智能设备能够满足用户在不同场景下的需求。
[0004]在对智能设备的数据进行分析和处理时，智能设备首先将自身多种传感器采集的数据发送至网关，网关接收智能设备上报的数据，按照数据类型对数据进行分类，然后网关统一将数据批量存储至数据库，当用户需要查看某种传感器数据时，可以在数据库中预先配置好处理任务，进一步地，数据库根据处理任务对该传感器数据进行计算处理，最后，展示模块获取经过数据库计算处理之后的数据供用户查看。
[0005]在上述过程中，不同的传感器采集数据的频率不同，对于采集数据的频率较高的传感器，这些传感器的数据采集后的数据量比较大，在大数据量的情况下，网关要将大量的数据发送并存储至数据库时，会出现延时存储的情况，进而导致网关等待数据库存储的时间变长，且当出现数据洪峰时，上述过程的适应能力差，容易导致数据处理系统出现故障。>[0006]此外，在上述过程中，当网关将数据存储在数据库中时，对数据的计算和处理主要靠数据库本身的计算能力，如果数据库中存储的数据量很大时，数据库的计算就会出现缓慢及延时。
[0007]因此，在对智能设备的数据进行处理的过程中，如何实现对大数据量的合理分配和计算，避免出现数据处理系统故障及处理数据延时现象，成为了亟需解决的问题。
技术实现思路
[0008]本申请提供了一种数据处理方法、系统、装置和存储介质，该方法能够在数据存储至数据库之前，对数据进行预处理后分类存储至数据库中，缓解了数据库的压力，避免了将数据直接存储至数据库时出现延时以及数据库承受压力大的问题。
[0009]第一方面，提供了一种数据处理方法，其特征在于，应用于一种系统，该系统包括网关、缓存模块、计算模块和数据库，该方法包括：该网关获取多个数据，按照数据格式和/或数据的编译语言对该多个数据进行分类，得到不同类别的M组数据，将该M组数据发送到该缓存模块；该缓存模块包括M个存储管道，该M个存储管道接收并缓存该网关发送的该M组数据；该计算模块从该M组数据中获取目标数据，该目标数据为该M组数据中的一组或多组数据；该计算模块对该目标数据进行预处理，得到待存储的数据，将该待存储的数据存储到
该数据库。
[0010]上述技术方案中，提出一种在数据存储至数据库之前，通过计算模块对数据进行预处理的方法，通过网关对数据分类得到不同类型的多组数据，将多组数据发送至缓存模块，缓存模块中的多个存储管道接收并缓存多组数据，计算模块从多组数据中获取目标数据进行预处理计算，得到待存储的数据，最后将待存储的数据存入数据库。在将待存储的数据存入数据库之前，对目标数据进行了预先处理，相比于直接将目标数据存入数据库，在数据库中对目标数据进行处理计算的方式，能够有效地减轻数据库存储数据的压力，避免了由于数据库压力过大造成系统崩溃或者运行中断的问题。
[0011]结合第一方面，在某些可能的实现方式中，该计算模块包括多个子模块，该方法还包括：该计算模块获取该多个子模块中每一个子模块的数据计算能力，并从该多个子模块中确定数据计算能力大于或等于第一预设阈值的子模块作为目标子模块；以及，该计算模块对目标数据进行预处理，得到待存储的数据，包括：通过该目标子模块，对该目标数据进行预处理，得到该待存储的数据。
[0012]上述技术方案中，通过选择数据处理能力较强的子模块作为目标子模块，通过目标子模块对目标数据进行预处理，保证了系统对目标数据的计算处理能力最优化，保证了系统处理目标数据的效率。
[0013]结合第一方面和上述实现方式，在某些可能的实现方式中，该方法还包括：当该多个子模块中每一个子模块的数据计算能力都小于或等于第二预设阈值时，该计算模块停止从该目标存储管道中获取该目标数据。
[0014]上述技术方案中，当多个子模块的数据计算能力都小于第二预设阈值时，表明计算模块的计算能力达到瓶颈，此时，计算模块会停止从目标存储管道中获取目标数据，可以适当地减轻计算模块的处理压力，避免由于数据洪峰造成的系统的计算压力，保证了系统处理数据的效率。
[0015]结合第一方面和上述实现方式，在某些可能的实现方式中，该计算模块从该M组数据中获取目标数据，包括：该计算模块获取该M个存储管道中每一个存储管道的地址；该计算模块根据该M个存储管道中每一个存储管道中是否有缓存的数据确定目标任务，并确定该目标任务对应的目标地址；该计算模块根据该目标地址和该M个存储管道中每一个存储管道的地址，从该M个存储管道中确定出该目标地址对应的存储管道作为目标存储管道，并从该目标存储管道中获取该目标数据。
[0016]结合第一方面和上述实现方式，在某些可能的实现方式中，该数据库包括冷数据存储单元和热数据存储单元，该方法还包括：该计算模块获取该数据库中每种数据类型的数据的被访问频率，并根据该数据库中每种数据类型的数据的被访问频率和该待存储的数据的数据类型，将该待存储的数据分为冷数据和热数据，其中，将该数据库中任一数据类型的数据的被访问频率大于或等于第三预设阈值的数据确定为热数据，否则确定为冷数据；该待存储的数据中为热数据的待存储的数据的数据类型与该数据库中为热数据的数据的数据类型相同，该待存储的数据中为冷数据的待存储的数据的数据类型与该数据库中为冷数据的数据的数据类型相同；以及，将该待存储的数据存储到该数据库，包括：该计算模块将该待存储的数据中为热数据的数据存储到该热数据存储单元，将该待存储的数据中为冷数据的待存储的数据存储到该冷数据存储单元。
[0017]上述方案中，计算模块在对目标数据进行处理得到待存储的数据之后，通过对待存储的数据进行冷数据和热数据的分类，进一步根据分类结果再将待存储的数据存储至数据库中相应的数据存储单元，缓解了将所有数据存储至一个数据库时对数据库造成的压力，同时在用户读取时能够及时快速地满足用户需求，提高了用户体验。
[0018]结合第一方面和上述实现方式，在某些可能的实现方式中，该系统还包括展示模块，该方法还包括：该展示模块接收用户的查询请求，响应于该查询请求，该展示模块从数据库中获取并显示存储完成的数据，供用户读取查看。
[0019]结合第一方面和上述实现方式，在某些可能的实现方式中，该缓存模块包括一个或多个缓存节点，该一个或多个缓存节点中的每一个缓存节点对应一个或多个存储管道，该一个或多个存储管道的每一个存储管道用于接收并缓本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于一种系统，所述系统包括网关、缓存模块、计算模块和数据库，所述方法包括：所述网关获取多个数据，按照数据格式和/或数据的编译语言对所述多个数据进行分类，得到不同类别的M组数据，将所述M组数据发送到所述缓存模块；所述缓存模块包括M个存储管道，所述M个存储管道接收并缓存所述网关发送的所述M组数据；所述计算模块从所述M组数据中获取目标数据，所述目标数据为所述M组数据中的一组或多组数据；所述计算模块对所述目标数据进行预处理，得到待存储的数据，将所述待存储的数据存储到所述数据库。2.根据权利要求1所述的方法，其特征在于，所述计算模块包括多个子模块，所述方法还包括：所述计算模块获取所述多个子模块中每一个子模块的数据计算能力，并从所述多个子模块中确定数据计算能力大于或等于第一预设阈值的子模块作为目标子模块；以及，所述计算模块对所述目标数据进行预处理，得到待存储的数据，包括：通过所述目标子模块，对所述目标数据进行预处理，得到所述待存储的数据。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：当所述多个子模块中每一个子模块的数据计算能力都小于或等于第二预设阈值时，所述计算模块停止从所述目标存储管道中获取所述目标数据。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述计算模块从所述M组数据中获取目标数据，包括：所述计算模块获取所述M个存储管道中每一个存储管道的地址；所述计算模块根据所述M个存储管道中每一个存储管道中是否有缓存的数据确定目标任务，并确定所述目标任务对应的目标地址；所述计算模块根据所述目标地址和所述M个存储管道中每一个存储管道的地址，从所述M个存储管道中确定出所述目标地址对应的存储管道作为目标存储管道，并从所述目标存储管道中获取所述目标数据。5.根据权利要求1至3中任一项所述的方法，其特征在于，所述数据库包括冷数据存储单元和热数据存储单元，所述方法还包括：所述计算模块获取所述数据库中每种数据类型的数据的被访问频率，并根据所述数据库中每种数据类型的数据的被访问频率和所述待存储的数据的数据类型，将所述待存储的数据分为热数据和冷数据，其中，将所述数据库中任一数据类型的数据的被访问频率大于或等于第三预设阈值的数据确定为热数据，否则确定为冷数据；所述待存储的数据中为热数据的待存储的数据的数据类型与所述数据库中为热数据的数据的数据类型相同，所述待存储的数据中为冷数据的待存储的数据的数据类型与所述数据库中为冷数据的数据的数据类型相同；以及，所述将所述待存储的数据存储到所述数据库，包括：所述计算模块将所述待存储的数据中为热数据的待存储的数据存储到所...
【专利技术属性】
技术研发人员：曾庆勇，曹科伟，
申请(专利权)人：深圳市普渡科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。