时序数据处理方法、装置、系统、服务器及可读存储介质制造方法及图纸

本发明专利技术公开一种时序数据处理方法、装置、系统、服务器及可读存储介质。所述方法包括：接收多个设备发送的多条待处理数据，所述多条待处理数据分别包括所述多个设备采集的时序数据以及所述多个设备的标识码；根据对所述多个设备的分组结果，将所述多条待处理数据分别导入相应的任务队列中进行依序处理，对应获得多条结果数据；以及将所述结果数据依序存储至第一缓存队列中。根据本发明专利技术提供的时序数据处理方法，基于设备的分组结果，能够并行地实现大批量数据的高性能时序处理，发挥多核运算的优势。同时，单机即可处理上万个设备的数据处理，避免搭建复杂的计算机群，显著降低了部署成本。

【技术实现步骤摘要】
时序数据处理方法、装置、系统、服务器及可读存储介质
本专利技术涉及数据处理领域，具体而言，涉及一种时序数据处理方法、装置、系统、服务器及可读存储介质。
技术介绍
随着物联网技术的发展，物联网数据的处理量和处理难度越来越大。当前，物联网领域常用的数据处理方法主要分为以下两类：第一类：基于Hadoop、Spark、Storm等典型流/批处理框架的大数据集群计算方法，主要适用于海量数据的高速处理，具有高并行、高吞吐量等优点，可支持成千上万台物联网设备的数据处理。但同时，大数据集群处理框架对自身运行所需的资源要求较高。根据规模效应，只有当集群达到一定的规模才能发挥出其性能优势，比如集群框架一般需要至少三台服务器才能搭建。这样的架构部署难度大，实现复杂且成本较高；第二类：通过编程实现的简单数据处理方法，主要适用于家用或设备规模较小等场景，可支持的设备规模在数百台以内。由于设计基础简单，一般的程序设计很难达到既保证时序性，又保证高性能的数据处理目的，因此通常仅适用于处理非时序敏感数据的场景。时序敏感是指在数据处理工程中，处理当前时刻监测到的数据必须依赖于上一时刻的数据处理结果，也即上一时刻监测到的数据必须在当前时刻监测到的数据之前处理完成。在现有的多线程模型中，两条数据有可能会被分配给不同的处理线程，因此往往会出现当前时刻监测到的数据会比上一时刻监测到的数据先处理的情况，进而导致完全错误的处理结果。例如，在冷链物流业务中使用温度传感器实时监测货车车厢内的温度，当温度不低于20℃时需要发送预警提示，但当温度连续不低于20℃时只需发送一次预警提示：假设连续5个时刻监测到的温度为17℃、19℃、20℃、19℃、21℃，按照前述业务规则，正常情况下将在第3、第5时刻各触发一次预警提示。然而，当不能确保数据按时间顺序有序处理时，例如第4时刻的数据比第3时刻的数据先处理，则仅在处理第3时刻数据(20℃)时触发一次预警提示，从而导致运输人员延迟发觉车厢温控系统的失灵。串行化可以确保实现数据的有序处理，但势必无法发挥多核运算的优势，造成较大的资源浪费。此外，现有的专用时序数据库一般也只是侧重于存储时序数据并提供数据查询服务，并不能直接完成前述的逻辑处理。在所述
技术介绍
部分公开的上述信息仅用于加强对本专利技术的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
有鉴于此，本专利技术提供一种时序数据处理方法、装置、系统、服务器及可读存储介质。本专利技术的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本专利技术的实践而习得。根据本专利技术的一方面，提供一种时序数据处理方法，包括：接收多个设备发送的多条待处理数据，所述多条待处理数据分别包括所述多个设备采集的时序数据以及所述多个设备的标识码；根据对所述多个设备的分组结果，将所述多条待处理数据分别导入相应的任务队列中进行依序处理，对应获得多条结果数据；以及将所述结果数据依序存储至第一缓存队列中。根据本专利技术的一实施方式，所述分组结果根据下述步骤获得：将所述标识码输入预构造的哈希函数，以所述哈希函数的输出结果作为所述标识码对应设备的所述分组结果。根据本专利技术的一实施方式，根据对所述多个设备的分组结果，将所述多条待处理数据分别导入相应的任务队列中进行依序处理，对应获得多条结果数据包括：根据所述分组结果，将所述多条待处理数据中的所述时序数据分别导入相应的线程池的所述任务队列中，每个所述线程池包括一个处理线程；以及在每个所述线程池中，通过所述处理线程依次处理导入所述线程池的所述任务队列中的所述时序数据，对应获得所述多条结果数据。根据本专利技术的一实施方式，所述方法还包括：根据所述第一缓存队列，生成第二缓存队列，所述第二缓存队列中存储的所述结果数据与所述第一缓存队列当前存储的所述结果数据完全相同；将所述第二缓存队列中的所述结果数据发送至数据库；以及当所述第二缓存队列为空时，删除所述第二缓存队列。根据本专利技术的一实施方式，接收经所述依序处理获得的新的所述结果数据，并存储至所述第一缓存队列中。根据本专利技术的另一方面，提供一种时序数据处理装置，包括：数据接收模块，用于接收多个设备发送的多条待处理数据，所述多条待处理数据分别包括所述多个设备采集的时序数据以及所述多个设备的标识码；数据处理模块，用于根据对所述多个设备的分组结果，将所述多条待处理数据分别导入相应的任务队列中进行依序处理，对应获得多条结果数据；以及数据缓存模块，用于将所述结果数据依序存储至第一缓存队列中。根据本专利技术的一实施方式，所述装置还包括：队列生成模块，用于根据所述第一缓存队列，生成第二缓存队列，所述第二缓存队列中存储的所述结果数据与所述第一缓存队列当前存储的所述结果数据完全相同；数据发送模块，用于将所述第二缓存队列中的所述结果数据发送至数据库；以及队列删除模块，用于当所述第二缓存队列为空时，删除所述第二缓存队列。根据本专利技术的再一方面，提供一种服务器，包括：存储器、处理器及存储在所述存储器中并可在所述处理器中运行的可执行指令，所述处理器执行所述可执行指令时实现上述任一种时序数据处理方法。根据本专利技术的再一方面，提供一种时序数据处理系统，包括：多个设备、根据上述的服务器以及数据库；其中，所述服务器从所述多个设备接收多条待处理数据，并将多条结果数据发送至所述数据库。根据本专利技术的再一方面，提供一种计算机可读存储介质，其上存储有计算机可执行指令，所述可执行指令被处理器执行时实现上述任一种时序数据处理方法。根据本专利技术实施方式提供的时序数据处理方法，基于设备的分组结果，能够并行地实现大批量数据的高性能时序处理，发挥多核运算的优势。同时，根据本专利技术实施方式提供的时序数据处理方法，单机即可处理上万个设备的数据处理，避免搭建复杂的计算机群，显著降低了部署成本。另外，根据一些实施例，本专利技术提供的时序数据处理方法采用相互独立的数据缓存技术和数据传送技术，能够连续、稳定地实现海量时序结果数据的批量传送和精准存储。应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本专利技术。附图说明通过参照附图详细描述其示例实施例，本专利技术的上述和其它目标、特征及优点将变得更加显而易见。图1是根据一示例性实施方式示出的一种时序数据处理方法的流程图。图2是根据一示例性实施方式示出的另一种时序数据处理方法的流程图。图3是根据一示例性实施方式示出的再一种时序数据处理方法的流程图。图4是根据一示例性实施方式示出的一种时序数据处理装置的框图。图5是根据一示例性实施方式示出的一种服务器的结构示意图。图6是根据一示例性实施方式示出的一种时序数据处理系统的结构示意图。图7是根据一示例性实施方式示出的一种计算机可读存储介质的示意图。图8是根据一示例示出的一种时序数据的流向示意图。图9是根据一示例示出的一种调度并处理时序数据的示意图。图10是根据一示例示出的本文档来自技高网...

【技术保护点】
1.一种时序数据处理方法，其特征在于，包括：/n接收多个设备发送的多条待处理数据，所述多条待处理数据分别包括所述多个设备采集的时序数据以及所述多个设备的标识码；/n根据对所述多个设备的分组结果，将所述多条待处理数据分别导入相应的任务队列中进行依序处理，对应获得多条结果数据；以及/n将所述结果数据依序存储至第一缓存队列中。/n

【技术特征摘要】
1.一种时序数据处理方法，其特征在于，包括：
接收多个设备发送的多条待处理数据，所述多条待处理数据分别包括所述多个设备采集的时序数据以及所述多个设备的标识码；
根据对所述多个设备的分组结果，将所述多条待处理数据分别导入相应的任务队列中进行依序处理，对应获得多条结果数据；以及
将所述结果数据依序存储至第一缓存队列中。


2.根据权利要求1所述的方法，其特征在于，所述分组结果根据下述步骤获得：将所述标识码输入预构造的哈希函数，以所述哈希函数的输出结果作为所述标识码对应设备的所述分组结果。


3.根据权利要求1所述的方法，其特征在于，根据对所述多个设备的分组结果，将所述多条待处理数据分别导入相应的任务队列中进行依序处理，对应获得多条结果数据包括：
根据所述分组结果，将所述多条待处理数据中的所述时序数据分别导入相应的线程池的所述任务队列中，每个所述线程池包括一个处理线程；以及
在每个所述线程池中，通过所述处理线程依次处理导入所述线程池的所述任务队列中的所述时序数据，对应获得所述多条结果数据。


4.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：
根据所述第一缓存队列，生成第二缓存队列，所述第二缓存队列中存储的所述结果数据与所述第一缓存队列当前存储的所述结果数据完全相同；
将所述第二缓存队列中的所述结果数据发送至数据库；以及
当所述第二缓存队列为空时，删除所述第二缓存队列。


5.根据权利要求4所述的方法，其特征在于，还包括：接收经所述依序处理获...

【专利技术属性】
技术研发人员：李元景，李荐民，戴俊娣，朱文涛，牛雄飞，
申请(专利权)人：同方威视科技江苏有限公司，同方威视技术股份有限公司，
类型：发明
国别省市：江苏;32