基于大数据和云计算的数据处理方法及云端大数据服务器技术

本申请的基于大数据和云计算的数据处理方法及云端大数据服务器，在处理正常运行状态时根据第一应用数据生成设备状态列表并提取设备状态列表中的状态信息。进一步地，在检测到第一数据采集线程处于故障状态时与备用服务器通信以使得备用服务器继续采集第二应用数据。更进一步地，在检测到故障状态检修完成时继续采集第三应用数据并获取备用服务器按照后进先出原理发送的第二应用数据。最后根据第一存储区的状态信息和第二存储区的第一应用数据对应用数据进行拼接。如此，能够在进行应用数据的同步时，确保第三应用数据和第二应用数据的同步，从而避免应用数据在时序上的异步带来的遗漏和丢失并实现对应用数据的准确、完整同步。

【技术实现步骤摘要】
基于大数据和云计算的数据处理方法及云端大数据服务器
本申请涉及大数据处理
，尤其涉及基于大数据和云计算的数据处理方法及云端大数据服务器。
技术介绍
随着科技的发展，数据已成为社会生产生活中不可分割的一部分。大数据和云计算时代的到来显著地改善了人们的生活与生产。例如在制造业和服务业等领域，都能够感受到大数据对各行各业带来的有益影响。大数据技术依附于部署在云端的服务器对海量数据进行收集，然后对海量数据进行分析和挖掘，从而确定出有价值的数据。然而，随着数据规模的不断扩大以及数据容量的不断激增，云端的服务器在对海量数据进行处理时可能会出现故障。当云端的服务器出现故障时，需要对服务器进行停机检修并初始化，这个时候需要采用备用服务器进行数据处理。在完成故障服务器的检修和初始化之后，如何对备用服务器中的数据进行同步是现阶段需要解决的一个技术问题。
技术实现思路
本申请旨在提供一种基于大数据和云计算的数据处理方法及云端大数据服务器以对备用服务器中的数据进行同步。在第一个完整的实施例中，一种基于大数据和云计算的数据处理方法，应用于云端大数据服务器，所述云端大数据服务器与备用服务器以及多个数据侧设备通信，所述备用服务器与多个数据侧设备通信，所述方法包括：在处于正常运行状态时，依据基于第一数据采集线程在预设时长内采集到的每个数据侧设备的第一应用数据生成每个数据侧设备的设备状态列表，并提取所述设备状态列表中的状态信息，将所述状态信息缓存到第一存储区；其中，所述设备状态列表用于描述所述数据侧设备在与所述云端大数据服务器通信时的网络状态，所述状态信息为所述数据侧设备的网络状态对应的多类特征信息，所述第一应用数据存储在第二存储区，所述第一存储区和所述第二存储区互相隔离；在检测到所述第一数据采集线程处于故障状态时，根据采集到的每个数据侧设备的第一应用数据生成所述云端大数据服务器的窗口信息并将所述窗口信息发送给所述备用服务器；其中，所述备用服务器在接收到所述窗口信息时解析所述窗口信息得到至少部分第一应用数据，通过第二数据采集线程采集每个数据侧设备的第二应用数据并将所述第二应用数据进行存储；在检测到所述故障状态检修完成时，响应于所述备用服务器的轮询信息，向所述备用服务器发送确认指令；通过所述第一数据采集线程对每个数据侧设备进行第三应用数据的采集；其中，所述备用服务器在接收到所述确认指令时控制所述第二数据采集线程停止对每个数据侧设备的第二应用数据的采集，并按照采集到的第二应用数据的采集时刻由近到远的顺序将采集到的第二应用数据发送给所述云端大数据服务器；接收所述备用服务器发送的第二应用数据，并根据所述第一存储区存储的状态信息以及所述第二存储区存储的第一应用数据将所述第一应用数据、所述第二应用数据和所述第三应用数据进行拼接。在另一个完整的实施例中，提供了一种云端大数据服务器，所述云端大数据服务器与备用服务器以及多个数据侧设备通信，所述备用服务器与多个数据侧设备通信，所述云端大数据服务器用于：在处于正常运行状态时，依据基于第一数据采集线程在预设时长内采集到的每个数据侧设备的第一应用数据生成每个数据侧设备的设备状态列表，并提取所述设备状态列表中的状态信息，将所述状态信息缓存到第一存储区；其中，所述设备状态列表用于描述所述数据侧设备在与所述云端大数据服务器通信时的网络状态，所述状态信息为所述数据侧设备的网络状态对应的多类特征信息，所述第一应用数据存储在第二存储区，所述第一存储区和所述第二存储区互相隔离；在检测到所述第一数据采集线程处于故障状态时，根据采集到的每个数据侧设备的第一应用数据生成所述云端大数据服务器的窗口信息并将所述窗口信息发送给所述备用服务器；其中，所述备用服务器在接收到所述窗口信息时解析所述窗口信息得到至少部分第一应用数据，通过第二数据采集线程采集每个数据侧设备的第二应用数据并将所述第二应用数据进行存储；在检测到所述故障状态检修完成时，响应于所述备用服务器的轮询信息，向所述备用服务器发送确认指令；通过所述第一数据采集线程对每个数据侧设备进行第三应用数据的采集；其中，所述备用服务器在接收到所述确认指令时控制所述第二数据采集线程停止对每个数据侧设备的第二应用数据的采集，并按照采集到的第二应用数据的采集时刻由近到远的顺序将采集到的第二应用数据发送给所述云端大数据服务器；接收所述备用服务器发送的第二应用数据，并根据所述第一存储区存储的状态信息以及所述第二存储区存储的第一应用数据将所述第一应用数据、所述第二应用数据和所述第三应用数据进行拼接。应用上述基于大数据和云计算的数据处理方法及云端大数据服务器时，在处理正常运行状态时根据采集到的第一应用数据生成设备状态列表并提取设备状态列表中的状态信息，然后将状态信息缓存到第一存储区。进一步地，在检测到第一数据采集线程处于故障状态时与备用服务器通信以使得备用服务器继续采集第二应用数据。更进一步地，在检测到故障状态检修完成时继续采集第三应用数据并获取备用服务器按照后进先出原理发送的第二应用数据。最后根据第一存储区的状态信息和第二存储区的第一应用数据对应用数据进行拼接。如此，能够在进行应用数据的同步时，确保第三应用数据和第二应用数据的同步，从而避免应用数据在时序上的异步带来的遗漏和丢失并实现对应用数据的准确、完整同步。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。图1是本申请根据一示例性实施例示出的一种基于大数据和云计算的数据处理系统的通信架构示意图。图2是本申请根据一示例性实施例示出的一种基于大数据和云计算的数据处理方法的流程图。图3为本申请基于大数据和云计算的数据处理装置所在云端大数据服务器的一种硬件结构图图4是本申请根据一示例性实施例示出的一种基于大数据和云计算的数据处理装置的一个实施例框图。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地本文档来自技高网...

【技术保护点】
1.一种基于大数据和云计算的数据处理方法，其特征在于，应用于云端大数据服务器，所述云端大数据服务器与备用服务器以及多个数据侧设备通信，所述备用服务器与多个数据侧设备通信，所述方法包括：/n在处于正常运行状态时，依据基于第一数据采集线程在预设时长内采集到的每个数据侧设备的第一应用数据生成每个数据侧设备的设备状态列表，并提取所述设备状态列表中的状态信息，将所述状态信息缓存到第一存储区；其中，所述设备状态列表用于描述所述数据侧设备在与所述云端大数据服务器通信时的网络状态，所述状态信息为所述数据侧设备的网络状态对应的多类特征信息，所述第一应用数据存储在第二存储区，所述第一存储区和所述第二存储区互相隔离；/n在检测到所述第一数据采集线程处于故障状态时，根据采集到的每个数据侧设备的第一应用数据生成所述云端大数据服务器的窗口信息并将所述窗口信息发送给所述备用服务器；其中，所述备用服务器在接收到所述窗口信息时解析所述窗口信息得到至少部分第一应用数据，通过第二数据采集线程采集每个数据侧设备的第二应用数据并将所述第二应用数据进行存储；/n在检测到所述故障状态检修完成时，响应于所述备用服务器的轮询信息，向所述备用服务器发送确认指令；通过所述第一数据采集线程对每个数据侧设备进行第三应用数据的采集；其中，所述备用服务器在接收到所述确认指令时控制所述第二数据采集线程停止对每个数据侧设备的第二应用数据的采集，并按照采集到的第二应用数据的采集时刻由近到远的顺序将采集到的第二应用数据发送给所述云端大数据服务器；/n接收所述备用服务器发送的第二应用数据，并根据所述第一存储区存储的状态信息以及所述第二存储区存储的第一应用数据将所述第一应用数据、所述第二应用数据和所述第三应用数据进行拼接。/n...

【技术特征摘要】
1.一种基于大数据和云计算的数据处理方法，其特征在于，应用于云端大数据服务器，所述云端大数据服务器与备用服务器以及多个数据侧设备通信，所述备用服务器与多个数据侧设备通信，所述方法包括：
在处于正常运行状态时，依据基于第一数据采集线程在预设时长内采集到的每个数据侧设备的第一应用数据生成每个数据侧设备的设备状态列表，并提取所述设备状态列表中的状态信息，将所述状态信息缓存到第一存储区；其中，所述设备状态列表用于描述所述数据侧设备在与所述云端大数据服务器通信时的网络状态，所述状态信息为所述数据侧设备的网络状态对应的多类特征信息，所述第一应用数据存储在第二存储区，所述第一存储区和所述第二存储区互相隔离；
在检测到所述第一数据采集线程处于故障状态时，根据采集到的每个数据侧设备的第一应用数据生成所述云端大数据服务器的窗口信息并将所述窗口信息发送给所述备用服务器；其中，所述备用服务器在接收到所述窗口信息时解析所述窗口信息得到至少部分第一应用数据，通过第二数据采集线程采集每个数据侧设备的第二应用数据并将所述第二应用数据进行存储；
在检测到所述故障状态检修完成时，响应于所述备用服务器的轮询信息，向所述备用服务器发送确认指令；通过所述第一数据采集线程对每个数据侧设备进行第三应用数据的采集；其中，所述备用服务器在接收到所述确认指令时控制所述第二数据采集线程停止对每个数据侧设备的第二应用数据的采集，并按照采集到的第二应用数据的采集时刻由近到远的顺序将采集到的第二应用数据发送给所述云端大数据服务器；
接收所述备用服务器发送的第二应用数据，并根据所述第一存储区存储的状态信息以及所述第二存储区存储的第一应用数据将所述第一应用数据、所述第二应用数据和所述第三应用数据进行拼接。


2.根据权利要求1所述的数据处理方法，其特征在于，根据所述第一存储区存储的状态信息以及所述第二存储区存储的第一应用数据将所述第一应用数据、所述第二应用数据和所述第三应用数据进行拼接，包括：
获取所述状态信息对应的第一时序参量和每段第二应用数据的第一数据标识，确定与所述状态信息对应的第一时序参量和所述每段第二应用数据的第一数据标识对应的第一时序描述值和对应的第二时序描述值；
确定所述状态信息对应的第一时序参量对应的第一应用数据的第三时序描述值，基于所述对应的第一时序描述值，计算接收到的每段第三应用数据相对于所述状态信息对应的第一时序参量与所述对应的第一应用数据的第三时序描述值之间的匹配率的第四时序描述值；
确定所述每段第二应用数据的第一数据标识对应的第一标识字段信息，基于所述对应的第二时序描述值，计算所述接收到的每段第三应用数据相对于所述每段第二应用数据的第一数据标识与对应的第一标识字段信息的匹配率的相似度值；
基于所述第四时序描述值和所述第二时序描述值中的较小的时序描述值，确定所述状态信息对应的第二时序参量、所述状态信息对应的第一时序参量对应的第一应用数据的第三时序描述值、每段第二应用数据相对于所述第二时序参量的第二数据标识以及所述第二数据标识对应的第二标识字段信息；
在所述对应的第一应用数据的第三时序描述值与所述对应的第二时序描述值的差值在预设范围内的情况下，根据所述接收到的每段第三应用数据对应的相似度值，将所述第二时序描述值与所述第一时序描述值的差值小于设定值的第二应用数据和第一应用数据进行拼接，或
将所述第四时序描述值与所述第一时序描述值的差值小于所述设定值的第三应用数据和第一应用数据进行拼接。


3.根据权利要求1所述的数据处理方法，其特征在于，依据基于第一数据采集线程在预设时长内采集到的每个数据侧设备的第一应用数据生成每个数据侧设备的设备状态列表，包括：
确定基于每个数据侧设备的第一应用数据所提取到的多个数据报文集；针对所述多个数据报文集中的当前数据报文集，基于当前数据报文集在所述预设时长内的第一丢包率以及各所述数据报文集在所述预设时长内的第二丢包率，确定当前数据报文集在所述预设时长内的丢包系数；
根据当前数据报文集在两个相邻的所述预设时长内的丢包系数确定当前数据报文集在两个相邻的预设时长之间的丢包变化轨迹；
基于所述丢包变化轨迹确定每个数据侧设备与所述云端大数据服务器在所述预设时长内的网络状态参数，根据所述网络状态参数生成每个数据侧设备的设备状态列表。


4.根据权利要求3所述的数据处理方法，其特征在于，基于所述丢包变化轨迹确定每个数据侧设备与所述云端大数据服务器在所述预设时长内的网络状态参数，包括：
在所述丢包变化轨迹中按照丢包率在相邻时刻之间的差值的绝对值由大到小的顺序依次选取当前轨迹变量；从在所述丢包变化轨迹中的排序位置位于当前轨迹变量之前的轨迹变量中，确定参考轨迹变量；
获取所述参考轨迹变量中变量参数的参数状态类别，并依据参数状态类别和网络状态类别之间的映射关系，对当前轨迹变量进行映射以得到当前轨迹变量的网络状态变量；
对所述网络状态变量进行状态参数提取，得到所述网络状态变量对应的变量状态参数；
按照时序依次将所述变量状态参数进行整合，得到所述网络状态参数。


5.根据权利要求4所述的数据处理方法，其特征在于，所述预设时长通过以下步骤进行调整：
周期性地统计与所述云端大数据服务器存在有效连接的数据侧设备的实时数量；
按照预设比例关系确定与所述实时数量对应的目标时长；
在所述目标时长与所述预设时长相同时，返回周期性地统计与所述云端大数据服务器存在有效连接的数据侧设备的实时数量的步骤；
在所述目标时长与所述预设时长不相同时，采用所述目标时长替换所述预设时长。


6.根据权利要求1所述的数据处理方法，其特征在于，提取所述设备状态列表中的状态信息，包括：
确定所述设备状态列表的列表结构信息对应的列表结构数据包，获取所述设备状态列表的列表参数信息对应的列表参数数据包；其中，所述列表结构数据包和所述列表参数数据包分别包括多个不同数据优先级的数据组；
提取所述设备状态列表的列表结构信息在所述列表结构数据包的其中一个数据组的状态指向信息，将所述列表参数数据包中具有最小数据优先级的数据组确定为目标数据组；
根据所述设备状态列表的生成时刻将所述状态指向信息加载到所述目标数据组中，在所述目标数据组中得到与所述状态指向信息对应的指向结果信息；
根据所述状态指向信息以及所述指向结果信息，生成所述设备状态列表的列表结构信...

【专利技术属性】
技术研发人员：洪江川，
申请(专利权)人：洪江川，
类型：发明
国别省市：云南;53