大数据处理方法、装置、设备及介质制造方法及图纸

本发明专利技术涉及大数据领域，提供一种大数据处理方法、装置、设备及介质，所述方法包括：实时接收到当前时刻的包含多个指令数据的疫情大数据集群；将所有指令数据区分为移动查询数据、网页查询数据和更新数据；同步执行移动查询操作、网页查询操作和数据更新操作；将相同的当前时刻的移动查询语句和网页查询语句记录为共有查询语句；通过共享网管中心判断移动查询结果以及网页查询结果是否一致；若不一致，通过共享网管中心根据更新时间进行校对并更新；通过共享网管中心，向第一客户端发送移动查询结果，同时向第二客户端发送网页查询结果；确认疫情大数据集群处理完成。本发明专利技术实现了自动校对，优化了数据库性能，提高了查询结果的准确性。

【技术实现步骤摘要】
大数据处理方法、装置、设备及介质
本专利技术涉及大数据的数据处理领域，尤其涉及一种大数据处理方法、装置、设备及介质。
技术介绍
在疫情期间，全国各地的用户无时无刻都需要关注疫情数据，用户通过各种方式实时查询或者更新当前的疫情数据，查询的方式有通过移动手机中的应用程序软件查询，也有通过访问网页查询，而且全国各地的医务人员还需要实时更新当地的疫情数据，所以同一时刻会存在对于疫情数据的大批量查询数据以及更新数据的操作，MYSQL数据库面对大批量查询数据以及更新数据的操作是十分吃力的，大大降低了MYSQL数据库的性能，往往会导致查询数据延时或者更新数据延时的情况，甚至会导致宕机，造成疫情数据未能及时提供给用户，用户就会抱怨连连，严重用户体验满意度差。
技术实现思路
本专利技术提供一种大数据处理方法、装置、计算机设备及存储介质，实现了通过利用数据库分流能够快速查询到疫情结果，并通过共享网管中心对同一时刻的来自不同客户端的查询结果进行自动校对，能够加快疫情查询速度，提高了查询结果的准确性，从而提升了用户体验满意度。一种大数据处理方法，包括：实时接收到当前时刻的疫情大数据集群；所述疫情大数据集群包含多个指令数据；将所有所述指令数据区分为移动查询数据、网页查询数据和更新数据；所述移动查询数据包括移动查询语句；所述网页查询数据包括网页查询语句；同步执行移动查询操作、网页查询操作和数据更新操作；所述移动查询操作是指在第一移动查询数据库中查询到与所述移动查询数据对应的移动查询结果；所述网页查询操作是指在第一网页查询数据库查询到与各所述网页查询数据对应的网页查询结果；所述数据更新操作是指在所述更新数据更新至MYSQL数据库之后，获得与所述更新数据对应的执行结果时，向与所述执行结果对应的客户端发送该执行结果；将相同的所述当前时刻的所述移动查询语句和所述网页查询语句记录为共有查询语句；通过共享网管中心判断与所述共有查询语句对应的所述移动查询结果以及所述网页查询结果是否一致；若与所述共有查询语句对应的所述移动查询结果以及所述网页查询结果不一致，通过所述共享网管中心对与所述共有查询语句对应的所述移动查询结果以及所述网页查询结果进行校对，并根据所述校对结果更新与所述共有查询语句对应的所述移动查询结果或/和网页查询结果；通过所述共享网管中心，向第一客户端发送所述移动查询结果，同时向第二客户端发送所述网页查询结果；在检测到所有所述移动查询结果、所有所述网页查询结果和所有所述执行结果均发送完毕时，确认所述疫情大数据集群处理完成。一种大数据处理装置，包括：接收模块，用于实时接收到当前时刻的疫情大数据集群；所述疫情大数据集群包含多个指令数据；区分模块，用于将所有所述指令数据区分为移动查询数据、网页查询数据和更新数据；所述移动查询数据包括移动查询语句；所述网页查询数据包括和网页查询语句；执行模块，用于同步执行移动查询操作、网页查询操作和数据更新操作；所述移动查询操作是指在第一移动查询数据库中查询到与所述移动查询数据对应的移动查询结果；所述网页查询操作是指在第一网页查询数据库查询到与各所述网页查询数据对应的网页查询结果；所述数据更新操作是指在所述更新数据更新至MYSQL数据库之后，获得与所述更新数据对应的执行结果时，向与所述执行结果对应的客户端发送该执行结果；记录模块，用于将相同的所述当前时刻的所述移动查询语句和所述网页查询语句记录为共有查询语句；判断模块，用于通过共享网管中心判断与所述共有查询语句对应的所述移动查询结果以及所述网页查询结果是否一致；所述共享网管中心与各所述移动查询数据库以及各所述网页查询数据库通信连接；校对模块，用于若与所述共有查询语句对应的所述移动查询结果以及所述网页查询结果不一致，通过所述共享网管中心对与所述共有查询语句对应的所述移动查询结果以及所述网页查询结果进行校对，并根据所述校对结果更新与所述共有查询语句对应的所述移动查询结果或/和网页查询结果；发送模块，用于通过所述共享网管中心，向第一客户端发送所述移动查询结果，同时向第二客户端发送所述网页查询结果；确认模块，用于在检测到所有所述移动查询结果、所有所述网页查询结果和所有所述执行结果均发送完毕时，确认所述疫情大数据集群处理完成。一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述大数据处理方法的步骤。一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述大数据处理方法的步骤。本专利技术提供的大数据处理方法、装置、计算机设备及存储介质，通过实时接收到当前时刻的包含多个指令数据的疫情大数据集群；将所有所述指令数据区分为移动查询数据、网页查询数据和更新数据；所述移动查询数据包括移动查询语句；所述网页查询数据包括网页查询语句；同步执行移动查询操作、网页查询操作和数据更新操作；所述移动查询操作是指在第一移动查询数据库中查询到与所述移动查询数据对应的移动查询结果；所述网页查询操作是指在第一网页查询数据库查询到与各所述网页查询数据对应的网页查询结果；所述数据更新操作是指在所述更新数据更新至MYSQL数据库之后，获得与所述更新数据对应的执行结果时，向与所述执行结果对应的客户端发送该执行结果；将相同的所述当前时刻的所述移动查询语句和所述网页查询语句记录为共有查询语句；通过共享网管中心判断与所述共有查询语句对应的所述移动查询结果以及所述网页查询结果是否一致；若与所述共有查询语句对应的所述移动查询结果以及所述网页查询结果不一致，通过所述共享网管中心对与所述共有查询语句对应的所述移动查询结果以及所述网页查询结果进行校对，并更新与所述共有查询语句对应的所述移动查询结果或/和网页查询结果；通过所述共享网管中心，向第一客户端发送所述移动查询结果，同时向第二客户端发送所述网页查询结果；确认所述疫情大数据集群处理完成，如此，实现了通过利用数据库分流能够快速查询到疫情结果，以及让MYSQL数据库仅接受更新数据的操作，加快了疫情查询速度，避免了查询延时和宕机，并且大大减少了MYSQL数据库的负荷，优化了MYSQL数据库的性能，并且实现了通过共享网管中心对同一时刻的来自不同客户端的查询结果进行自动校对，提高了查询结果的准确性，从而提升了用户体验满意度。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一实施例中大数据处理方法的应用环境示意图；图2是本专利技术一实施例中大数据处理方法的流程图；图3是本专利技术一实施例中大数据处理方法的步骤S30的流程图；图4是本专利技术另一实施例中大数据处理方法的流程图；本文档来自技高网...

【技术保护点】
1.一种大数据处理方法，其特征在于，包括：/n实时接收到当前时刻的疫情大数据集群；所述疫情大数据集群包含多个指令数据；/n将所有所述指令数据区分为移动查询数据、网页查询数据和更新数据；所述移动查询数据包括移动查询语句；所述网页查询数据包括网页查询语句；/n同步执行移动查询操作、网页查询操作和数据更新操作；所述移动查询操作是指在第一移动查询数据库中查询到与所述移动查询数据对应的移动查询结果；所述网页查询操作是指在第一网页查询数据库查询到与各所述网页查询数据对应的网页查询结果；所述数据更新操作是指在所述更新数据更新至MYSQL数据库之后，获得与所述更新数据对应的执行结果时，向与所述执行结果对应的客户端发送该执行结果；/n将相同的所述当前时刻的所述移动查询语句和所述网页查询语句记录为共有查询语句；/n通过共享网管中心判断与所述共有查询语句对应的所述移动查询结果以及所述网页查询结果是否一致；/n若与所述共有查询语句对应的所述移动查询结果以及所述网页查询结果不一致，通过所述共享网管中心对与所述共有查询语句对应的所述移动查询结果以及所述网页查询结果进行校对，并根据所述校对结果更新与所述共有查询语句对应的所述移动查询结果或/和网页查询结果；/n通过所述共享网管中心，向第一客户端发送所述移动查询结果，同时向第二客户端发送所述网页查询结果；/n在检测到所有所述移动查询结果、所有所述网页查询结果和所有所述执行结果均发送完毕时，确认所述疫情大数据集群处理完成。/n...

【技术特征摘要】
1.一种大数据处理方法，其特征在于，包括：
实时接收到当前时刻的疫情大数据集群；所述疫情大数据集群包含多个指令数据；
将所有所述指令数据区分为移动查询数据、网页查询数据和更新数据；所述移动查询数据包括移动查询语句；所述网页查询数据包括网页查询语句；
同步执行移动查询操作、网页查询操作和数据更新操作；所述移动查询操作是指在第一移动查询数据库中查询到与所述移动查询数据对应的移动查询结果；所述网页查询操作是指在第一网页查询数据库查询到与各所述网页查询数据对应的网页查询结果；所述数据更新操作是指在所述更新数据更新至MYSQL数据库之后，获得与所述更新数据对应的执行结果时，向与所述执行结果对应的客户端发送该执行结果；
将相同的所述当前时刻的所述移动查询语句和所述网页查询语句记录为共有查询语句；
通过共享网管中心判断与所述共有查询语句对应的所述移动查询结果以及所述网页查询结果是否一致；
若与所述共有查询语句对应的所述移动查询结果以及所述网页查询结果不一致，通过所述共享网管中心对与所述共有查询语句对应的所述移动查询结果以及所述网页查询结果进行校对，并根据所述校对结果更新与所述共有查询语句对应的所述移动查询结果或/和网页查询结果；
通过所述共享网管中心，向第一客户端发送所述移动查询结果，同时向第二客户端发送所述网页查询结果；
在检测到所有所述移动查询结果、所有所述网页查询结果和所有所述执行结果均发送完毕时，确认所述疫情大数据集群处理完成。


2.如权利要求1所述的大数据处理方法，其特征在于，所述在第一移动查询数据库中查询到与所述移动查询数据对应的移动查询结果，包括：
获取所述移动查询数据中的终端地点；
在所述移动查询数据集群中的集群地图上查询与所述终端地点匹配的坐标区域，判断所述坐标区域内是否存在驻扎点；
若所述坐标区域内存在驻扎点，将离所述坐标区域中的中心点最近的驻扎点对应的所述移动查询数据库确定为所述移动查询数据对应的所述第一移动查询数据库；
若所述坐标区域内不存在驻扎点，以所述坐标区域中的中心点为圆心向外扩张扫描，直到扫描到驻扎点，将扫描到的该驻扎点对应的所述移动查询数据库确定为所述移动查询数据对应的所述第一移动查询数据库；
将所述移动查询数据发送至与其对应的所述第一移动查询数据库，获得在所述第一移动查询数据库中查询与所述移动查询数据对应的所述移动查询结果。


3.如权利要求1所述的大数据处理方法，其特征在于，所述同步执行移动查询操作、网页查询操作和数据更新操作之后，还包括：
将相同的所述当前时刻的所述移动查询语句和所述网页查询语句记录为单独共有查询语句；其中，所述共享网管中心包括多个所述网管中心，一个网管中心包括相同驻扎点的第一移动查询数据库和第一网页查询数据库；
通过网管中心判断与所述单独共有查询语句对应的所述移动查询结果以及所述网页查询结果是否一致；
若与所述单独共有查询语句对应的所述移动查询结果以及所述网页查询结果不一致，通过所述网管中心根据所述第一移动查询数据库的更新时间和所述第一网页查询数据库的更新时间，对与所述单独共有查询语句对应的所述移动查询结果以及所述网页查询结果进行校对，并根据所述单独校对结果更新与所述移动查询数据对应的所述移动查询结果或/和与所述网页查询数据对应的网页查询结果；
通过所述网管中心，向第三客户端发送所述移动查询结果，同时向第四客户端发送所述网页查询结果；
在检测到所有所述移动查询结果、所有所述网页查询结果和所有所述执行结果均发送完毕时，确认所述疫情大数据集群处理完成。


4.如权利要求1所述的大数据处理方法，其特征在于，所述同步执行移动查询操作、网页查询操作和数据更新操作之前，包括：
通过与所述移动查询数据库对应的Canal同步工具监听所述MYSQL数据库，并获取日志数据；其中，所述日志数据为所述MYSQL数据库发生数据增量更新之后与更新的数据增量对应的数据；
通过所述Canal同步工具中的脚本文件，对所述日志数据进行解析，生成同步执行代码；
将所...

【专利技术属性】
技术研发人员：谢树英，
申请(专利权)人：平安国际智慧城市科技股份有限公司，
类型：发明
国别省市：广东;44