一种多终端的数据管理方法及装置制造方法及图纸

本公开涉及一种多终端的数据管理方法及装置，属于通信技术领域，本公开首先采集至少一个终端的数据，然后通过统一的预设分类算法和预设修复算法对数据进行分类和修复，因此只需要采用一个处理逻辑，即可在同一业务场景下对多个终端产生的数据进行处理，并且提高了数据采集和修复速度。此外，采用多个数据库分别存储正常数据和异常数据，从而避免了现有技术中数据库分散在多服务端中，从而导致数据查询和排查问题困难等问题。采集的正常数据和异常数据可以以并可视化显示的方式直观地展示在用户面前，从而便于用户对数据进行监控和管理。

【技术实现步骤摘要】
一种多终端的数据管理方法及装置
本公开涉及通信
，尤其涉及一种多终端的数据管理方法及装置。
技术介绍
目前，现有技术中在采集和统计分析多个终端产生的数据时，通常需要多个终端将自身产生的数据上传至相应的服务端，因此存在多服务器处理逻辑，从而导致在同一业务场景下的数据处理规则不统一的问题。并且，由于数据日志分散于多个服务端中，因此数据日志查看困难，排查问题麻烦且难以感知，在集群部署的情况下尤为明显。此外，随着服务端数据的积累，现有技术中常用的关系型数据库管理系统mysql的查询性能下降，虽然可以通过建立索引、分区、分表和分库等手段提升性能，但都存在一些问题，例如索引过多导致的性能下降，分库和分表后的多库多表导致排序统计困难，以及基于多维度的统计困难，建立多维冗余数据导致的存储空间浪费等问题。
技术实现思路
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种多终端的数据管理方法及装置。第一方面，本公开提供了一种多终端的数据管理方法，包括：S101、采集至少一个终端产生的数据；S102、通过预设分类算法对数据进行分类处理，得到正常数据和异常数据，并将正常数据存储于第一数据库，将异常数据存储于第二数据库；S103、从第二数据库中提取异常数据，并通过预设修复算法修复异常数据，并重复执行S102，以通过预设分类算法对修复后的异常数据进行分类处理；S104、从第一数据库中查询正常数据，和/或从第二数据库中查询异常数据，并可视化显示。在一些实施例中，通过预设分类算法对数据进行分类处理，得到正常数据和异常数据具体包括：通过预设分类算法对数据进行数据校验、数据清洗和数据提取中的至少一种，得到正常数据和异常数据。在一些实施例中，将正常数据存储于第一数据库具体包括：将正常数据发送至消息队列；从消息队列中读取正常数据，并将正常数据存储于第一数据库；将异常数据存储于第二数据库具体包括：将异常数据标准化；将标准化后的异常数据存储于第二数据库。在一些实施例中，通过数据采集工具OpenAPI和SDK中的至少一种采集至少一个终端产生的数据。在一些实施例中，第一数据库和/或第二数据库包括Elasticsearch和Clickhouse中的至少一种。在一些实施例中，将异常数据标准化具体包括：通过数据采集工具Beats采集异常数据；通过数据收集引擎Logstash将异常数据标准化。在一些实施例中，通过可视化平台Kibana从第一数据库中查询正常数据，和/或从第二数据库中查询异常数据，并可视化显示。第二方面，本公开提供了一种多终端的数据管理装置，包括：数据采集单元，用于采集至少一个终端产生的数据；数据处理单元，用于通过预设分类算法对数据进行分类处理，得到正常数据和异常数据，并将正常数据存储于第一数据库，将异常数据存储于第二数据库；数据修复单元，用于从第二数据库中提取异常数据，并通过预设修复算法修复异常数据，并将修复后的异常数据传输至数据处理单元，以通过预设分类算法对修复后的异常数据进行分类处理；数据查询单元，用于从第一数据库中查询正常数据，和/或从第二数据库中查询异常数据，并可视化显示。第三方面，本公开提供了一种服务器，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如本公开第一方面任一的多终端的数据管理方法。第四方面，本公开提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本公开第一方面任一的多终端的数据管理方法。本公开实施例提供的技术方案与现有技术相比具有如下优点：通过首先采集至少一个终端的数据，然后通过统一的预设分类算法和预设修复算法对数据进行分类和修复，因此只需要采用一个处理逻辑，即可在同一业务场景下对多个终端产生的数据进行处理，并且提高了数据采集和修复速度。此外，采用多个数据库分别存储正常数据和异常数据，从而避免了现有技术中数据库分散在多服务端中，从而导致数据查询和排查问题困难等问题。采集的正常数据和异常数据可以以并可视化显示的方式直观地展示在用户面前，从而便于用户对数据进行监控和管理。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本公开实施例提供的一种多终端的数据管理方法流程示意图；图2为本公开实施例提供的将正常数据存储于第一数据库的流程示意图；图3为本公开实施例提供的将异常数据存储于第二数据库的流程示意图；图4为本公开实施例提供的将异常数据标准化的流程示意图；图5为本公开实施例提供的服务端的工作流程示意图；图6为本公开实施例提供的一种多终端的数据管理装置结构框图；图7为本公开实施例提供的一种服务器的结构示意图。具体实施方式为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。针对现有技术中在采集和统计分析多个终端产生的数据时，通常需要多个终端将自身产生的数据上传至相应的服务端，因此存在多服务器处理逻辑，从而导致在同一业务场景下的数据处理规则不统一的问题。并且，由于数据日志分散于多个服务端中，因此数据日志查看困难，排查问题麻烦且难以感知，在集群部署的情况下尤为明显。此外，随着服务端数据的积累，现有技术中常用的关系型数据库管理系统mysql的查询性能下降，虽然可以通过建立索引、分区、分表和分库等手段提升性能，但都存在一些问题，例如索引过多导致的性能下降，分库和分表后的多库多表导致排序统计困难，以及基于多维度的统计困难，建立多维冗余数据导致的存储空间浪费等问题。本公开实施例提供的多终端的数据管理的技术方案，首先采集至少一个终端的数据，然后通过统一的预设分类算法和预设修复算法对数据进行分类和修复，因此只需要采用一个处理逻辑，即可在同一业务场景下对多个终端产生的数据进行处理，并且提高了数据采集和修复速度。此外，采用多个数据库分别存储正常数据和异常数据，从而避免了现有技术中数据库分散在多服务端中，从而导致数据查询和排查问题困难等问题。采集的正常数据和异常数据可以以并可视化显示的方式直观地展示在用户面前，从而便于用本文档来自技高网...

【技术保护点】
1.一种多终端的数据管理方法，其特征在于，包括：/nS101、采集至少一个终端产生的数据；/nS102、通过预设分类算法对所述数据进行分类处理，得到正常数据和异常数据，并将所述正常数据存储于第一数据库，将所述异常数据存储于第二数据库；/nS103、从所述第二数据库中提取所述异常数据，并通过预设修复算法修复所述异常数据，并重复执行所述S102，以通过所述预设分类算法对修复后的异常数据进行分类处理；/nS104、从所述第一数据库中查询所述正常数据，和/或从所述第二数据库中查询所述异常数据，并可视化显示。/n

【技术特征摘要】
1.一种多终端的数据管理方法，其特征在于，包括：
S101、采集至少一个终端产生的数据；
S102、通过预设分类算法对所述数据进行分类处理，得到正常数据和异常数据，并将所述正常数据存储于第一数据库，将所述异常数据存储于第二数据库；
S103、从所述第二数据库中提取所述异常数据，并通过预设修复算法修复所述异常数据，并重复执行所述S102，以通过所述预设分类算法对修复后的异常数据进行分类处理；
S104、从所述第一数据库中查询所述正常数据，和/或从所述第二数据库中查询所述异常数据，并可视化显示。


2.如权利要求1所述的方法，其特征在于，所述通过预设分类算法对所述数据进行分类处理，得到正常数据和异常数据具体包括：
通过预设分类算法对所述数据进行数据校验、数据清洗和数据提取中的至少一种，得到正常数据和异常数据。


3.如权利要求1所述的方法，其特征在于，所述将所述正常数据存储于第一数据库具体包括：
将所述正常数据发送至消息队列；
从所述消息队列中读取所述正常数据，并将所述正常数据存储于第一数据库；
所述将所述异常数据存储于第二数据库具体包括：
将所述异常数据标准化；
将标准化后的异常数据存储于第二数据库。


4.如权利要求1所述的方法，其特征在于，通过数据采集工具OpenAPI和SDK中的至少一种采集所述至少一个终端产生的数据。。


5.如权利要求1所述的方法，其特征在于，所述第一数据库和/或所述第二数据库包括Elasticsearch和Clickhouse中...

【专利技术属性】
技术研发人员：曾祥勇，熊本安，王哲民，崔浩波，
申请(专利权)人：北京嗨学网教育科技股份有限公司，
类型：发明
国别省市：北京;11