数据的实时处理方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例提供了一种数据的实时处理方法、装置、设备及存储介质，该方法包括：对采集到的数据进行分流处理，得到分流数据文件；对分流数据文件进行排序，得到顺序文件；对顺序文件中的数据进行预处理，得到预处理数据，预处理包括对顺序文件中的数据内容进行格式统一、编码转换以及字段简化；根据预设条件对预处理数据中的第一部分数据进行分割，得到第一部分数据的上下行数据；对上下行数据和预处理数据中的第二部分数据进行指标列转行，生成全维度基础宽表；根据全维度基础宽表和IQ数据库，生成多维度宽表数据。本发明专利技术能够减少数据库的处理数据量，在保证数据的实时处理效率的同时，提高了现有设备的利用率，降低了对整体资源的消耗。

Real time data processing methods, devices, equipment and storage media

【技术实现步骤摘要】
数据的实时处理方法、装置、设备及存储介质
本专利技术涉及大数据
，尤其涉及一种数据的实时处理方法、装置、设备和计算机可读存储介质。
技术介绍
传统的基于大数据的实时流式数据处理的方式包括ApacheStorm和SparkStreaming两种流式处理框架，通过ApacheStorm或SparkStreaming，均可实现实时数据流的可扩展、高吞吐量、容错流处理，实时数据可以从分布式发布订阅消息系统(Kafka)、日志收集系统(Flume)或传输控制协议(TransmissionControlProtocol，TCP)套接字中获取，并且可以使用以高级函数(如map、reduce、join和window)表示的复杂算法进行处理。但在根据上述两种流式处理框架对实时流式数据进行处理时，需要消耗大量资源，前端需要配置大量的Kafka的集群，后端需要提供大量的实时数据流式处理的计算资源，并且需要分配较高的优先级。
技术实现思路
本专利技术实施例提供了一种数据的实时处理方法、装置、设备和存储介质，通过在内存文件系统中的初步汇总，减少了数据库的处理数据量，在保证了数据的实时处理效率的同时，进一步提高了现有设备的利用率，降低了对整体资源的消耗。第一方面，提供了一种数据的实时处理方法，该方法包括：对采集到的数据进行分流处理，得到分流数据文件；对分流数据文件进行排序，得到顺序文件；对顺序文件中的数据进行预处理，得到预处理数据，预处理包括对顺序文件中的数据内容进行格式统一、编码转换以及字段简化；根据预设条件对预处理数据中的第一部分数据进行分割，得到第一部分数据的上下行数据；对上下行数据和预处理数据中的第二部分数据进行指标列转行，生成全维度基础宽表；根据全维度基础宽表和IQ数据库，生成多维度宽表数据。在第一方面的一些可实现方式中，对采集到的数据进行分流处理，得到分流数据文件，包括：根据时间粒度将采集到的数据进行分流，得到分流数据；在不同线程中对分流数据执行异步并行处理，得到分流数据文件。在第一方面的一些可实现方式中，根据预设条件对预处理数据中的第一部分数据进行分割，得到第一部分数据的上下行数据，包括：根据接口协议获取预处理数据中的第一部分数据；根据预设条件对第一部分数据进行按行分割，得到第一部分数据的上下行数据。在第一方面的一些可实现方式中，根据全维度基础宽表和IQ数据库，生成多维度宽表数据，包括：对全维度基础宽表进行多线程并发上传，得到顺序基础宽表；根据顺序基础宽表和IQ数据库，生成多维度宽表数据。在第一方面的一些可实现方式中，在对顺序文件中的数据进行预处理之前，包括：将顺序文件缓存至内存文件系统。在第一方面的一些可实现方式中，在根据全维度基础宽表和IQ数据库，生成多维度宽表数据之前，包括：当数据丢失时，根据预先持久化到磁盘上的数据进行数据补算。第二方面，提供了一种数据的实时处理装置，该装置包括：分流模块，对采集到的数据进行分流处理，得到分流数据文件；排序模块，用于对分流数据文件进行排序，得到顺序文件；预处理模块，用于对顺序文件中的数据进行预处理，得到预处理数据，预处理包括对顺序文件中的数据内容进行格式统一、编码转换以及字段简化；分割模块，用于根据预设条件对预处理数据中的第一部分数据进行分割，得到第一部分数据的上下行数据；全维度汇总模块，用于对上下行数据和预处理数据中的第二部分数据进行指标列转行，生成全维度基础宽表；多维度汇总模块，用于根据全维度基础宽表和IQ数据库，生成多维度宽表数据。在第二方面的一些可实现方式中，分流模块具体用于，根据时间粒度将采集到的数据进行分流，得到分流数据；在不同线程中对分流数据执行异步并行处理，得到分流数据文件。在第二方面的一些可实现方式中，分割模块具体用于，根据接口协议获取预处理数据中的第一部分数据；根据预设条件对第一部分数据进行按行分割，得到第一部分数据的上下行数据。在第二方面的一些可实现方式中，多维度汇总模块具体用于，对全维度基础宽表进行多线程并发上传，得到顺序基础宽表；根据顺序基础宽表和IQ数据库，生成多维度宽表数据。在第二方面的一些可实现方式中，该装置还包括缓存模块，用于在对顺序文件中的数据进行预处理之前，将顺序文件缓存至内存文件系统。第三方面，提供了一种数据的实时处理设备，该设备包括：处理器以及存储有计算机程序指令的存储器；处理器执行计算机程序指令时实现第一方面或者第一方面的一些可实现方式中的数据的实时处理方法。第四方面，提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现第一方面或者第一方面的一些可实现方式中的数据的实时处理方法。本专利技术提供一种数据的实时处理方法、装置、设备和计算机可读存储介质，通过对采集到的数据进行分流处理，得到分流数据文件；对分流数据文件进行排序，得到顺序文件；对顺序文件中的数据进行预处理，得到预处理数据，预处理包括对顺序文件中的数据内容进行格式统一、编码转换以及字段简化；根据预设条件对预处理数据中的第一部分数据进行分割，得到第一部分数据的上下行数据；对上下行数据和预处理数据中的第二部分数据进行指标列转行，生成全维度基础宽表；根据全维度基础宽表和IQ数据库，生成多维度宽表数据，能够减少数据库的处理数据量，在保证了数据的实时处理效率的同时，进一步提高了现有设备的利用率，降低了对整体资源的消耗。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种数据的实时处理方法的流程示意图；图2是本专利技术实施例提供的一种数据的实时处理步骤的流程示意图；图3是本专利技术实施例提供的一种数据分割处理方法的流程示意图；图4是本专利技术实施例提供的一种数据的上传入库方法的流程示意图；图5是本专利技术实施例提供的一种数据的汇总方法的流程示意图；图6是本专利技术实施例提供的一种数据的实时处理装置的结构示意图；图7是本专利技术实施例提供的一种数据的实时处理设备的结构示意图。具体实施方式下面将详细描述本专利技术的各个方面的特征和示例性实施例，为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本专利技术，并不被配置为限定本专利技术。对于本领域技术人员来说，本专利技术可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本专利技术的示例来提供对本专利技术更好的理解。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而本文档来自技高网...

【技术保护点】
1.一种数据的实时处理方法，其特征在于，所述方法包括：/n对采集到的数据进行分流处理，得到分流数据文件；/n对所述分流数据文件进行排序，得到顺序文件；/n对所述顺序文件中的数据进行预处理，得到预处理数据，所述预处理包括对所述顺序文件中的数据内容进行格式统一、编码转换以及字段简化；/n根据预设条件对所述预处理数据中的第一部分数据进行分割，得到所述第一部分数据的上下行数据；/n对所述上下行数据和所述预处理数据中的第二部分数据进行指标列转行，生成全维度基础宽表；/n根据所述全维度基础宽表和IQ数据库，生成多维度宽表数据。/n

【技术特征摘要】
1.一种数据的实时处理方法，其特征在于，所述方法包括：
对采集到的数据进行分流处理，得到分流数据文件；
对所述分流数据文件进行排序，得到顺序文件；
对所述顺序文件中的数据进行预处理，得到预处理数据，所述预处理包括对所述顺序文件中的数据内容进行格式统一、编码转换以及字段简化；
根据预设条件对所述预处理数据中的第一部分数据进行分割，得到所述第一部分数据的上下行数据；
对所述上下行数据和所述预处理数据中的第二部分数据进行指标列转行，生成全维度基础宽表；
根据所述全维度基础宽表和IQ数据库，生成多维度宽表数据。


2.根据权利要求1所述的方法，其特征在于，所述对采集到的数据进行分流处理，得到分流数据文件，包括：
根据时间粒度将所述采集到的数据进行分流，得到分流数据；
在不同线程中对所述分流数据执行异步并行处理，得到所述分流数据文件。


3.根据权利要求1所述的方法，其特征在于，所述根据预设条件对所述预处理数据中的第一部分数据进行分割，得到所述第一部分数据的上下行数据，包括：
根据接口协议获取所述预处理数据中的所述第一部分数据；
根据预设条件对所述第一部分数据进行按行分割，得到所述第一部分数据的上下行数据。


4.根据权利要求1所述的方法，其特征在于，所述根据所述全维度基础宽表和IQ数据库，生成多维度宽表数据，包括：
对所述全维度基础宽表进行多线程并发上传，得到顺序基础宽表；
根据所述顺序基础宽表和所述IQ数据库，生成多维度宽表数据。


5.根据权利要求1-4任意一项所述的方法，其特征在于，在所述对所述顺序文件中的数据进行预处理之前，包括：
将所述顺序文件缓存至内存文件系统。


6.根据权利要求5所述的方法，其特征在于，在所述根据所述全维度基础宽表和IQ数据库，生成多维度宽表数据之前，所述方法还包括：
当数据丢失时，根据预先持久化到磁盘上的数据进行数据补算。


7.一种数据的实时处理装置，其特征在于，所述装置包括：

【专利技术属性】
技术研发人员：孙怀阔，周泉，
申请(专利权)人：中国移动通信集团江苏有限公司，中国移动通信集团有限公司，
类型：发明
国别省市：江苏;32