数据预处理方法及装置制造方法及图纸

本发明专利技术公开了一种数据预处理方法，在接收到数据预处理指令时，获取待处理的数据；将获取的所述数据映射为预设消息模型对应的输入消息；采用预设的处理器对所述输入消息进行逻辑处理，以得到输出消息，其中，所述处理器对所述输入消息进行逻辑处理包括：提取所述输入消息的字段信息，并对所述字段信息进行加工变形，以得到输出消息。本发明专利技术还公开了一种数据预处理装置。本发明专利技术提高了数据预处理的效率，并降低了数据预处理的操作成本。

【技术实现步骤摘要】
数据预处理方法及装置
本专利技术涉及数据处理领域，尤其涉及一种数据预处理方法及装置。
技术介绍
随着计算机、互联网和物联网等技术在各个领域的大规模应用，产生的数据量也随之增多。由于数据源产生的数据类型多样，格式不一，因此，在处理数据之前，要先对数据进行预处理，并在预处理后才执行对数据的具体处理操作，而由于数据的类型多样和格式不一，导致数据的结构各不相同，对于不同的数据，需要开发不同的软件，分别对每种数据进行预处理，并在预处理结束后，才将数据集中到处理器中执行后续的处理操作，而通过不同的开发软件对数据进行预处理，导致数据预处理的过程操作耗时，效率低，操作成本高。
技术实现思路
本专利技术的主要目的在于提出一种数据预处理方法及装置，旨在解决传统的处理预处理方式，对数据预处理的过程操作耗时，效率低，操作成本高的技术问题。为实现上述目的，本专利技术提供的一种数据预处理方法，所述数据预处理方法包括以下步骤：在接收到数据预处理指令时，获取待处理的数据；将获取的所述数据映射为预设消息模型对应的输入消息；采用预设的处理器对所述输入消息进行逻辑处理，以得到输出消息，其中，所述处理器对所述输入消息进行逻辑处理包括：提取所述输入消息的字段信息，并对所述字段信息进行加工变形，以得到输出消息。优选地，所述采用预设的处理器对所述输入消息进行逻辑处理，以得到输出消息的步骤包括：确定所述输入消息的类型；根据预设的类型与消息执行流的映射关系，获取确定的类型对应的消息执行流；基于获取的所述消息执行流确定所述处理器，其中，确定的所述处理器包括输出消息处理器；根据确定的所述处理器对所述输入消息进行逻辑处理，以得到输出消息。优选地，在确定的所述处理器还包括临时消息处理器及/或缓存消息处理器时，所述根据确定的所述处理器对所述输入消息进行逻辑处理，以得到输出消息的步骤包括：确定所述临时消息处理器及/或所述缓存消息处理器对应的属性；在所述临时消息处理器及/或所述缓存消息处理器对应的属性为可创建属性时，根据所述临时消息处理器对所述输入消息进行逻辑处理以得到临时消息，及/或根据所述缓存消息处理器对所述输入消息进行逻辑处理以得到缓存消息；根据所述输出消息处理器对所述临时消息及/或所述缓存消息进行逻辑处理，以得到输出消息。优选地，所述根据所述输出消息处理器对所述临时消息及/或所述缓存消息进行逻辑处理，以得到输出消息的同时，若接收到临时消息的存储指令，执行以下步骤：将所述临时消息存储到预设的缓存区域中，以生成缓存消息，以供下次接收到数据预处理指令时，将所述缓存区域中的缓存消息作为新的输入消息的被引用数据。优选地，所述数据预处理方法还包括：在所述缓存区域的消息存储容量值达到预设容量值时，删除所述缓存区域中的部分缓存消息，其中，删除的缓存消息的访问时间早于未删除的缓存消息的访问时间；或者，在所述缓存区域中有缓存消息的访问时间点距离当前时间点达到预设时长时，删除所述缓存消息。此外，为实现上述目的，本专利技术还提出一种数据预处理装置，所述数据预处理装置包括：获取模块，用于在接收到数据预处理指令时，获取待处理的数据；映射模块，用于将获取的所述数据映射为预设消息模型对应的输入消息；处理模块，用于采用预设的处理器对所述输入消息进行逻辑处理，以得到输出消息，其中，所述处理器对所述输入消息进行逻辑处理包括：提取所述输入消息的字段信息，并对所述字段信息进行加工变形，以得到输出消息。优选地，所述处理模块包括：第一确定子模块，用于确定所述输入消息的类型；获取子模块，用于根据预设的类型与消息执行流的映射关系，获取确定的类型对应的消息执行流；第二确定子模块，用于基于获取的所述消息执行流确定所述处理器，其中，确定的所述处理器包括输出消息处理器；处理子模块，用于根据确定的所述处理器对所述输入消息进行逻辑处理，以得到输出消息。优选地，在确定的所述处理器还包括临时消息处理器及/或缓存消息处理器时，所述处理子模块包括：确定单元，用于确定所述临时消息处理器及/或所述缓存消息处理器对应的属性；第一处理单元，用于在所述临时消息处理器及/或所述缓存消息处理器对应的属性为可创建属性时，根据所述临时消息处理器对所述输入消息进行逻辑处理以得到临时消息，及/或根据所述缓存消息处理器对所述输入消息进行逻辑处理以得到缓存消息；第二处理单元，用于根据所述输出消息处理器对所述临时消息及/或所述缓存消息进行逻辑处理，以得到输出消息。优选地，所述数据预处理装置还包括：存储单元，用于若接收到临时消息的存储指令，将所述临时消息存储到预设的缓存区域中，以生成缓存消息，以供下次接收到数据预处理指令时，将所述缓存区域中的缓存消息作为新的输入消息的被引用数据。优选地，所述数据预处理装置还包括：删除模块，用于在所述缓存区域的消息存储容量值达到预设容量值时，删除所述缓存区域中的部分缓存消息，其中，删除的缓存消息的访问时间早于未删除的缓存消息的访问时间；或者，在所述缓存区域中有缓存消息的访问时间点距离当前时间点达到预设时长时，删除所述缓存消息。本专利技术提出的数据预处理方法及装置，在接收到数据预处理指令时，获取待处理的数据，将获取的所述数据映射为预设消息模型对应的输入消息，采用预设的处理器对所述输入消息进行逻辑处理，以得到输出消息，其中，所述处理器对所述输入消息进行逻辑处理包括：提取所述输入消息的字段信息，并对所述字段信息进行加工变形，以得到输出消息，实现了将不同类型的数据映射为消息模型对应的输入消息，也就是将数据去结构化，以提取出输入消息的字段信息，并对提取的字段信息进行逻辑处理，最终得到输出消息，而不是在数据的类型结构不同时，需要不同的软件分别对所述进行预处理，本专利技术提高了数据预处理的效率，并降低了数据预处理的操作成本。附图说明图1为本专利技术数据预处理方法较佳实施例的流程示意图；图2为本专利技术采用预设的处理器对所述输入消息进行逻辑处理，以得到输出消息较佳实施例的流程示意图；图3为本专利技术根据确定的所述处理器对所述输入消息进行逻辑处理较佳实施例的流程示意图；图4为本专利技术数据预处理装置较佳实施例的功能模块示意图；图5为图4中处理模块的细化功能模块示意图；图6为图5中处理子模块的细化功能模块示意图；图7为本专利技术的实施场景的示意图；图8为本专利技术预设的消息执行流的示意图；图9为图8中消息执行流中各个消息对应的高度值的示意图。本专利技术目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术提供一种数据预处理方法。参照图1，图1为本专利技术数据预处理方法第一实施例的流程示意图。本实施例提出一种数据预处理方法，所述数据预处理方法包括：步骤S10，在接收到数据预处理指令时，获取待处理的数据；在本实施例中，在接收到所述数据预处理指令时，获取所述待处理的数据，所述待处理数据包括：数据源产生的数据，值得注意的是，在数据预处理过程中，可获取上一次数据预处理过程产生的临时消息或缓存消息，并将所述临时消息或缓存消息作为待处理数据的被引用数据，进一步地，在上一次数据预处理过程中产生的临时消息可先存储到预设的缓存空间中成为缓存消息，然后在本次进行数据预处理时，将所述缓存区域中的缓存消本文档来自技高网...

【技术保护点】
一种数据预处理方法，其特征在于，所述数据预处理方法包括以下步骤：在接收到数据预处理指令时，获取待处理的数据；将获取的所述数据映射为预设消息模型对应的输入消息；采用预设的处理器对所述输入消息进行逻辑处理，以得到输出消息，其中，所述处理器对所述输入消息进行逻辑处理包括：提取所述输入消息的字段信息，并对所述字段信息进行加工变形，以得到输出消息。

【技术特征摘要】
1.一种数据预处理方法，其特征在于，所述数据预处理方法包括以下步骤：在接收到数据预处理指令时，获取待处理的数据；将获取的所述数据映射为预设消息模型对应的输入消息；采用预设的处理器对所述输入消息进行逻辑处理，以得到输出消息，其中，所述处理器对所述输入消息进行逻辑处理包括：提取所述输入消息的字段信息，并对所述字段信息进行加工变形，以得到输出消息。2.如权利要求1所述的数据预处理方法，其特征在于，所述采用预设的处理器对所述输入消息进行逻辑处理，以得到输出消息的步骤包括：确定所述输入消息的类型；根据预设的类型与消息执行流的映射关系，获取确定的类型对应的消息执行流；基于获取的所述消息执行流确定所述处理器，其中，确定的所述处理器包括输出消息处理器；根据确定的所述处理器对所述输入消息进行逻辑处理，以得到输出消息。3.如权利要求2所述的数据预处理方法，其特征在于，在确定的所述处理器还包括临时消息处理器及/或缓存消息处理器时，所述根据确定的所述处理器对所述输入消息进行逻辑处理，以得到输出消息的步骤包括：确定所述临时消息处理器及/或所述缓存消息处理器对应的属性；在所述临时消息处理器及/或所述缓存消息处理器对应的属性为可创建属性时，根据所述临时消息处理器对所述输入消息进行逻辑处理以得到临时消息，及/或根据所述缓存消息处理器对所述输入消息进行逻辑处理以得到缓存消息；根据所述输出消息处理器对所述临时消息及/或所述缓存消息进行逻辑处理，以得到输出消息。4.如权利要求3所述的数据预处理方法，其特征在于，所述根据所述输出消息处理器对所述临时消息及/或所述缓存消息进行逻辑处理，以得到输出消息的同时，若接收到临时消息的存储指令，执行以下步骤：将所述临时消息存储到预设的缓存区域中，以生成缓存消息，以供下次接收到数据预处理指令时，将所述缓存区域中的缓存消息作为新的输入消息的被引用数据。5.如权利要求4所述的数据预处理方法，其特征在于，所述数据预处理方法还包括：在所述缓存区域的消息存储容量值达到预设容量值时，删除所述缓存区域中的部分缓存消息，其中，删除的缓存消息的访问时间早于未删除的缓存消息的访问时间；或者，在所述缓存区域中有缓存消息的访问时间点距离当前时间点达到预设时长时，删除所述缓存消息...

【专利技术属性】
技术研发人员：占义忠，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：广东,44