一种数据处理方法及系统技术方案

本发明专利技术公开了一种数据处理方法，所述方法包括：接收数据查询请求，所述数据查询请求中携带有待查询数据的数据特征信息；在状态机存储引擎中提取与所述数据特征信息匹配的状态机信息，所述状态机信息包括一个以上的数据源信息；根据所述状态机信息在特征数据库中提取与所述数据源信息匹配的第一特征数据；从所述第一特征数据中提取与所述数据特征信息匹配的第二特征数据，将所述第二特征数据进行发送。本发明专利技术还同时公开了一种数据处理装置。

Data processing method and system

The invention discloses a data processing method, the method comprises: receiving data query, the query request carries to query the data information; in the state machine storage engine state machine information extraction and feature information of the data, and the information of the state machine includes a data source information more than; according to the information of the state machine in feature extraction and database first feature data of the data source information matching; from the first feature data extraction and feature number second feature information of the data, according to the characteristics of data, second were sent. The invention also discloses a data processing device at the same time.

【技术实现步骤摘要】
一种数据处理方法及系统
本专利技术涉及信息处理技术，具体涉及一种数据处理方法及装置。
技术介绍
随着移动智能终端的普及，大数据时代的到来，针对用户操作体验的分析需求日益突出。而由于终端应用开发端开发的业务随着设计方案的不同，其数据存储格式也不同，每个应用均拥有各自的数据存储和访问方式，彼此之间相对独立，进而形成一个个“信息孤岛”。而数据共享可以使更多的人充分地使用已有的数据资源，减少资料收集、数据采集等重复劳动和相应费用。现有技术中，为了实现数据共享通常采用以下两种方式对数据进行处理：1)采用烟囱式存储方式对多种数据存储格式的数据进行存储。即对每个数据存储格式的数据进行独立存储分析。具体如图2所示。图2为现有技术中数据处理方法的流程示意图；如图2所示，应用200a包括数据采集单元201a、数据存储单元202a、数据提取单元203a和数据分发单元204a；应用200b包括数据采集单元201b、数据存储单元202b、数据提取单元203b和数据分发单元204b；应用200c包括数据采集单元201c、数据存储单元202c、数据提取单元203c和数据分发单元204c；由此可知，现有技术中各应用均是独立进行数据存储、数据提取和数据分发的，彼此之间互不关联。而采用这种数据处理方式无法对多种数据存储格式的数据实现归一化存储及提取，也无法满足当前用户的按需提取分析大数据的需求。2)将不同数据存储格式的数据进行统一格式转换后，进行数据存储分析。具体如图3所示。图3为现有技术中另一种数据处理方法的流程示意图；如图3所示，采集单元301a、采集单元301b、采集单元301c分别对应用300a、应用300b和应用300c中的数据进行采集，然后经格式转换单元302对所述集单元301a、采集单元301b、采集单元301c采集到的数据进行数据存储格式转换，具体地，将不同数据存储格式的数据转换成相同数据存储格式的数据。然后，分别经数据存储单元303对格式转换后的数据进行存储，并经数据提取单元304根据用户请求进行数据提取，并由数据分发单元405将数据提取单元304提取出的数据向用户发送。由于现有技术中采集到的数据内容、数据存储格式和数据质量千差万别，有时甚至会遇到数据存储格式不能转换或数据转换格式后丢失信息等棘手问题。因此，这种方法虽然表面上解决了数据存储格式的不一致问题，满足了后续对大数据分析工作的需求，但是无法实现数据的按需提取，对数据的处理带来了局限性，同时基于此方法存储的数据，会导致后续的分析结果失真。
技术实现思路
为解决现有存在的技术问题，本专利技术实施例期望提供一种数据处理方法及装置，能够在不改变原数据存储格式的情况下，实现对多元异构数据的处理，满足当前用户的按需提取分析大数据的需求。本专利技术实施例的技术方案是这样实现的：根据本专利技术实施例的一方面，提供一种数据处理方法，所述方法包括：接收数据查询请求，所述数据查询请求中携带有待查询数据的数据特征信息；在状态机存储引擎中提取与所述数据特征信息匹配的状态机信息，所述状态机信息包括一个以上的数据源信息；根据所述状态机信息在特征数据库中提取与所述数据源信息匹配的第一特征数据；从所述第一特征数据中提取与所述数据特征信息匹配的第二特征数据，将所述第二特征数据进行发送。上述方案中，在所述接收数据查询请求之前，所述方法还包括：确定数据存储格式，根据所述数据存储格式进行数据采集；对采集到的数据进行特征分类，将不同特征的数据存储在所述特征数据库中不同特征的子数据库；将所述数据存储格式的信息存储在所述状态机存储引擎中的与所述数据存储格式对应的状态机中。上述方案中，在所述将所述数据存储格式的信息存储在所述状态机存储引擎中的与所述数据存储格式对应的状态机中之前，所述方法还包括：确定所述状态机存储引擎中的状态机信息与所述数据存储格式不匹配时，创建与所述数据存储格式相匹配的新状态机；将所述数据存储格式的信息存储在所述新状态机。上述方案中，在所述将所述第二特征数据进行发送之前，所述方法还包括：将所述一个以上的数据源信息与所述第一特征数据进行合并而生成元数据表；从所述元数据表中提取与所述数据特征信息匹配的第二特征数据，并将所述第二特征数据进行发送。上述方案中，将所述第二特征数据进行发送，包括：根据所述数据查询请求确定数据分发的目的地址；将所述第二特征数据向所述目的地址发送。根据本专利技术实施例的另一方面，提供一种数据处理装置，所述装置包括：数据分发引擎，用于接收数据查询请求，所述数据查询请求中携带有待查询数据的数据特征信息；并从数据提取引擎提取出的第一特征数据中提取与所述数据特征信息相匹配的第二特征数据，将所述第二特征数据进行发送；数据提取引擎，用于在状态机存储引擎中提取与所述数据特征信息匹配的状态机信息，所述状态机信息包括一个以上的数据源信息；根据所述状态机信息在特征数据库中提取与所述数据源信息匹配的第一特征数据。上述方案中，所述装置还包括：数据采集引擎和数据分拣引擎；所述数据采集引擎，用于确定数据存储格式，根据所述数据存储格式进行数据采集；所述数据分拣引擎，用于对采集到的数据进行特征分类，将不同特征的数据存储在所述特征数据库中不同特征的子数据库；将所述数据存储格式的信息存储在所述状态机存储引擎中的与所述数据存储格式对应的状态机中。上述方案中，所述数据分拣引擎，还用于确定所述状态机存储引擎中的状态机信息与所述数据存储格式不匹配时，创建与所述数据存储格式相匹配的新状态机；将所述数据存储格式的信息存储在所述新状态机。上述方案中，所述数据提取单元，还用于将所述一个以上的数据源信息和所述第一特征数据进行合并而生成元数据表；所述数据分发引擎，具体用于从所述元数据表中提取与所述数据特征信息相匹配的第二特征数据，并将所述第二特征数据进行发送。上述方案中，所述数据分发引擎，具体还用于根据所述数据查询请求确定数据分发的目的地址；将所述第二特征数据向所述目的地址发送。本专利技术实施例提供一种数据处理方法及装置，接收数据查询请求，所述数据查询请求中携带有待查询数据的数据特征信息；在状态机存储引擎中提取与所述数据特征信息匹配的状态机信息，所述状态机信息包括一个以上的数据源信息；根据所述状态机信息在特征数据库中提取与所述数据源信息匹配的第一特征数据；从所述第一特征数据中提取与所述数据特征信息匹配的第二特征数据，将所述第二特征数据进行发送。如此，通过应用开发端与云平台约定的数据存储格式，对多元异构数据进行统一采集，能降低应用开发端对接入数据的改造成本，并且能有效的扩大数据采集范围；通过按数据特征对多元异构数据进行分类存储，实现了数据的归一化存储；通过按数据特征提取待查询数据，并将提取到的特征数据和数据存储格式信息合并而生成元数据表，然后根据用户的需求，将最终提取的特征数据向数据分发的目的地址发送，满足了用户的按需提取分析大数据的需求。由于本专利技术实施例中无需对原数据的数据存储格式进行格式转换，从而不会导致数据的分析结果失真。附图说明图1为本专利技术实施例一种数据处理方法的流程示意图；图2为现有技术中数据处理方法的流程示意图；图3为现有技术中另一种数据处理方法的流程示意图；图4为本专利技术实施例一种数据处理装置的结构组成示例图；图5为本专利技术实施例一种本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，所述方法包括：接收数据查询请求，所述数据查询请求中携带有待查询数据的数据特征信息；在状态机存储引擎中提取与所述数据特征信息匹配的状态机信息，所述状态机信息包括一个以上的数据源信息；根据所述状态机信息在特征数据库中提取与所述数据源信息匹配的第一特征数据；从所述第一特征数据中提取与所述数据特征信息匹配的第二特征数据，将所述第二特征数据进行发送。

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：接收数据查询请求，所述数据查询请求中携带有待查询数据的数据特征信息；在状态机存储引擎中提取与所述数据特征信息匹配的状态机信息，所述状态机信息包括一个以上的数据源信息；根据所述状态机信息在特征数据库中提取与所述数据源信息匹配的第一特征数据；从所述第一特征数据中提取与所述数据特征信息匹配的第二特征数据，将所述第二特征数据进行发送。2.根据权利要求1所述的方法，其特征在于，在所述接收数据查询请求之前，所述方法还包括：确定数据存储格式，根据所述数据存储格式进行数据采集；对采集到的数据进行特征分类，将不同特征的数据存储在所述特征数据库中不同特征的子数据库；将所述数据存储格式的信息存储在所述状态机存储引擎中的与所述数据存储格式对应的状态机中。3.根据权利要求2所述的方法，其特征在于，在所述将所述数据存储格式的信息存储在所述状态机存储引擎中的与所述数据存储格式对应的状态机中之前，所述方法还包括：确定所述状态机存储引擎中的状态机信息与所述数据存储格式不匹配时，创建与所述数据存储格式相匹配的新状态机；将所述数据存储格式的信息存储在所述新状态机。4.根据权利要求1所述的方法，其特征在于，在所述将所述第二特征数据进行发送之前，所述方法还包括：将所述一个以上的数据源信息与所述第一特征数据进行合并而生成元数据表；从所述元数据表中提取与所述数据特征信息匹配的第二特征数据，并将所述第二特征数据进行发送。5.根据权利要求1所述的方法，其特征在于，将所述第二特征数据进行发送，包括：根据所述数据查询请求确定数据分发的目的地址；将所述第二特征数据向所述目的地址发送。6...

【专利技术属性】
技术研发人员：李琳，程子川，周冰，种璟，
申请(专利权)人：咪咕文化科技有限公司，
类型：发明
国别省市：北京,11