一种数据处理方法、装置及电子设备制造方法及图纸

本说明书实施例公开了一种数据处理方法、装置及电子设备，从各原始数据中分别提取对应的特征数据；对各所述原始数据分别进行编码，得到各所述原始数据对应的数据编码信息；构建所述特征数据与所述数据编码信息之间的映射关系，以利用所述映射关系查询特征数据对应的原始数据。

A data processing method, device and electronic equipment

【技术实现步骤摘要】
一种数据处理方法、装置及电子设备
本说明书实施例涉及计算机
，尤其涉及一种数据处理方法、装置及电子设备。
技术介绍
随着互联网应用的普及和人们日常对互联网的依赖，互联网数据的数据量呈现爆发式的增长。在对互联网数据的处理过程中，经常会遇到数据查询、统计、分析等情形，在这种情况下，需要频繁的在互联网的海量数据中查询原始数据。现有技术中，可以通过在数据库中对存储的海量原始数据构建索引，利用索引对数据查询请求进行检索，来确定该数据查询请求对应的原始数据。
技术实现思路
有鉴于此，本说明书实施例提供了一种数据处理方法、装置及电子设备，用于解决现有技术中难以在海量的互联网数据中快速准确的查询到原始数据的问题。本说明书实施例采用下述技术方案：本说明书实施例提供一种数据处理方法，包括：从各原始数据中分别提取对应的特征数据；对各所述原始数据分别进行编码，得到各所述原始数据对应的数据编码信息；构建所述特征数据与所述数据编码信息之间的映射关系，以利用所述映射关系查询特征数据对应的原始数据。本说明书实施例还提供一种数据处理方法，包括：接收数据查询请求；从所述数据查询请求中提取对应的特征数据；利用特征数据与数据编码信息之间的映射关系，查询所述特征数据对应的数据编码信息，所述映射关系是利用各原始数据的特征数据与数据编码信息构建的，各所述原始数据的特征数据是从各所述原始数据中提取的，各所述原始数据的数据编码信息是对各所述原始数据进行编码得到的；根据所述数据编码信息，查询与所述数据编码信息对应的原始数据，得到所述数据查询请求对应的原始数据。本说明书实施例还提供一种数据处理装置，包括：提取模块，从各原始数据中分别提取对应的特征数据；编码模块，对各所述原始数据分别进行编码，得到各所述原始数据对应的数据编码信息；构建模块，构建所述特征数据与所述数据编码信息之间的映射关系，以利用所述映射关系查询特征数据对应的原始数据。本说明书实施例还提供一种数据处理装置，包括：接收模块，接收数据查询请求；提取模块，从所述数据查询请求中提取对应的特征数据；第一查询模块，利用特征数据与数据编码信息之间的映射关系，查询所述特征数据对应的数据编码信息，所述映射关系是利用各原始数据的特征数据与数据编码信息构建的，各所述原始数据的特征数据是从各所述原始数据中提取的，各所述原始数据的数据编码信息是对各所述原始数据进行编码得到的；第二查询模块，根据所述数据编码信息，查询与所述数据编码信息对应的原始数据，得到所述数据查询请求对应的原始数据。本说明书实施例还提供一种电子设备，包括至少一个处理器及存储器，存储器存储有程序，并且被配置成至少一个处理器执行以下步骤：从各原始数据中分别提取对应的特征数据；对各所述原始数据分别进行编码，得到各所述原始数据对应的数据编码信息；构建所述特征数据与所述数据编码信息之间的映射关系，以利用所述映射关系查询特征数据对应的原始数据。本说明书实施例还提供一种电子设备，包括至少一个处理器及存储器，存储器存储有程序，并且被配置成至少一个处理器执行以下步骤：接收数据查询请求；从所述数据查询请求中提取对应的特征数据；利用特征数据与数据编码信息之间的映射关系，查询所述特征数据对应的数据编码信息，所述映射关系是利用各原始数据的特征数据与数据编码信息构建的，各所述原始数据的特征数据是从各所述原始数据中提取的，各所述原始数据的数据编码信息是对各所述原始数据进行编码得到的；根据所述数据编码信息，查询与所述数据编码信息对应的原始数据，得到所述数据查询请求对应的原始数据。本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：通过对各原始数据进行预处理，确定各原始数据对应的特征数据和数据编码信息，并构建特征数据与数据编码信息之间的映射关系。在对数据查询请求进行查询时，通过确定该数据查询请求对应的特征数据，就可以快速查询到该特征数据对应的数据编码信息，从而可以进一步利用数据编码信息快速确定对应的原始数据。通过预先构建原始数据的特征数据与数据编码信息之间的映射关系，可以在很大程度上减小需要查询的数据量，从而可以在对数据查询请求进行第一级查询时，快速的得到特征数据对应的数据编码信息，进而可以利用查询到的数据编码信息进行第二级查询，在海量原始数据中快速得到数据编码信息对应的原始数据，提升查询效率，实现对数据查询请求的快速响应。附图说明此处所说明的附图用来提供对本说明书实施例的进一步理解，构成本说明书实施例的一部分，本说明书的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1为本说明书实施例提供的一种数据处理方法的流程示意图；图2为本说明书实施例提供的一种数据处理方法的流程示意图；图3为本说明书实施例提供的一种数据处理方法的流程示意图；图4为本说明书实施例提供的一种数据处理方法的时序图；图5为本说明书实施例提供的一种数据处理装置的结构示意图；图6为本说明书实施例提供的一种数据处理装置的结构示意图。具体实施方式现有技术中，在从数据库存储的海量互联网数据中，查询数据查询请求对应的原始数据时，容易因为互联网数据的爆发式增长而导致查询性能急剧下降，无法对数据查询请求进行快速响应。因此，本说明书实施例提供一种数据处理方法、装置及电子设备，通过预先构建原始数据的特征数据与数据编码信息之间的映射关系，可以在很大程度上减小需要查询的数据量，从而可以在对数据查询请求进行第一级查询时，快速的得到特征数据对应的数据编码信息，进而可以利用查询到的数据编码信息进行第二级查询，在海量原始数据中快速得到数据编码信息对应的原始数据，提升查询效率，实现对数据查询请求的快速响应。为使本申请的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。以下结合附图，详细说明本说明书各实施例提供的技术方案。图1为本说明书实施例提供的一种数据处理方法的流程示意图，本说明书实施例以对原始数据的预处理为具体应用实施例。S101：从各原始数据中分别提取对应的特征数据。在本说明书实施例中，原始数据可以理解为在互联网中产生的原始数据，是由多个数据源发送给数据处理服务器的，其中，数据源可以是不同的服务器和/或数据库，原始数据具体可以是实时产生的数据或者是存储的离线数据，在此不做具体限定。特征数据可以是指能够表明原始数据的数据属性的信息数据，具体可以是原始数据中携带的账户信息、用户信息、设备信息等实体数据，在此不做具体限定。本文档来自技高网...

【技术保护点】
1.一种数据处理方法，包括：/n从各原始数据中分别提取对应的特征数据；/n对各所述原始数据分别进行编码，得到各所述原始数据对应的数据编码信息；/n构建所述特征数据与所述数据编码信息之间的映射关系，以利用所述映射关系查询特征数据对应的原始数据。/n

【技术特征摘要】
1.一种数据处理方法，包括：
从各原始数据中分别提取对应的特征数据；
对各所述原始数据分别进行编码，得到各所述原始数据对应的数据编码信息；
构建所述特征数据与所述数据编码信息之间的映射关系，以利用所述映射关系查询特征数据对应的原始数据。


2.如权利要求1所述的方法，从各原始数据中分别提取对应的特征数据，包括：
利用预设的属性规则确定各所述原始数据的属性特征；
根据确定的所述属性特征，从所述原始数据中确定与所述属性特征匹配的特征数据。


3.如权利要求2所述的方法，根据确定的所述属性特征，从所述原始数据中确定与所述属性特征匹配的特征数据，包括：
根据确定的所述属性特征，从所述原始数据中提取与所述属性特征匹配的子特征；
根据提取的所述子特征确定与所述子特征对应的特征数据。


4.如权利要求1所述的方法，在从各原始数据中分别提取对应的特征数据之后，还包括：
根据所述特征数据判断对应的所述原始数据是否属于热点查询数据，所述热点查询数据是根据历史查询数据确定的；
若是，则将所述原始数据存储于缓存。


5.如权利要求1所述的方法，对各所述原始数据分别进行编码，得到各所述原始数据对应的数据编码信息，包括：
根据各所述原始数据的存储路径，分别创建各所述原始数据的数据编码信息。


6.一种数据处理方法，包括：
接收数据查询请求；
从所述数据查询请求中提取对应的特征数据；
利用特征数据与数据编码信息之间的映射关系，查询所述特征数据对应的数据编码信息，所述映射关系是利用各原始数据的特征数据与数据编码信息构建的，各所述原始数据的特征数据是从各所述原始数据中提取的，各所述原始数据的数据编码信息是对各所述原始数据进行编码得到的；
根据所述数据编码信息，查询与所述数据编码信息对应的原始数据，得到所述数据查询请求对应的原始数据。


7.如权利要求6所述的方法，从所述数据查询请求中提取对应的特征数据，包括：
利用预设的属性规则确定所述数据查询请求的属性特征；
根据确定的所述属性特征，从所述数据查询请求中确定与所述属性特征匹配的特征数据。


8.如权利要求7所述的方法，根据确定的所述属性特征，从所述数据查询请求中确定与所述属性特征匹配的特征数据，包括：
根据确定的所述属性特征，从所述数据查询请求中提取与所述属性特征匹配的子特征；
根据提取的所述子特征确定与所述子特征对应的特征数据。

...

【专利技术属性】
技术研发人员：邓圆，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33