万级维度数据生成方法、装置、设备以及存储介质制造方法及图纸

本发明专利技术实施例公开了一种万级维度数据生成方法、装置、设备以及存储介质，其中，所述方法包括：获取多维度数据；根据预设数据加工逻辑对所述多维度数据进行加工；对加工后的多维度数据进行处理以生成矩阵新维度数据；对所述矩阵新维度数据进行过滤以得到万级维度数据。本发明专利技术实施例可以加快万级维度数据的生成，并减小脏数据的影响。

Generation method, device, device and storage medium for WAN level dimensional data

An embodiment of the invention discloses a multidimensional dimension data generation method, device, device and storage medium, in which the method includes: obtaining multidimensional data, processing the multidimensional data according to the preset data processing logic, processing the processed multidimensional data to generate the new dimension data of the matrix The new dimension data of the matrix is filtered to get 10000 dimensional data. The embodiment of the invention can accelerate generation of dimension data and reduce the influence of dirty data.

【技术实现步骤摘要】
万级维度数据生成方法、装置、设备以及存储介质
本专利技术涉及计算机
，尤其涉及一种万级维度数据生成方法、装置、设备以及存储介质。
技术介绍
现有技术中，采用传统的万级维度数据生成方式来生成数据，例如在海量数据中进行抽取等等，由于传统的生成方式需要关联很多张数据表，并且需要进行大量、复杂的计算，导致万级维度数据的生成效率不高，并且在海量的数据中抽取会夹杂着脏数据。
技术实现思路
有鉴于此，本专利技术实施例提供一种万级维度数据生成方法、装置、设备以及存储介质，可以加快万级维度数据的生成，并减小脏数据的影响。一方面，本专利技术实施例提供了一种万级维度数据生成方法，该方法包括：获取多维度数据；根据预设数据加工逻辑对所述多维度数据进行加工；对加工后的多维度数据进行处理以生成矩阵新维度数据；对所述矩阵新维度数据进行过滤以得到万级维度数据。另一方面，本专利技术实施例提供了一种万级维度数据生成装置，所述装置包括：第一获取单元，用于获取多维度数据；加工单元，用于根据预设数据加工逻辑对所述多维度数据进行加工；处理单元，用于对加工后的多维度数据进行处理以生成矩阵新维度数据；过滤单元，用于对所述矩阵新维度数据进行过滤以得到万级维度数据。又一方面，本专利技术实施例还提供了一种万级维度数据生成设备，其包括：存储器，用于存储实现万级维度数据生成方法的计算机程序；以及处理器，用于运行所述存储器中存储的实现万级维度数据生成方法的计算机程序，以执行如上所述的方法。再一方面，本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者一个以上计算机程序，所述一个或者一个以上计算机程序可被一个或者一个以上的处理器执行，以实现如上所述的方法。本专利技术实施例通过获取多维度数据；根据预设数据加工逻辑对所述多维度数据进行加工；对加工后的多维度数据进行处理以生成矩阵新维度数据；对所述矩阵新维度数据进行过滤以得到万级维度数据。本专利技术实施例可以加快万级维度数据的生成，并减小脏数据的影响。附图说明为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种万级维度数据生成方法的示意流程图；图2是本专利技术实施例提供的一种万级维度数据生成方法的示意流程图；图3是本专利技术实施例提供的一种万级维度数据生成方法的示意流程图；图4是本专利技术实施例提供的一种万级维度数据生成方法的示意流程图；图5是本专利技术另一实施例提供的一种万级维度数据生成方法的示意流程图；图6是本专利技术实施例提供的一种万级维度数据生成装置的示意性框图；图7是本专利技术实施例提供的一种万级维度数据生成装置的另一示意性框图；图8是本专利技术实施例提供的一种万级维度数据生成装置的另一示意性框图；图9是本专利技术实施例提供的一种万级维度数据生成装置的另一示意性框图；图10是本专利技术实施例提供的一种万级维度数据生成装置的另一示意性框图；图11是本专利技术实施例提供的一种万级维度数据生成设备的结构组成示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。请参阅图1，图1为本专利技术实施例提供的一种万级维度数据生成方法的示意流程图。该方法可以运行在智能手机(如Android手机、IOS手机等)、平板电脑、笔记本电脑以及智能设备等终端中。本专利技术实施例所述的万级维度数据生成方法，可以加快万级维度数据的生成，并减小脏数据的影响。图1是本专利技术实施例提供的万级维度数据生成方法的示意流程图。该方法包括步骤S101～S104。S101，获取多维度数据。在本专利技术实施例中，多维度数据指的是具有特定属性的数据，如：时间属性、地域属性、空间属性等。其中数据作为被分析处理的实体，多维度是数据的结构属性，并用来描述数据分类的有组织层次结构。根据多维度数据的本质，可以分为时序数据、位置数据、计数数据或者频率数据等。以终端运行所产生的多维度数据为计时数据为例，该计时数据可以为：视频聊天所产生的时间，在视频聊天时间内所产生的流量等。S102，根据预设数据加工逻辑对所述多维度数据进行加工。在本专利技术实施例中，所述预设数据加工逻辑可以是横向转纵向加工逻辑，针对海量(如上万级别)级别的数据，由于多维度数据一般存储在数据表中，传统的加工逻辑需要关联很多张数据表，并不断地针对数据表中的数据进行连接，最后再多次重复步骤才能完成完成多维度数据的加工，加工逻辑复杂；通过横向转纵向的加工逻辑可以降低多维度数据的加工复杂度，提高多维度数据的加工效率。进一步地，如图2所示，所述预设数据加工逻辑包括横向转纵向加工逻辑，所述步骤S102包括步骤S201～S202。S201，根据横向转纵向加工逻辑整合所述多维度数据的数据类型。在本专利技术实施例中，所述横向转纵向加工逻辑包括横向加工逻辑和纵向加工逻辑，针对上万级别的多维度数据，先使用横向加工逻辑对多维度数据在分布式环境中进行数据表关联，并获取数据表关联中的关联数据，再使用纵向加工逻辑对关联数据进行数据类型的整合；对于横向加工逻辑，需要读取分布式环境中的数据表，根据数值关系分析中的等值条件以数据表中任意两个数据源各自的属性值建立满足等值条件的键值对，数据源中每条数据记录与数据源各自的属性值之间具有固定函数关系，利用数据表的任意两个数据源各自的属性值之间具有固定函数关系对关联数据表；对于纵向加工逻辑，从关联数据的集合中选择出需要进行数据类型整合处理的各待处理数据元，对所选择出的各待处理数据元进行配对处理，以确定各待处理数据元之间的匹配关系，将所选择出的各待处理数据元作为数据关系图中的各顶点，根据各待处理数据元之间的匹配关系生成用于连接各顶点的边，以得到所述数据关系图，以及根据数据关系图和全局决策，从各顶点中确定出已整合的数据元，获取已整合的数据元对应的数据类型，根据数据关系图和全局决策以及已整合的数据元，从而确定已整合的数据类型。具体地，通过横向加工后得到的关联数据原子性强，由于纵向加工逻辑的加工对象主要针对原子性强的数据，因此，通过纵向加工逻辑处理关联数据的流动性，可以加快关联数据的独立性，最后在数据生成的过程中泛化出数据类型的特征，从而完成多维度数据的整合。S202，根据横向转纵向加工逻辑关联所述多维度数据的数据链接。在本专利技术实施例中，通过横向转纵向加式逻辑关联所述多维度数据的数据链接的操作可以为，先用特定的本文档来自技高网...

【技术保护点】
1.一种万级维度数据生成方法，其特征在于，所述方法包括：获取多维度数据；根据预设数据加工逻辑对所述多维度数据进行加工；对加工后的多维度数据进行处理以生成矩阵新维度数据；对所述矩阵新维度数据进行过滤以得到万级维度数据。

【技术特征摘要】
1.一种万级维度数据生成方法，其特征在于，所述方法包括：获取多维度数据；根据预设数据加工逻辑对所述多维度数据进行加工；对加工后的多维度数据进行处理以生成矩阵新维度数据；对所述矩阵新维度数据进行过滤以得到万级维度数据。2.如权利要求1所述的方法，其特征在于，所述预设数据加工逻辑包括横向转纵向加工逻辑，所述根据预设数据加工逻辑对所述多维度数据进行加工，包括：根据横向转纵向加工逻辑整合所述多维度数据的数据类型；根据横向转纵向加工逻辑关联所述多维度数据的数据链接。3.如权利要求1所述的方法，其特征在于，所述对加工后的多维度数据进行处理以生成矩阵新维度数据，包括：对所述多维度数据进行压缩聚合；对已压缩聚合的多维度数据进行优化；将优化后的多维度数据存放至预建立的数据结构模型中以生成矩阵新维度数据。4.如权利要求1所述的方法，其特征在于，所述对所述矩阵新维度数据进行过滤以得到万级维度数据，包括：计算所述矩阵新维度数据中的若干个统计量；根据所述统计量对所述矩阵新维度数据进行分析；根据分析结果去除所述矩阵新维度数据的边缘性数据；获取处理后的数据并作为所述万级维度数据。5.如权利要求1所述的方法，其特征在于，所述方法还包括：根据预设数据分类算法对所述矩阵新维度数据进行分类。6.一种万级维度数据生成装置...

【专利技术属性】
技术研发人员：陈健鹏，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44