一种数据处理方法技术

本公开提供了一种数据处理方法

【技术实现步骤摘要】
一种数据处理方法、装置及介质


[0001]本公开涉及数据处理领域，尤其涉及一种数据处理方法
、
装置及介质
。

技术介绍

[0002]随着大数据处理技术的发展，用户侧种类繁多的大数据被实时采集并应用于多种场景，而种类繁多的大数据冗杂严重，需要一种高准确度的方法对大数据进行处理
。

技术实现思路

[0003]本公开提供了一种数据处理方法
、
装置及介质
。
[0004]根据本公开的第一方面，提供了一种数据处理方法，所述方法包括：
[0005]获取待检测的第一数据；
[0006]根据所述第一数据，基于智能引擎，确定所述第一数据的分布信息；
[0007]所述智能引擎至少包括，根据所述第一数据，基于正向传播与反向传播，确定第一特征，所述第一特征用于确定所述分布信息
。
[0008]在本申请一实施中，所述智能引擎还包括：根据反向传播结果和所述第一数据确定第一参数；所述第一参数表征所述反向传播结果和所述第一数据的相似程度
。
[0009]在本申请一实施中，根据所述第一数据，基于正向传播与反向传播，确定第一特征，包括：
[0010]确定所述第一数据的正向传播结果；
[0011]基于所述正向传播结果确定所述第一数据的反向传播结果；
[0012]确定所述第一参数是否小于预设参数阈值；
[0013]如果是，将所述正向传播结果确定为第一特征
。
[0014]在本申请一实施中，所述智能引擎还包括：通过对所述第一数据进行降维处理，得到第二特征
。
[0015]在本申请一实施中，根据所述第一数据，基于智能引擎，确定所述第一数据的分布信息，包括：
[0016]根据所述第一特征
、
所述第二特征和第二参数，通过智能引擎，确定所述第一数据的分布信息，所述第二参数为基于所述第一参数和第三参数确定的参数，所述第三参数为所述智能引擎的分布信息确定模块根据智能引擎的输出结果和所述第一数据确定的参数
。
[0017]在本申请一实施中，所述第二参数至少包括调参系数，所述调参系数用于控制在基于所述第二参数对所述智能引擎进行调整时所述智能引擎的空间扭曲程度
。
[0018]在本申请一实施中，所述方法还包括：
[0019]对待检测数据进行预处理，得到待检测的第一数据；
[0020]所述预处理至少包括聚合所述待检测数据
。
[0021]在本申请一实施中，所述方法还包括：
[0022]根据所述第一数据的分布信息确定异常数据；
[0023]根据所述异常数据生成告警
。
[0024]根据本公开的第二方面，提供了一种数据处理装置，所述装置包括：
[0025]数据获取模块，用于获取待检测的第一数据；
[0026]分布信息确定模块，用于根据所述第一数据，基于智能引擎，确定所述第一数据的分布信息；所述智能引擎至少包括，根据所述第一数据，基于正向传播与反向传播，确定第一特征，所述第一特征用于确定所述分布信息
。
[0027]根据本公开的第三方面，提供了一种电子设备，包括：
[0028]至少一个处理器；以及
[0029]与所述至少一个处理器通信连接的存储器；其中，
[0030]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开所述的方法
。
[0031]根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开所述的方法
。
[0032]本公开的数据处理方法，获取待检测的第一数据；根据第一数据，基于智能引擎，确定第一数据的分布信息；智能引擎至少包括，根据第一数据，基于正向传播与反向传播，确定第一特征，第一特征用于确定所述分布信息
。
[0033]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围
。
本公开的其它特征将通过以下的说明书而变得容易理解
。
附图说明
[0034]通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的
、
特征和优点将变得易于理解
。
在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：
[0035]在附图中，相同或对应的标号表示相同或对应的部分
。
[0036]图1示出了本公开实施例提供的数据处理方法的一种流程示意图；
[0037]图2示出了本公开实施例提供的降噪卷积网络的一种结构示意图；
[0038]图3示出了本公开实施例提供的一种智能引擎训练流程示意图；
[0039]图4示出了本公开实施例提供的训练智能引擎的一种示意图；
[0040]图5示出了本公开实施例提供的数据处理装置的一种结构示意图；
[0041]图6示出了本公开实施例一种电子设备的组成结构示意图
。
具体实施方式
[0042]为使本公开的目的
、
特征
、
优点能够更加的明显和易懂，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚
、
完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而非全部实施例
。
基于本公开中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围
。
[0043]由于目前用户侧种类繁多的大数据冗杂严重，导致基于用户侧种大数据所进行的用户行为模式等分析的准确性降低，因此，为了解决用户侧种类繁多的大数据冗杂的问题，提高利用用户侧的数据进行用户行为模式的分析
、
用户需求的分析以及制定决策手段的准
确性，本公开提供了一种数据处理
、
装置及介质，可以确定出用户侧大数据的分布情况，实现对大数据的聚类
。
本公开提供的数据处理方法可以应用于任何可以能够实现数据处理的电子设备，包括不限于电脑
、
手机和平板电脑等
。
[0044]下面将结合本公开实施例中的附图，对本公开实施例的技术方案进行描述
。
[0045]图1示出了本公开实施例提供的数据处理方法的一种流程示意图，如图1所示，所述方法包括：
[0046]S101
，获取待检测的第一数据
。
[0047]本公开中，可以通过对待检测数据进行预处理，得到待检测的第一数据
。
待检测数据可以包括用户端的用户数据和
/
或用户设备数据等
。
在一种可能的实施方式中，待检测本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据处理方法，所述方法包括：获取待检测的第一数据；根据所述第一数据，基于智能引擎，确定所述第一数据的分布信息；所述智能引擎至少包括，根据所述第一数据，基于正向传播与反向传播，确定第一特征，所述第一特征用于确定所述分布信息
。2.
根据权利要求1所述的方法，所述智能引擎还包括：根据反向传播结果和所述第一数据确定第一参数；所述第一参数表征所述反向传播结果和所述第一数据的相似程度
。3.
根据权利要求2所述的方法，根据所述第一数据，基于正向传播与反向传播，确定第一特征，包括：确定所述第一数据的正向传播结果；基于所述正向传播结果确定所述第一数据的反向传播结果；确定所述第一参数是否小于预设参数阈值；如果是，将所述正向传播结果确定为第一特征
。4.
根据权利要求1所述的方法，所述智能引擎还包括：通过对所述第一数据进行降维处理，得到第二特征
。5.
根据权利要求4所述的方法，根据所述第一数据，基于智能引擎，确定所述第一数据的分布信息，包括：根据所述第一特征
、
所述第二特征和第二参数，通过智能引擎，确定所述第一数据的分布信息，所述第二参数为...

【专利技术属性】
技术研发人员：唐豫川，刘成，
申请(专利权)人：联想北京有限公司，
类型：发明
国别省市：