数据处理方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种数据处理方法、装置、电子设备及存储介质，涉及计算机技术领域，尤其涉及深度学习、大数据处理等人工智能技术领域。具体实现方案为：获取网页的待处理数据；对待处理数据进行采样处理，以得到采样数据；从采样数据之中识别出与预设分隔符对应的数据内容，并采用预设分隔符对数据内容进行标记，以得到多个标记数据内容；以及对多个标记数据内容进行融合处理，以得到目标数据。由此，能够实现对网页中海量的数据进行有效地处理和识别，从而能够有效地提升网页中数据处理的效果。果。果。

【技术实现步骤摘要】
数据处理方法、装置、电子设备及存储介质


[0001]本公开涉及计算机
，尤其涉及深度学习、大数据处理等人工智能
，具体涉及一种数据处理方法、装置、电子设备及存储介质。

技术介绍

[0002]人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术，以及机器学习、深度学习、大数据处理技术、知识图谱技术等几大方向。
[0003]网页主要包括：静态数据和动态数据，相关技术中，通常是针对网页中的静态数据和动态数据执行相应的数据处理任务。

技术实现思路

[0004]本公开提供了一种数据处理方法、装置、电子设备、存储介质以及计算机程序产品。
[0005]根据本公开的第一方面，提供了一种数据处理方法，包括：获取网页的待处理数据；对所述待处理数据进行采样处理，以得到采样数据；从所述采样数据之中识别出与预设分隔符对应的数据内容，并采用所述预设分隔符对所述数据内容进行标记，以得到多个标记数据内容；以及对所述多个标记数据内容进行融合处理，以得到目标数据。
[0006]根据本公开的第二方面，提供了一种数据处理装置，包括：获取模块，用于获取网页的待处理数据；处理模块，用于对所述待处理数据进行采样处理，以得到采样数据；识别模块，用于从所述采样数据之中识别出与预设分隔符对应的数据内容，并采用所述预设分隔符对所述数据内容进行标记，以得到多个标记数据内容；以及融合模块，用于对所述多个标记数据内容进行融合处理，以得到目标数据。
[0007]根据本公开的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开实施例的数据处理方法。
[0008]根据本公开的第四方面，提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行本公开实施例公开的数据处理方法。
[0009]根据本公开的第五方面，提出了一种计算机程序产品，包括计算机程序，当计算机程序由处理器执行时实现本公开实施例公开的数据处理方法。
[0010]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0011]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0012]图1是根据本公开第一实施例的示意图；
[0013]图2是根据本公开实施例中的预设分隔符标记示意图；
[0014]图3是根据本公开第二实施例的示意图；
[0015]图4是根据本公开第三实施例的示意图；
[0016]图5是根据本实施例的未加密数据示意图；
[0017]图6是根据本实施例的加密数据示意图；
[0018]图7是根据本实施例的数据解密处理示意图；
[0019]图8是根据本实施例的无解码数据采样示意图；
[0020]图9是根据本公开第四实施例的示意图；
[0021]图10是根据本公开第五实施例的示意图；
[0022]图11示出了可以用来实施本公开的实施例的数据处理方法的示例电子设备的示意性框图。
具体实施方式
[0023]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0024]图1是根据本公开第一实施例的示意图。
[0025]其中，需要说明的是，本实施例的数据处理方法的执行主体为数据处理装置，该装置可以由软件和/或硬件的方式实现，该装置可以配置在电子设备中，电子设备可以包括但不限于终端、服务器端等。
[0026]本公开实施例涉及深度学习、大数据处理等人工智能

[0027]其中，人工智能(Artificial Intelligence)，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
[0028]深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。深度学习的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。
[0029]而大数据处理，是指采用人工智能的方式对规模巨大的数据进行分析以及处理的过程，而大数据可以概括为5个V，数据量大(Volume)、速度快(Velocity)、类型多(Variety)、价值(Value)、真实性(Veracity)。
[0030]本实施例中，数据处理方法的执行主体可以通过各种公开、合法合规的方式获取初始数据，例如可以是从公开数据集处获取的，或者是经过了用户的授权从用户处获取的。该数据并不能反映出某一特定用户的个人信息，也即是说，本公开实施例中的数据均是在符合相关法律、法规的情况下获取的。
[0031]如图1所示，该数据处理方法包括：
[0032]S101：获取网页的待处理数据。
[0033]其中，当前待对其进行处理的数据，可以被称为待处理数据。本实施例中的待处理数据可以例如是网页中的动态加载的数据，该动态加载的数据即可以是网页中的动态数据，待处理数据也可以是网页中的静态数据，或者，待处理数据也可以是其它任意与网页相关联的数据，对此不做限制。
[0034]待处理数据的数量可以是一个也可以是多个，对此不做限制。
[0035]S102：对待处理数据进行采样处理，以得到采样数据。
[0036]上述在获取网页得待处理数据后，可以对待处理数据进行采样处理，以得到采样数据，对待处理数据进行采样处理得到的数据，可以被称为采样数据。
[0037]其中，采样处理，可以是指按照某种规则从待处理数据中挑选部分数据，该采样得到的部分数据可以被称为采样数据，通过采样处理的方式处理待处理数据，不仅可以节约计算机资源，还由于适当剔除了多余的数据，从而可以有效地提升数据处理效果。
[0038]举例而言，在实现对待处理数据进行采样处理，以得到采样数据时，可以基于预训练的数据采样模型来实现，比如可以将待处理数据作为数据采样模型的输入参数，以得到数据采样模型输出的采样数据，
[0039]当然，也可以采用其它任意可能的方式来实现，本实施例中对待处理数据进行采样处理，以得到采样数据的步骤，对此不做限制。
[0040]S103：从采样数据之中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，包括：获取网页的待处理数据；对所述待处理数据进行采样处理，以得到采样数据；从所述采样数据之中识别出与预设分隔符对应的数据内容，并采用所述预设分隔符对所述数据内容进行标记，以得到多个标记数据内容；以及对所述多个标记数据内容进行融合处理，以得到目标数据。2.根据权利要求1所述的方法，其中，所述获取网页的待处理数据，包括：接收加载请求消息，所述加载请求消息，用于在所述网页之中加载对应的动态信息；根据所述加载请求消息获取所述对应的动态信息，并从所述动态信息之中解析得到所述待处理数据。3.根据权利要求1所述的方法，其中，所述对所述待处理数据进行采样处理，以得到采样数据，包括：确定与所述待处理数据对应的加密状态；确定与所述加密状态对应的目标采样方式；根据所述目标采样方式对所述待处理数据进行采样处理，以得到采样数据。4.根据权利要求3所述的方法，其中，所述根据所述目标采样方式对所述待处理数据进行采样处理，以得到采样数据，包括：如果所述加密状态指示：所述待处理数据未加密，则对所述待处理数据进行切词处理，得到多个初始词；确定与所述多个初始词分别对应的多个初始词向量表示，并将所述多个初始词向量表示作为所述采样数据。5.根据权利要求3所述的方法，其中，所述根据所述目标采样方式对所述待处理数据进行采样处理，以得到采样数据，包括：如果所述加密状态指示：所述待处理数据加密，则确定与所述待处理数据对应的数据量；如果所述数据量小于或者等于数据量阈值，则对所述待处理数据进行解密处理，以得到解密数据；对所述解密数据进行切词处理，以得到多个解密词；确定与所述多个解密词分别对应的多个解密词向量表示，并将所述多个解密词向量表示作为所述采样数据。6.根据权利要求5所述的方法，还包括：如果所述数据量大于所述数据量阈值，则确定与所述待处理数据对应的加密算法类型；确定与所述加密算法类型对应的目标字符数，其中，所述目标字符数指示：与所述加密算法类型对应的数据单元所包括的字符数；参考所述目标字符数对所述待处理数据进行切分处理，以得到多个切分数据段，并将所述多个切分数据段作为所述采样数据。7.根据权利要求1所述的方法，其中，所述对所述多个标记数据内容进行融合处理，以得到目标数据，包括：
对所述多个标记数据内容进行拼接处理，以得到拼接数据；根据与所述多个标记数据内容分别对应的多个预设分隔符，生成与所述多个标记数据内容分别对应的多种数据特征，将所述拼接数据和所述多种数据特征共同作为所述目标数据。8.一种数据处理装置，包括：获取模块，用于获取网页的待处理数据；处理模块，用于对所述待处理数据进行采样处理，以得到采样数据；识别模块，用于从所述采样数据之中识别出与预设分隔符对应的数据内容，并采用所述预设分隔符对所述数据内容进行标记，以得到多个标记数据内容；以及融合模块，用于...

【专利技术属性】
技术研发人员：刘伟，陈由之，张博，林赛群，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：