数据处理方法及装置制造方法及图纸

本申请提供数据处理方法及装置，其中所述数据处理方法包括：通过在接收到用户发送的数据获取指令的情况下，调用数据获取脚本程序从第三方平台获取初始数据；接收所述用户根据所述初始数据编辑的数据处理脚本程序，并根据所述数据处理脚本程序对所述初始数据进行数据处理，获得处理后的目标数据。具体的，通过应用于数据处理平台，在数据处理平台接收到用户发送的数据获取指令之后，调用数据获取脚本程序进行相应初始数据的获取，并在接收到数据处理脚本程序的情况下，根据该数据处理脚本程序进行初始数据的数据处理，提高数据获取的速率，同时，通过相应的数据处理脚本程序实现数据的快速处理，进一步加快目标数据获取的速率，提高用户的体验感。高用户的体验感。高用户的体验感。

【技术实现步骤摘要】
数据处理方法及装置


[0001]本申请涉及计算机
，特别涉及一种数据处理方法。本申请同时涉及一种数据处理装置、一种计算设备，以及一种计算机可读存储介质。

技术介绍

[0002]随着互联网技术的发展，数据获取的方式逐渐呈现出多样化，而爬虫技术作为较为普遍的数据获取方式，具有高效率以及覆盖率高等特点。
[0003]然而，由于爬虫获取数据的数据格式以及数据类型多样性的特点，往往需要针对爬虫获取的数据进行二次数据清洗等操作，造成效率低下，用户体验感较差的问题。
[0004]因此，如何解决数据获取效率低下的问题，具有十分重要的意义。

技术实现思路

[0005]有鉴于此，本申请实施例提供了一种数据处理方法，以解决现有技术中存在的技术缺陷。本申请实施例同时提供了一种数据处理装置，一种计算设备，以及一种计算机可读存储介质。
[0006]根据本申请实施例的第一方面，提供了一种数据处理方法，包括：
[0007]在接收到用户发送的数据获取指令的情况下，调用数据获取脚本程序从第三方平台获取初始数据，其中，所述数据获取指令中携带有所述第三方平台的平台信息，所述数据获取脚本程序为嵌入的、所述用户编辑的脚本程序；
[0008]接收所述用户根据所述初始数据编辑的数据处理脚本程序，并根据所述数据处理脚本程序对所述初始数据进行数据处理，获得处理后的目标数据。
[0009]根据本申请实施例的第二方面，提供了一种数据处理装置，包括：
[0010]数据获取模块，被配置为在接收到用户发送的数据获取指令的情况下，调用数据获取脚本程序从第三方平台获取初始数据，其中，所述数据获取指令中携带有所述第三方平台的平台信息，所述数据获取脚本程序为嵌入的、所述用户编辑的脚本程序；
[0011]数据处理模块，被配置为接收所述用户根据所述初始数据编辑的数据处理脚本程序，并根据所述数据处理脚本程序对所述初始数据进行数据处理，获得处理后的目标数据。
[0012]根据本申请实施例的第三方面，提供了一种计算设备，包括：
[0013]存储器和处理器；
[0014]所述存储器用于存储计算机可执行指令，所述处理器执行所述计算机可执行指令时实现所述数据处理方法的步骤。
[0015]根据本申请实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现所述数据处理方法的步骤。
[0016]根据本申请实施例的第五方面，提供了一种芯片，其存储有计算机程序，该计算机程序被芯片执行时实现所述数据处理方法的步骤。
[0017]本说明书实施例提供的数据处理方法，应用于数据处理平台，通过在接收到用户
发送的数据获取指令的情况下，调用数据获取脚本程序从第三方平台获取初始数据，其中，所述数据获取指令中携带有所述第三方平台的平台信息，所述数据获取脚本程序为嵌入的、所述用户编辑的脚本程序；接收所述用户根据所述初始数据编辑的数据处理脚本程序，并根据所述数据处理脚本程序对所述初始数据进行数据处理，获得处理后的目标数据。
[0018]具体的，通过应用于数据处理平台，在数据处理平台接收到用户发送的数据获取指令之后，调用数据获取脚本程序进行相应初始数据的获取，并在接收到数据处理脚本程序的情况下，根据该数据处理脚本程序进行初始数据的数据处理，提高数据获取的速率，同时，通过相应的数据处理脚本程序实现数据的快速处理，进一步加快目标数据获取的速率，提高用户的体验感。
附图说明
[0019]图1是本申请一实施例提供的一种数据处理方法的场景应用图；
[0020]图2是本申请一实施例提供的一种数据处理方法的流程图；
[0021]图3是本申请一实施例提供的一种数据处理方法的处理流程图；
[0022]图4是本申请一实施例提供的一种数据处理装置的结构示意图；
[0023]图5是本申请一实施例提供的一种计算设备的结构框图。
具体实施方式
[0024]在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
[0025]在本申请一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请一个或多个实施例。在本申请一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本申请一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0026]应当理解，尽管在本申请一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。
[0027]首先，对本专利技术一个或多个实施例涉及的名词术语进行解释。
[0028]FreeMarker(即福瑞马克)：是一款模板引擎，即一种基于模板和要改变的数据，并用来生成输出文本(HTML(Hyper Text Markup Language，即超文本标记语言)网页、电子邮件、配置文件、源代码等)的通用工具。
[0029]URL(Uniform Resource Locator，即统一资源定位系统)：是因特网的万维网服务程序上用于指定信息位置的表示方法。
[0030]JSON(JavaScript Object Notation，即脚本语言对象简谱)：是一种轻量级的数据交换格式。它基于ECMAScript(European Computer Manufacturers Association,欧洲计算机协会制定的js规范)的一个子集，采用完全独立于编程语言的文本格式来存储和表
示数据。
[0031]XML(Extensible Markup Language，即可扩展标记语言)：标准通用标记语言的子集，可以用来标记数据、定义数据类型，是一种允许用户对自己的标记语言进行定义的源语言。XML是标准通用标记语言可扩展性良好，内容与形式分离，遵循严格的语法要求，保值性良好等优点。
[0032]随着互联网技术的发展，数据获取的方式逐渐呈现出多样化，而爬虫技术作为较为普遍的数据获取方式，具有高效率以及覆盖率高等特点。
[0033]然而，爬虫返回的数据有多种数据格式，并且爬虫返回的数据大多为冗余的数据，用户需要经过解析和清洗后转换为统一格式后才能方便使用。
[0034]并且，大多数的爬虫系统只提供了爬虫功能，由于爬虫数据格式与类型的多样性，并不提供爬虫数据处理的功能，仅保存原始数据，导致用户使用数据需要在数据库编写十分复杂的SQL(Structured Query Language，即结构化查本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，应用于数据处理平台，其特征在于，包括：在接收到用户发送的数据获取指令的情况下，调用数据获取脚本程序从第三方平台获取初始数据，其中，所述数据获取指令中携带有所述第三方平台的平台信息，所述数据获取脚本程序为嵌入的、所述用户编辑的脚本程序；接收所述用户根据所述初始数据编辑的数据处理脚本程序，并根据所述数据处理脚本程序对所述初始数据进行数据处理，获得处理后的目标数据。2.根据权利要求1所述的数据处理方法，其特征在于，所述在接收到用户发送的数据获取指令的情况下，调用数据获取脚本程序从第三方平台获取初始数据之前，还包括：接收用户编辑的数据获取脚本程序，并嵌入所述数据获取脚本程序。3.根据权利要求1所述的数据处理方法，其特征在于，所述第三方平台包括至少两个数据展示页面；相应地，所述调用数据获取脚本程序从第三方平台获取初始数据，包括：调用所述数据获取脚本程序从所述至少两个数据展示页面的目标数据展示页面中获取第一初始数据，其中，所述目标数据展示页面为所述至少两个数据展示页面的任意一个展示页面；以及调用所述数据获取脚本程序从所述至少两个数据展示页面的其他数据展示页面中获取第二初始数据，其中，所述其他数据展示页面为所述至少两个数据展示页面中、除所述目标数据展示页面的展示页面；根据所述第一初始数据以及所述第二初始数据生成初始数据。4.根据权利要求1所述的数据处理方法，其特征在于，所述第三方平台包括至少两个；相应地，所述调用数据获取脚本程序从第三方平台获取初始数据，包括：调用所述数据获取脚本程序从所述至少两个第三方平台的目标第三方平台中获取第一初始数据，其中，所述目标第三方平台为所述至少两个第三方平台的任意一个平台；以及调用所述数据获取脚本程序从所述至少两个第三方平台的其他第三方平台中获取第二初始数据，其中，所述其他第三方平台为所述至少两个第三方平台中、除所述目标第三方平台的平台；根据所述第一初始数据以及所述第二初始数据生成初始数据。5.根据权利要求1所述的数据处理方法，其特征在于，...

【专利技术属性】
技术研发人员：杜玉麟，辛五一，吴双，张子晴，魏萌，刘博勋，
申请(专利权)人：珠海金山数字网络科技有限公司，
类型：发明
国别省市：