数据采集平台中数据处理的方法及装置制造方法及图纸

本发明专利技术公开了一种数据采集平台中数据处理的方法及装置，涉及计算机技术领域，主要目的在于解决由于不同的数据采集平台使用不同的采集数据方法，因此不同的数据采集平台只能采集特定类型的数据，导致不同的数据采集平台之间通用性较差的问题。本发明专利技术的技术方案包括：接收预设数据采集接口发送的待处理数据；预设数据采集接口根据数据采集指令采集待处理数据，数据采集指令中包含待处理数据的数据类型；确定待处理数据的数据类型是否与数据采集指令中的数据类型一致；若一致，则根据预置规范规则将待处理数据进行格式化处理，预置规范规则用于规范待处理数据的格式；将格式化处理后的待处理数据发送至服务器。本发明专利技术主要应用于数据采集过程中。

Method and device for data processing in data acquisition platform

The invention discloses a method and a device for data processing in data acquisition platform, which relates to the technical field of computer, the main purpose is to solve the data collection method using different data acquisition platform is different, so the data acquisition platform only the acquisition of different types of specific data, resulting in data acquisition between different platforms less versatile the problem. The method includes: receiving a preset data acquisition interface and sends the data to be processed according to the preset data acquisition interface; data acquisition instruction acquisition data to be processed, the data type of the data to be processed contains data acquisition command; and determine whether the data type consistency data acquisition command in the data to be processed if the same data type; then, according to the preset rules will be processed data format specification, preset rules are used to standardize data format to be processed; the data to be processed is sent to the server after the format. The invention is mainly used in the data acquisition process.

【技术实现步骤摘要】
数据采集平台中数据处理的方法及装置
本专利技术涉及计算机
，特别是涉及一种数据采集平台中数据处理的方法及装置。
技术介绍
数据分析是组织有目的地收集数据、数据处理、分析数据，使之成为信息的过程。数据分析的前提是数据采集和数据处理，在数据采集过程中数据来源可能不同，格式也可能不同，因此在进行数据采集时，可以使用现有技术中提供的数据采集软件，例如，在采集网页视频播放数据时，可以使用采集网页视频播放数据的软件开发包(SoftwareDevelopmentKit，SDK)；在采集移动端的用户行为数据时，可以使用移动端的用户行为数据SDK等等。在数据采集过程中使用的SDK，均有特定的来源信息、特定的数据格式、特定的数据传送格式，在数据处理时要分别针对特定的来源信息、特定的数据格式、特定的数据传送格式进行数据处理。在使用数据采集软件进行数据采集时，专利技术人发现其存在如下问题：当同时采集网页视频播放数据与移动端的用户行为数据时，需要对网页视频播放数据与移动端的用户行为分别部署不同的数据采集平台，才能实现同时采集到网页视频播放数据与移动端的用户行为数据；由于不同的数据采集平台的技术构架存在较大差异，即不同的数据采集平台使用的数据采集方法及数据处理方法存在较大差异，因此不同的数据采集平台只能采集特定类型的数据，导致不同的数据采集平台之间通用性较差。
技术实现思路
有鉴于此，本专利技术提供的一种数据采集平台中数据处理的方法及装置，主要目的在于解决由于不同的数据采集平台使用不同的采集数据方法，因此不同的数据采集平台只能采集特定类型的数据，导致不同的数据采集平台之间通用性较差的问题。为了解决上述问题，本专利技术主要提供如下技术方案：一方面，本专利技术提供了一种数据采集平台中数据处理的方法，该方法包括：接收预设数据采集接口发送的待处理数据；其中，所述预设数据采集接口根据数据采集指令采集所述待处理数据，所述数据采集指令中包含所述待处理数据的数据类型；确定所述待处理数据的数据类型是否与所述数据采集指令中的数据类型一致；若一致，则根据预置规范规则将所述待处理数据进行格式化处理，所述预置规范规则用于规范所述待处理数据的格式；将格式化处理后的所述待处理数据发送至服务器。另一方面，本专利技术还提供一种数据采集平台中数据处理的装置，该装置包括：接收单元，用于接收预设数据采集接口发送的待处理数据；其中，所述预设数据采集接口根据数据采集指令采集所述待处理数据，所述数据采集指令中包含所述待处理数据的数据类型；确定单元，用于确定所述待处理数据的数据类型是否与所述接收单元接收的所述数据采集指令中的数据类型一致；处理单元，用于当所述确定单元确定所述待处理数据的数据类型与所述数据采集指令中的数据类型一致时，根据预置规范规则将所述待处理数据进行格式化处理，所述预置规范规则用于规范所述待处理数据的格式；发送单元，用于将所述处理单元格式化处理后的所述待处理数据发送至服务器。借由上述技术方案，本专利技术提供的技术方案至少具有下列优点：本专利技术提供的数据采集平台中数据处理的方法及装置，接收预设数据采集接口发送的待处理数据，该预设数据采集接口根据数据采集指令采集待处理数据，该数据采集指令中包含待处理数据的数据类型，确定待处理数据的数据类型与数据采集指令中的数据类型是否一致，若一致，则根据预置规范规则将该待处理数据进行格式化处理，将格式化处理后的待处理数据发送至服务器，与现有技术相比，本专利技术在数据采集平台中能够将预设采集接口采集的不同数据类型的待处理数据进行统一的格式化处理，即该数据采集平台的通用性好。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1示出了本专利技术实施例提供的一种数据采集平台中数据处理的方法的流程图；图2示出了本专利技术实施例提供的另一种数据采集平台中数据处理的方法的流程图；图3示出了本专利技术实施例提供的一种数据采集平台中数据处理的装置的组成框图；图4示出了本专利技术实施例提供的另一种数据采集平台中数据处理的装置的组成框图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。本专利技术实施例提供一种数据采集平台中数据处理的方法，如图1所示，该方法包括：101、接收预设数据采集接口发送的待处理数据。在本专利技术实施例中，预设数据采集接口位于客户端中，用于采集客户端中各种各样的数据，包括：用户行为数据、移动终端设备的视频播放数据、终端设备的网页信息数据等等；其中，该客户端可以安装于终端设备中；也可以安装于移动终端设备中，本专利技术对客户端的安装位置不进行限定。需要说明的是，预设数据采集接口在采集待处理数据时，基于服务器发送的数据采集指令采集待处理数据，其中，该数据采集指令中包含待处理数据的数据类型。本专利技术实施例应用于采集待处理数据的过程中，当预设数据采集接口从客户端中采集完待处理数据之后，将该待处理数据发送至数据采集平台中，数据采集平台接收该待处理数据对该待处理数据进行格式化处理，处理之后，将处理后的待处理数据发送至服务器，完成服务器采集客户端中的数据。其中，数据采集平台接收到的待处理数据可能为一个，也可能为多个，本专利技术实施例对接收待处理数据的具体个数不进行限定。预设数据采集接口在基于数据采集指令采集待处理数据时，其待处理数据的数据类型需根据客户端、数据采集平台的编程语言确定，不同的编程语言对应的数据类型类型可能存在差异。本专利技术实施例中，所述待处理数据的数据类型包含但不局限于下列内容，例如：整型、字符型、浮点型、字符串等等，本专利技术实施例对待处理数据的数据类型不进行具体限定。102、确定所述待处理数据的数据类型是否与所述数据采集指令中的数据类型一致。在数据采集平台接收到待处理数据之后，首先，确定待处理数据的个数，若待处理数据的个数为至少两个，需分别对至少两个待处理数据确定该待处理数据的数据类型；其次，获取数据采集指令中的数据类型与数据采集平台确定的待处理数据的数据类型是否一致。本专利技术实施例中，数据采集平台除了确定待处理数据的数据类型，还包括：确定待处理数据是否包含特殊字符、待处理数据的长度信息等等。若确定待处理数据中包含特殊字符，则将包含特殊字符的待处理数据进行编码处理；若待处理数据的长度超过预设长度阈值，则将该待处理数据根据预设长度阈值进行截取，其中，所述预设长度阈值为人为设置，在设置预设长度阈值时，要基于不同的待处理数据的数据类型进行设置。103、若一致，则根据预置规范规则将所述待处理数据进行格式化处理。由步骤102可知，当确定所述待处理数据的数据类型是否与所述数据采集指令中的数据类型一致时，说明本文档来自技高网...

【技术保护点】
一种数据采集平台中数据处理的方法，其特征在于，包括：接收预设数据采集接口发送的待处理数据；其中，所述预设数据采集接口根据数据采集指令采集所述待处理数据，所述数据采集指令中包含所述待处理数据的数据类型；确定所述待处理数据的数据类型是否与所述数据采集指令中的数据类型一致；若一致，则根据预置规范规则将所述待处理数据进行格式化处理，所述预置规范规则用于规范所述待处理数据的格式；将格式化处理后的所述待处理数据发送至服务器。

【技术特征摘要】
1.一种数据采集平台中数据处理的方法，其特征在于，包括：接收预设数据采集接口发送的待处理数据；其中，所述预设数据采集接口根据数据采集指令采集所述待处理数据，所述数据采集指令中包含所述待处理数据的数据类型；确定所述待处理数据的数据类型是否与所述数据采集指令中的数据类型一致；若一致，则根据预置规范规则将所述待处理数据进行格式化处理，所述预置规范规则用于规范所述待处理数据的格式；将格式化处理后的所述待处理数据发送至服务器。2.根据权利要求1所述的方法，其特征在于，根据预置规范规则将所述待处理数据进行格式化处理包括：确定所述待处理数据的数量是否为至少两个；若确定所述待处理数据的数量为至少两个，则将所述待处理数据进行拼接，并基于所述预置规范规则对所述拼接后的所述待处理数据进行格式化处理；若确定所述待处理数据的数量为一个，则基于所述预置规范规则将所述待处理数据进行格式化处理。3.根据权利要求2所述的方法，其特征在于，将格式化处理后的所述待处理数据发送至服务器包括：确定发送格式化处理后的所述待处理数据的发送协议；基于所述发送协议将格式化处理后的所述待处理数据发送至所述服务器。4.根据权利要求3所述的方法，其特征在于，确定发送格式化处理后的所述待处理数据的发送协议包括：解析所述数据采集指令，获取并确定所述发送协议；其中，所述数据采集指令中还包含所述发送协议；或者，确定所述数据采集平台中默认的或者选定的发送协议为所述发送协议。5.根据权利要求1-4中任一项所述的方法，其特征在于，确定所述待处理数据的数据类型是否与所述数据采集指令中的数据类型一致包括：解析所述数据采集指令，并获取第一数据类型，所述第一数据类型为所述数据采集指令中的数据类型；确定第二数据类型，所述第二数据类型为所述待处理数据的数据类型；确定所述第一数据类型与所述第二数据类型是否一致；根据预置规范规则将所述待处理数据进行格式化处理包括：若确定所述第一数据类型与所述第二数据类型一致，则根据预置规范规则将所述待处理数据进行格式化处理。6.根据...

【专利技术属性】
技术研发人员：王杰，
申请(专利权)人：北京国双科技有限公司，
类型：发明
国别省市：北京,11