数据收集方法、装置及系统制造方法及图纸

本发明专利技术公开了一种数据收集方法、装置及系统，属于数据统计技术领域。该方法包括：客户端向服务器端上传数据，数据包括批次号信息；根据批次号信息，服务器端判断是否出现异常情况；当服务器端判定没有出现异常情况时，则服务器端收集所述数据，对于客户端多次上传的重复数据，通过服务器端的过滤处理，对重复的数据进行删除，从而保证了数据尽量不丢失，同时，服务端进行去重处理，提高了所收集数据的精确性和准确性。

Data collection method, device and system

The invention discloses a data collecting method, a device and a system thereof, which belong to the technical field of data statistics. The method comprises: a client to upload data to the server, the data including batch number information; according to the batch number information, the server determines whether there is abnormal situation; when the server determined that there is no abnormal situation, then the server collects the data, duplicate data for the client to upload multiple, by filtering the server. To delete duplicate data, so as to ensure the data as far as possible without loss, at the same time, the server to re processing, improves the precision and accuracy of data collection.

【技术实现步骤摘要】

本专利技术涉及数据统计
，尤其涉及数据收集方法、装置及系统。
技术介绍
近几年来，随着计算机和信息技术的迅猛发展和普及应用，行业应用系统的规模迅速扩大，行业应用所产生的数据呈爆炸性增长。动辄达到数百TB甚至数十至数百PB规模的行业/企业大数据已远远超出了现有传统的计算技术和信息系统的处理能力，因此，寻求有效的大数据处理技术、方法和手段已经成为现实世界的迫切需求。随着手机业务发展和功能的丰富，各种APP应用也越来越多，每一种APP都涉及到了用户相关行为的统计分析功能，即大数据量统计分析需求。而为了实现大数据量数据统计的功能，首先一点就必须能够大范围的收集用户在客户端的行为日志信息，即用户行为信息采集功能。然而，传统的数据收集方式，一般情况下为客户端上传数据。其中，如果只上传数据一次，则可能存在数据丢失的情况，如果多次上传数据的话，则可能存在数据重复的问题，无论何种情况都可能会造成数据或多或少的缺失或者重复，导致数据不是特别精确的问题。
技术实现思路
本专利技术的主要目的在于提出一种数据收集方法、装置及系统，旨在解决现有技术中单次上传或者多次上传数据而导致的数据丢失或者数据重复的问题。为实现上述目的，本专利技术提供的一种数据收集方法，所述方法包括步骤：客户端向服务器端上传数据，所述数据包括批次号信息；根据所述批次号信息，所述服务器端判断是否出现异常情况；当所述服务器端判定没有出现异常情况时，则所述服务器端收集所述数据。可选地，当所述服务器端判定出现异常情况时，所述方法还包括：所述客户端重新上传带有所述批次号信息的数据；针对所述客户端重新上传相同数据的次数，所述服务器端判断所述次数是否达到预设的次数阈值；若是，则所述客户端记录本地相关日志信息，并废弃所述批次号信息的数据。可选地，所述服务器端收集所述数据，包括：所述服务器端接收所述客户端发送的至少一次的所述批次号信息的数据，并定期对所述数据进行过滤处理；所述服务器端对重复数据进行过滤统计，以删除重复数据。此外，为实现上述目的，本专利技术还提出一种数据收集方法，应用于客户端，所述方法包括步骤：向服务器端上传数据，所述数据包括批次号信息；接收所述服务器端发送的没有异常情况的指令，则所述服务器端收集数据成功。可选地，所述方法还包括：接收所述服务器端发送的异常情况的指令；重新上传带有所述批次号信息的数据；判断重新上传相同数据的次数是否达到预设的次数阈值；若是，则记录本地相关日志信息，并废弃所述批次号信息的数据。此外，为实现上述目的，本专利技术还提出一种数据收集方法，应用于服务器端，所述方法包括步骤：接收客户端发送的带有批次号信息的数据；根据所述批次号信息，判断是否出现异常情况；当没有出现异常情况时，则收集所述数据。可选地，所述方法还包括：接收所述客户端发送的至少一次的所述批次号信息的数据，并定期对所述数据进行过滤处理；对重复数据进行过滤统计，以删除重复数据。此外，为实现上述目的，本专利技术还提出一种数据收集系统，所述系统包括客户端和与所述客户端通信连接的服务器端，其中，所述客户端用于，向服务器端上传数据，所述数据包括批次号信息；所述服务器端用于，根据所述批次号信息，判断是否出现异常情况；当所述服务器端判定没有出现异常情况时，则所述服务器端收集所述数据。可选地，当所述服务器端判定出现异常情况时，所述客户端，还用于重新上传带有所述批次号信息的数据；相应地，所述服务器端，还用于针对所述客户端重新上传相同数据的次数，所述服务器端判断所述次数是否达到预设的次数阈值；若是，则触发所述客户端记录本地相关日志信息，并废弃所述批次号信息的数据。可选地，所述服务器端具体用于：接收所述客户端发送的至少一次的所述批次号信息的数据，并定期对所述数据进行过滤处理，以及，对重复数据进行过滤统计，以删除重复数据。本专利技术提出的数据收集方法、装置及系统，通过客户端向服务器端上传包括批次号信息的数据，根据批次号信息，当服务器端判定没有出现异常情况时，则收集数据，对于客户端多次上传的重复数据，通过服务器端的过滤处理，对重复的数据进行删除，从而保证了数据尽量不丢失，同时，服务端进行去重处理，提高了所收集数据的精确性和准确性。附图说明图1为本专利技术第一实施例提供的数据收集方法的流程示意图；图2为本专利技术第一实施例提供的数据收集方法的子流程示意图；图3为本专利技术第二实施例提供的数据收集方法的流程示意图；图4为本专利技术第三实施例提供的数据收集方法的流程示意图；图5为本专利技术第四实施例提供的数据收集系统的模块示意图；图6为本专利技术第五实施例提供的数据收集装置的模块示意图；图7为本专利技术第六实施例提供的数据收集装置的模块示意图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。实施例一如图1所示，为本专利技术第一实施例提供的数据收集方法的流程示意图，所示方法包括步骤：步骤110，客户端向服务器端上传数据，所述数据包括批次号信息。具体地，客户端调用服务器端接口，进行数据上传，该数据包括批次号信息。在本实施例中，该数据上传格式中至少包括以下字段信息：imei_mac_batchId信息。其中，imei表示设备号ID，mac表示网络标示，batchId表示批次号信息。一般情况下，同一设备中的imei与mac不会变，batchId消息批次号区分是否同一批次消息，不同的batchId代表不同的批次消息。进一步地，batchId可以由0-50000之间进行循环设置。步骤120，根据所述批次号信息，所述服务器端判断是否出现异常情况；若否，则进入步骤130；若是，则进入步骤140。具体地，服务器端接收客户端上传的数据，服务器端的接口处理消息。当接口返回处理失败标识，或者接口没有返回信息，或者其他异常情况时，则服务器端判定出现异常情况，并进入步骤130。当没有出现上述异常时，则服务器端判定没有出现异常情况，并进入步骤140。步骤130，所述服务器端收集所述数据。具体地，服务器端接口收集该数据，并记录在数据库中。步骤140，所述客户端重新上传带有所述批次号信息的数据。具体地，客户端需要针对该批次号的信息重新上传一次该数据。也就是说，重新上传的数据是同一批次的，且imei、mac、bathId信息均一致。步骤150，针对所述客户端重新上传相同数据的次数，所述服务器端判断所述次数是否达到预设的次数阈值，若是，则进入步骤160，若否，则进入步骤120。具体地，客户端重新上传相同数据说明前次上传的数据失败，在客户端每次重新上传数据时，服务器端分别判断相同批次号信息的数据的上传次数(例如N次)是否达到预设的次数阈值，若是，则说明客户端上传数据的失败的次数为N次，并进入步骤160；若否，则客户端继续上传重复的相同数据至服务器端，并进入步骤120由服务器端再次判断是否出现异常情况。步骤160，所述客户端记录本地相关日志信息，并废弃所述批次号信息的数据。具体地，当上传数据失败次数达到预设的次数阈值时，则客户端记录本地相关日志信息，废弃该批次号消息，无需再次进行上传处理。作为对本实施例的进一步改进，请参照图2，步骤130进一步包括：步骤210，服务器端接收所述客户端发送的至少本文档来自技高网...

【技术保护点】
一种数据收集方法，其特征在于，所述方法包括步骤：客户端向服务器端上传数据，所述数据包括批次号信息；根据所述批次号信息，所述服务器端判断是否出现异常情况；当所述服务器端判定没有出现异常情况时，则所述服务器端收集所述数据。

【技术特征摘要】
1.一种数据收集方法，其特征在于，所述方法包括步骤：客户端向服务器端上传数据，所述数据包括批次号信息；根据所述批次号信息，所述服务器端判断是否出现异常情况；当所述服务器端判定没有出现异常情况时，则所述服务器端收集所述数据。2.根据权利要求1所述的数据收集方法，其特征在于，当所述服务器端判定出现异常情况时，所述方法还包括：所述客户端重新上传带有所述批次号信息的数据；针对所述客户端重新上传相同数据的次数，所述服务器端判断所述次数是否达到预设的次数阈值；若是，则所述客户端记录本地相关日志信息，并废弃所述批次号信息的数据。3.根据权利要求1所述的数据收集方法，其特征在于，所述服务器端收集所述数据，包括：所述服务器端接收所述客户端发送的至少一次的所述批次号信息的数据，并定期对所述数据进行过滤处理；所述服务器端对重复数据进行过滤统计，以删除重复数据。4.一种数据收集方法，应用于客户端，其特征在于，所述方法包括步骤：向服务器端上传数据，所述数据包括批次号信息；接收所述服务器端发送的没有异常情况的指令，则所述服务器端收集数据成功。5.根据权利要求4所述的数据收集方法，其特征在于，所述方法还包括：接收所述服务器端发送的异常情况的指令；重新上传带有所述批次号信息的数据；判断重新上传相同数据的次数是否达到预设的次数阈值；若是，则记录本地相关日志信息，并废弃所述批次号信息的数据。...

【专利技术属性】
技术研发人员：郑秋燕，
申请(专利权)人：努比亚技术有限公司，
类型：发明
国别省市：广东;44