移动设备信息采集系统技术方案

本发明专利技术涉及移动设备信息采集系统，具体包括数据采集模块、数据接入与存储模块和配置管理模块，所述数据采集模块负责获取移动设备的原始数据，所述数据接入与存储模块负责采集数据的接收与存储，所述配置管理模块负责定义数据采集配置信息，提供图形化的管理功能，并通过同步服务将修改的合法配置更新至数据库。该系统可以顺应移动互联网时代的大数据挖掘需求痛点，可以使移动设备的信息数据能够快速流通起来，并将数据存储于通用的大数据组件中，提供快速、高吞吐量的接口，以用于大数据挖掘与分析。

Mobile device information acquisition system

The present invention relates to an information acquisition system for mobile devices, including data acquisition module, data access and storage module and configuration management module, the original data of the data acquisition module is responsible for access to mobile devices, and access the data storage module is responsible for receiving and storing the collected data, the configuration management module is responsible for defining data configuration information the acquisition, which provides a graphical management function, and the synchronization service will modify the legitimate configuration updates to the database. The system can adapt to the mobile Internet era of big data mining demand pain points, can make the information data of a mobile device to quickly circulate, and the data stored in the general assembly, to provide fast and high throughput interface for data mining and analysis.

【技术实现步骤摘要】
移动设备信息采集系统
本专利技术涉及大数据领域，具体涉及移动设备信息采集系统。
技术介绍
在目前的移动互联网风靡全球的大时代背景下，移动互联网依靠的终端设备之一的Android智能手机，每天产生了海量的含有大量待挖掘的信息数据。移动互联网企业通过这些信息数据，可以为产品在线上运营的情况提供可靠分析，从而了解产品线上情况，制定产品开发方向提供有力支撑。那么，如何采集数据，如何进行数据的初步存储是每一个移动互联网企业所关心的重点所在。目前的移动信息设备采集系统如“友盟统计”，具有很强的本地数据分析能力与定制化的数据采集方案。但其不对外提供原始数据接入接口，配制定制化流程较为繁琐。比较当前的移动设备信息采集系统，本专利技术具有可通用的数据采集方案、可定制化的数据结构模式及方便快速的数据存储平台，可以有效提高企业的数据分析能力，缩短开发流程，节省人力物力，从而为企业提供一份快速、可靠的决策参考。
技术实现思路
本专利技术的目的在于提供移动设备信息采集系统，可以顺应移动互联网时代的大数据挖掘需求痛点，让信息数据能够快速流通起来，并将数据存储于通用的大数据组件中，以提供快速、高吞吐量的接口用于大数据挖掘与分析。为实现上述目的，本专利技术采取的技术方案是：移动设备信息采集系统，它包括数据采集模块、数据接入与存储模块和配置管理模块，所述数据采集模块负责获取移动设备的原始数据，所述数据接入与存储模块负责采集数据的接收与存储，所述配置管理模块负责定义数据采集配置信息，提供图形化的管理功能，并通过同步服务将修改的合法配置更新至数据库。优选地，所述数据采集模块具体包括数据传输模块和数据获取模块。优选地，所述数据接入与存储模块具体包括数据库、原始数据网络接入服务、数据预处理和数据存储模块。优选地，所述配置管理模块具体包括配置同步服务和WEB管理服务。优选地，所述数据获取模块将采集的数据发送至数据传输模块，所述数据传输模块与原始数据网络接入服务的接口形成互连。优选地，所述原始数据网络接入服务通过数据预处理将数据存储于数据存储模块中。优选地，所述数据库仅存储数据的配置信息，并通过WEB管理服务和配置同步服务进行WEB管理，并提供数据查询和计算的接口。本专利技术的特点在于：1）可以基于配置信息实现对采集数据信息的结构化；2）针对不同类型的数据，可以通过定制化字段来采集相应数据；3）可以初步控制数据采集信息上传的频率；4）可以实现数据在服务端存储的完整性与可用性；5）可使系统具有良好的扩展性。附图说明图1是本专利技术的系统结构示意图。图2是本专利技术的数据缓存基本时序图。图3是本专利技术的上传时序图。图4是本专利技术的数据传输控制流程图。具体实施方式下面结合附图对本专利技术作进一步地描述。如图1所示，本专利技术为移动设备信息采集系统，它包括数据采集模块、数据接入与存储模块和配置管理模块，所述数据采集模块负责获取移动设备的原始数据，所述数据接入与存储模块负责采集数据的接收与存储，所述配置管理模块负责定义数据采集配置信息，提供图形化的管理功能，并通过同步服务将修改的合法配置更新至数据库。所述数据采集模块具体包括数据传输模块和数据获取模块。所述数据接入与存储模块具体包括数据库、原始数据网络接入服务、数据预处理和数据存储模块。所述配置管理模块具体包括配置同步服务和WEB管理服务。所述数据获取模块将采集的数据发送至数据传输模块，所述数据传输模块与原始数据网络接入服务的接口形成互连。所述原始数据网络接入服务通过数据预处理将数据存储于数据存储模块中。所述数据库仅存储数据的配置信息，并通过WEB管理服务和配置同步服务进行WEB管理，并提供数据查询和计算的接口。优选地，对于配置管理模块，该模块定义了数据采集配置信息，包含了数据结构定义与上传频率。WEB管理服务中提供了图形化的管理功能，在WEB管理服务新增或者修改成功的合法配置数据将经由配置同步服务更新到数据库。优选地，对于数据接入与存储模块，原始数据网络接入服务监听配置同步服务更新状态。一旦配置数据更新状态改变，则热切换配置数据。由原始数据网络接入服务接收到的数据，将先通过数据预处理模块作初步清洗，清洗后的数据最终由数据存储模块存入到Kafka中。优选地，数据接入主要由部署在服务器上的Thrift服务与设置服务器集群的负载均衡器构成的。其中，数据接入必须适应高并发的业务场景。采取的数据接入方案为TCP短连接方式，以充分提高服务的QPS能力。数据传输方式采用同步阻塞和异步非阻塞方式，同步阻塞方式适宜于原子性业务，对数据量的完整性有一定的误差容忍性，异步非阻塞方式则可提升服务端性能。对于配置文件信息的解决方案是直接将配置信息数据加载到内存中，并做热备份，以延时切换处理，这样可以减少配置文件切换时的性能损耗。优选地，数据存储采用HADOOP生态圈组件，包括使用Zookeeper、Kafka进行数据存储。Kafka作为一个高性能的分布式消息系统，既可以提供实时处理数据接口，也可以对数据做持久化配置。Kafka组件在存储数据时通过顺序写磁盘的方式来持久化数据，可以提升整个集群的吞吐量。优选地，对于数据采集模块，由数据获取模块获取设备的原始数据，数据传输模块通过解析配置文件的信息，择机将数据压缩后上传至原始数据网络接入服务。优选地，数据采集模块采用DataBase（MySQL数据库）来存放定义的配置信息，这些配置信息包括数据采集的结构定义、上传模式、阈值条数等信息，SDK通过解析这些配置信息来做数据解析，择机上传数据。优选地，数据采集模块中需要考虑用户信息隐私权。移动设备上的Android系统具有完整的权限控制体系，Android权限系统关系着整个操作系统的安全性，大部分授权行为在移动应用第一次启动时触发，这样可以避免每次向用户申请权限。因此，需要采用一种方法能使用移动应用自身的权限去执行数据采集。数据采集模块中的SDK以中间件的形式存在于各个应用中，由移动应用自身获取在应用权限范围内的数据，这样可避免移动权限系统乱用问题，保护用户信息安全。本专利技术的具体实现步骤是：步骤一：初始化。调用initIns（）方法，中间件SDK原始配置开始初始化，初始化内容包括：创建缓存路径、创建数据库、获取字段、创建内部原始缓存队列、启动线程等；步骤二：访问网络。日志采集中间件通过基于Thrift的技术实现网络传输的功能，包括下载配置文件、上传日志数据。由访问网络线程控制配置文件下载，读取配置文件，定时调用上传控制模块上传数据；步骤三：上传控制。通过读取下载配置文件，判断日志是否满足上传条件，若满足上传条件则调用数据解析与持久化模块，取出数据调用访问网络模块上传数据；上传成功后则删除已上传数据，未成功则保留数据；步骤四：对外接口。外部调用接口sent（）传入原始日志数据，数据先进入原始日志缓存队列，由缓存数据线程从队列里取出数据调用数据处理模块写入数据库；步骤五：数据解析与持久化。读取日志的配置信息，若存在配置信息，则解析为以分割符分割的数据；若不存在，则存为JSON字符串。具体地，对于数据解析与持久化，由于日志采集中间件的生命周期是作为Android应用中间件存在的，对Android应用传入的原始数据，先放入阻塞队列中，通过缓存日志线程从队列中取出数据解析，并采用S本文档来自技高网...

【技术保护点】
移动设备信息采集系统，其特征是：包括数据采集模块（1）、数据接入与存储模块（2）和配置管理模块（3），所述数据采集模块（1）负责获取移动设备的原始数据，所述数据接入与存储模块（2）负责采集数据的接收与存储，所述配置管理模块（3）负责定义数据采集配置信息，提供图形化的管理功能，并通过同步服务将修改的合法配置更新至数据库。

【技术特征摘要】
1.移动设备信息采集系统，其特征是：包括数据采集模块（1）、数据接入与存储模块（2）和配置管理模块（3），所述数据采集模块（1）负责获取移动设备的原始数据，所述数据接入与存储模块（2）负责采集数据的接收与存储，所述配置管理模块（3）负责定义数据采集配置信息，提供图形化的管理功能，并通过同步服务将修改的合法配置更新至数据库。2.根据权利要求1所述的移动设备信息采集系统，其特征是：所述数据采集模块（1）具体包括数据传输模块（4）和数据获取模块（5）。3.根据权利要求1所述的移动设备信息采集系统，其特征是：所述数据接入与存储模块（2）具体包括数据库（6）、原始数据网络接入服务（7）、数据预处理（8）和数据存储模块（9）。4.根据权利要求1所述...

【专利技术属性】
技术研发人员：张小庆，李新星，
申请(专利权)人：武汉轻工大学，
类型：发明
国别省市：湖北,42