一种云平台数据采集方法及装置制造方法及图纸

本申请公开了一种云平台数据采集方法及装置，用于获取应用程序使用过程中的相关数据，其中，方法包括：服务器对不同的应用程序设置采集的目标数据字段；所述服务器与移动设备上的目标应用程序建立长连接，所述目标应用程序中配置有软件开发工具包；所述服务器确定所述移动设备的系统型号；所述服务器根据所述确定结果获取所述目标应用程序中的目标数据；所述服务器将所述采集的数据存储到目标文件中。述服务器将所述采集的数据存储到目标文件中。述服务器将所述采集的数据存储到目标文件中。

【技术实现步骤摘要】
一种云平台数据采集方法及装置


[0001]本申请涉及大数据
，具体涉及一种云平台数据采集方法及装置。

技术介绍

[0002]互联网的飞速发展将社会带入数据高度发达且公开的信息时代，数据对于企业经营、政府决策以及社会动态分析等具有极其重要的作用。某些业务平台每天都会有大量的用户访问，从而产生大量的访问日志数据，比如电商系统的浏览，加入购物车、下订单、付款等一系列流程都可以通过埋点获取到用户的访问路径以及访问时长等相关数据；再比如智能穿戴设备，实时都会采集用户的血压、脉搏、心率等数据实时上报到云端。通过对这些日志信息进行采集，然后进行数据分析，可以得到很多业务价值，挖掘相应业务平台日志数据中的潜在价值。
[0003]基于大数据平台的互联网数据采集技术就是收集日志数据提供离线和在线的实时分析使用，目前大部分的数据采集是采用数据埋点技术，在需要统计数据的地方设置统计代码，但是埋点代价比较大，每一个控件的埋点都需要添加相应的代码，不仅工作量大，更新代价也比较大，每一次更新，都需要更新埋点方案，然后通过各个应用市场进行分发，而且有的用户还不一定更新，这样就获取不到这批用户数据。

技术实现思路

[0004]本申请提供了一种云平台数据采集方法及装置，用于使云平台采集相关数据的过程更简便。
[0005]本申请实施例第一方面提供了一种云平台数据采集的方法，包括：
[0006]服务器对不同的应用程序设置采集的目标数据字段；
[0007]所述服务器与移动设备上的目标应用程序建立长连接，所述目标应用程序中配置有软件开发工具包；
[0008]所述服务器确定所述移动设备的系统型号；
[0009]所述服务器根据所述确定结果获取所述目标应用程序中的目标数据；
[0010]所述服务器将所述采集的数据存储到目标文件中。
[0011]可选的，所述服务器根据所述确定结果获取所述目标应用程序中的目标数据，包括：
[0012]所述服务器按照所述应用程序设置采集的目标数据字段对所述应用程序进行同步配置更改并覆盖本地配置信息；
[0013]所述服务器接收所述应用程序发送的同步结果信息；
[0014]所述服务器接收所述应用程序根据所述配置采集的数据。
[0015]可选的，所述服务器将所述采集的数据存储到目标文件中，包括：
[0016]所述服务器将所述目标数据整理成表格形式；
[0017]所述服务器将所述表格写入指定位置的文件中；
[0018]或，
[0019]所述服务器将所述表格写入Kafka中。
[0020]可选的，所述服务器将所述表格写入指定位置的文件中，包括：
[0021]所述服务器将所述表格保存至默认文件中，所述默认文件的路径、文件名以及文件大小上限均为默认设置；
[0022]或，
[0023]所述服务器将所述表格保存至指定文件中，所述指定文件的路径、文件名以及文件大小上限均由用户设置；
[0024]所述服务器通过脚本定时压缩所述文件。
[0025]可选的，所述服务器与移动设备上的目标应用程序建立长连接之后，所述服务器确定所述移动设备的系统型号之前，所述方法还包括：
[0026]所述服务器通过JS获取所述移动设备的手机型号、系统版本。
[0027]本申请实施例第二方面提供了一种云平台数据采集装置，包括：
[0028]第一设置单元，用于服务器对不同的应用程序设置采集的目标数据字段；
[0029]建立连接单元，用于对所述服务器与移动设备上的目标应用程序建立长连接，所述目标应用程序中配置有软件开发工具包；
[0030]第一确定单元，用于所述服务器确定所述移动设备的系统型号；
[0031]第一获取单元，用于所述服务器根据所述确定结果获取所述目标应用程序中的目标数据；
[0032]第一执行单元，用于所述服务器将所述采集的数据存储到目标文件中。
[0033]可选的，所述第一获取单元包括：
[0034]配置模块，用于所述服务器按照所述应用程序设置采集的目标数据字段对所述应用程序进行同步配置更改并覆盖本地配置信息；
[0035]第一接收模块，用于所述服务器接收所述应用程序发送的同步结果信息；
[0036]第二接收模块，用于所述服务器接收所述应用程序根据所述配置采集的数据。
[0037]可选的，所述第一执行单元包括：
[0038]转换模块，用于所述服务器将所述目标数据整理成表格形式；
[0039]第一执行模块，用于所述服务器将所述表格写入指定位置的文件中；
[0040]或，
[0041]第二执行模块，用于所述服务器将所述表格写入Kafka中。
[0042]可选的，所述第一执行模块包括：
[0043]第一写入子模块，用于所述服务器将所述表格保存至默认文件中，所述默认文件的路径、文件名以及文件大小上限均为默认设置；
[0044]第二写入子模块，用于所述服务器将所述表格保存至指定文件中，所述指定文件的路径、文件名以及文件大小上限均由用户设置；
[0045]压缩模块，用于所述服务器通过脚本定时压缩所述文件。
[0046]可选的，所述装置还包括：
[0047]第二获取单元，所述服务器通过JS获取所述移动设备的手机型号、系统版本。
[0048]本申请实施例第三方面提供了一种云平台数据采集装置，包括：
[0049]处理器、存储器、输入输出单元、总线；
[0050]所述处理器与所述存储器、所述输入输出单元以及所述总线相连；
[0051]所述处理器具体执行如下操作：
[0052]服务器对不同的应用程序设置采集的目标数据字段；
[0053]所述服务器与移动设备上的目标应用程序建立长连接，所述目标应用程序中配置有软件开发工具包；
[0054]所述服务器确定所述移动设备的系统型号；
[0055]所述服务器根据所述确定结果获取所述目标应用程序中的目标数据；
[0056]所述服务器将所述采集的数据存储到目标文件中。
[0057]本申请实施例第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质上保存有程序，所述程序在计算机上执行时执行前述识别驾驶员心理状态的方法。
[0058]从以上技术方案可以看出，服务器依据不同的应用程序设置采集的目标数据字段，这样就能对不同的应用程序获取到相应的数据，当移动设备上的应用程序与服务器建立连接后，服务器能判断该移动设备的系统型号并通过应用程序中软件开发工具获取相应的数据字段并将这些数据保存至目标文件中，采集数据的过程简单，即使应用程序更新也不影响对用户数据的采集。
附图说明
[0059]图1为本申请中一种云平台数据采集方法一个实施例流程示意图；
[0060]图2为本申请中一种云平台数据采集方法另一实施例流程示意图；...

【技术保护点】

【技术特征摘要】
1.一种云平台数据采集方法，其特征在于，包括：服务器对不同的应用程序设置采集的目标数据字段；所述服务器与移动设备上的目标应用程序建立长连接，所述目标应用程序中配置有软件开发工具包；所述服务器确定所述移动设备的系统型号；所述服务器根据所述确定结果获取所述目标应用程序中的目标数据；所述服务器将所述采集的数据存储到目标文件中。2.根据权利要求1所述的云平台数据采集方法，其特征在于，所述服务器根据所述确定结果获取所述目标应用程序中的目标数据，包括：所述服务器按照所述应用程序设置采集的目标数据字段对所述应用程序进行同步配置更改并覆盖本地配置信息；所述服务器接收所述应用程序发送的同步结果信息；所述服务器接收所述应用程序根据所述配置采集的数据。3.根据权利要求1所述的云平台数据采集方法，其特征在于，所述服务器将所述采集的数据存储到目标文件中，包括：所述服务器将所述目标数据整理成表格形式；所述服务器将所述表格写入指定位置的文件中；或，所述服务器将所述表格写入Kafka中。4.根据权利要求3所述的云平台数据采集方法，其特征在于，所述服务器将所述表格写入指定位置的文件中，包括：所述服务器将所述表格保存至默认文件中，所述默认文件的路径、文件名以及文件大小上限均为默认设置；或，所述服务器将所述表格保存至指定文件中，所述指定文件的路径、文件名以及文件大小上限均由用户设置；所述服务器通过脚本定时压缩所述文件。5.根据权利要求根据权利要求1至4中任一项所述的云平台数据采集方法，其特征在于，所述服务器与移动设备上的目标应用程序建立长连接之后，所述服务器确定所述移动设备的系统型号之前，所述方法还包括：所述服务器通过JS获取所述移动设备的手机型号、系统版本。6.一种云平台数据采集装置，其特征在在于，包括：...

【专利技术属性】
技术研发人员：罗伟东，李博，
申请(专利权)人：深圳市和讯华谷信息技术有限公司，
类型：发明
国别省市：