数据收集方法和装置、服务器、存储介质制造方法及图纸

本发明专利技术实施例公开了一种数据收集方法和装置、服务器、存储介质，其中该方法包括：对预先设置的应用平台监控事件进行监听；根据监听的事件消息，通过调用钩子程序，获取监控事件对应的监控数据；从获取的监控数据中采集用户所需的数据，并上传至数据分析服务器。本发明专利技术实施例可以实现减少数据埋点涉及的项目工程代码，减缓程序运行工作量以及提高数据可配置化的效果。

【技术实现步骤摘要】
数据收集方法和装置、服务器、存储介质
本专利技术实施例涉及数据处理
，尤其涉及一种数据收集方法和装置、服务器、存储介质。
技术介绍
近年来，随着移动互联网、智能终端、大数据、云计算等的发展，移动互联网从一种技术演变为人们生活不可或缺的环境。互联网产品的应用、性能和管理(ApplicationPerformanceManagement，APM)成为企业提升用户体验的关键，也是一个企业长久发展的必要因素。例如：程序崩溃或者程序卡顿，将会影响多少体验用户，进而受影响的体验用户流失会给企业造成多少损失，这些都是企业所要考虑的问题。APM具有非常明确的4V特征，即数据量大(Volume)，种类多(Variety)，高速(Velocity)，数据价值(Value)，其有两大好处：一个是可以提升工作效率，减少和体验用户无效沟通的时间；另一个就是可以及时发现和准确定位问题，因为运行在互联网上的业务系统，其体验用户往往最先感知到系统故障，根据体验用户的反馈发现和解决问题，将会大大降低故障带来的业务损失。埋点分析，是分析用户行为的一种常用的数据采集方法。但是，现有的数据埋点方法中大部分涉及较多的项目工程代码埋点，程序运行工作量大，且数据或参数的可配置化低。
技术实现思路
本专利技术实施例提供一种数据收集方法和装置、服务器、存储介质，以解决现有数据埋点方法涉及的项目工程代码埋点较多，程序运行工作量大以及数据可配置化低的问题。第一方面，本专利技术实施例提供了一种数据收集方法，该方法包括：对预先设置的应用平台监控事件进行监听；根据所述监听的事件消息，通过调用钩子(hook)程序，获取所述监控事件对应的监控数据；从所述监控数据中采集用户所需的数据，并上传至数据分析服务器。第二方面，本专利技术实施例还提供了一种数据收集装置，该装置包括：事件监控模块，用于对预先设置的应用平台监控事件进行监听；监控数据获取模块，用于根据所述监听的事件消息，通过调用钩子程序，获取所述监控事件对应的监控数据；用户数据采集模块，用于从所述监控数据中采集用户所需的数据，并上传至数据分析服务器。第三方面，本专利技术实施例还提供了一种服务器，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本专利技术任一实施例所述的数据收集方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术任一实施例所述的数据收集方法。本专利技术实施例通过对预先设置的应用平台监控事件进行监听，并调用钩子程序，获取监控事件对应的监控数据，然后从获取的监控数据中采集用户所需的数据，并上传至数据分析服务器，解决了现有的数据埋点方法中大部分涉及较多的项目工程代码埋点，程序运行工作量大，且数据或参数的可配置化低的问题，减少了现有数据埋点涉及的项目工程代码量，即所需的工程代码埋点少，减缓了程序运行工作量，提高了数据可配置化。附图说明图1是本专利技术实施例一提供的数据收集方法的流程图；图2是本专利技术实施例二提供的数据收集方法的流程图；图3是本专利技术实施例三提供的数据收集装置的结构示意图；图4是本专利技术实施例四提供的一种服务器的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1是本专利技术实施例一提供的数据收集方法的流程图，本实施例可适用于进行数据收集的情况，该方法可以由数据收集装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成在服务器中。如图1所示，该方法具体包括：S110、对预先设置的应用平台监控事件进行监听。其中，应用平台包括但不限于各种终端设备上加载的应用，例如移动终端、个人电脑、平板电脑等加载的应用。用户预先设置的监控事件包括应用程序的运行情况和基于应用的用户行为等。在设置监控事件之前，需要对启动的应用程序进行数据初始化。示例性地，用户启动移动终端上的应用(Application，App)，进行数据的初始化，然后设置监控事件，具体地，监控事件包括App的前后台操作、App网络和连接状态、App崩溃、App卡顿、App点击和App触摸等事件。S120、根据监听的事件消息，通过调用钩子程序，获取监控事件对应的监控数据。对监控事件进行监听的过程中，如果监听到事件发生，数据收集装置的监听程序会发出事件消息，通过调用钩子程序，获取监控事件对应的监控数据。示例性地，事件消息发出的条件包括监听到App崩溃、网络连接错误或卡顿等信息和用户对App前后台运行的操作等。示例性地，在用户行为分析方面，采用监听与钩子程序相结合的形式，可以监听App程序的生命周期：启动、后台、进入前台、退出等；调用钩子程序监听页面的生命周期，可以获取页面的加载时间、停留时间和页面的名字等信息；调用钩子程序监听触摸事件的周期，可以获取触摸控件的名称，结合页面的生命周期可以绘制出当前页面的操作估计，最大程度的分析用户的行为习惯，进而提升用户的体验。此外，调用钩子程序获取监控数据，是基于子线程实现，可以减少项目代码量，并减小对应用程序运行性能的影响，进而使得代码维护以及数据的获取也更加简单。S130、从获取的监控数据中采集用户所需的数据，并上传至数据分析服务器。采集用户所需的数据也是数据收集装置通过调用钩子程序实现。根据用户所需采集相关数据，提高了数据的可配置化。用户所需的数据以日志的形式进行传输。示例性地，针对中国农业银行的App，在数据收集装置中进行集成并插入三行代码，便可以实现用户行为、习惯和错误信息的收集且对App性能和现有业务影响很小，实现对App的卡顿和崩溃分析，并通过收集到的数据定位App的问题，提升用户体验。将移动终端App性能数据分析与用户行为分析结合进行，可以同时有效提高App的用户体验和产品的性能。可选地，该方法还包括：如果采集的数据没有成功上传至数据分析服务器，则加密保存为本地数据；在用户所需采集的数据信息没有更新时，将本地数据上传至数据分析服务器。采集的数据在符合上传条件的情况下，会经过数据压缩上传至数据分析服务器，以便进行应用性能分析和/或用户行为分析；若不符合上传条件，采集数据将会被加密保存至本地，例如终端设备的磁盘或硬盘中，避免被用户误删，保证本地存储的安全性。上传条件包括采集的数据是用户所需以及网络连接正常。当用户所需采集的数据信息没有更新时，会将保存的本地数据上传至数据分析服务器，并删除本地数据，即清除本地日志，节省存储空间。本实施例技术方案通过对预先设置的应用平台监控事件进行监听，并调用钩子程序，获取监控事件对应的监控数据，然后从获取的监控数据中采集用户所需的数据，并上传至数据分析服务器，解决了现有的数据埋点方法中大部分涉及较多的项目工程代码埋点，程序运行工作量大，且数据或参数的可配置化低的问题，减少了现有数据埋点涉及的项目工程代码量，即所需的工程代码埋点少，减缓了程序运行工作量，提高了数据可配置化。实施例二图2是本专利技术实施例二提供的数据收集方法的流程图，本实施例是在上述实施例的基础上进一步进本文档来自技高网...

【技术保护点】
一种数据收集方法，其特征在于，包括：对预先设置的应用平台监控事件进行监听；根据所述监听的事件消息，通过调用钩子程序，获取所述监控事件对应的监控数据；从所述监控数据中采集用户所需的数据，并上传至数据分析服务器。

【技术特征摘要】
1.一种数据收集方法，其特征在于，包括：对预先设置的应用平台监控事件进行监听；根据所述监听的事件消息，通过调用钩子程序，获取所述监控事件对应的监控数据；从所述监控数据中采集用户所需的数据，并上传至数据分析服务器。2.根据权利要求1所述的方法，其特征在于，所述从所述监控数据中采集用户所需的数据，并上传至数据分析服务器，包括：根据服务端策略，从所述监控数据中采集用户所需的数据，并实时上传至所述数据分析服务器，其中所述服务端策略包括用户所需采集的数据项和数据上传方式。3.根据权利要求2所述的方法，其特征在于，所述根据服务端策略，从所述监控数据中采集用户所需的数据，并实时上传至所述数据分析服务器，包括：将所述监控数据与所述数据项进行匹配；如果匹配成功，则从所述监控数据中采集用户所需的数据；根据所述数据上传方式，将所述采集的数据实时上传至所述数据分析服务器。4.根据权利要求1～3任一所述的方法，其特征在于，所述方法还包括：如果所述采集的数据没有成功上传至所述数据分析服务器，则加密保存为本地数据；在用户所需采集的数据信息没有更新时，将所述本地数据上传至所述数据分析服务器。5.一种数据收集装置，其特征在于，包括：事件监控模块，用于对预先设置的应用平台监控事件进行监听；监控数据获取模块，用于根据所述监听的事件消息，通过调用钩子程序，获取所述监控事件对应的监控数据...

【专利技术属性】
技术研发人员：谈剑锋，王增辉，杨德光，姜立稳，
申请(专利权)人：上海众人网络安全技术有限公司，
类型：发明
国别省市：上海,31