一种基于软传感器在用户设备中采集用户数据的系统及方法技术方案

本发明专利技术公开了一种基于软传感器在用户设备中采集用户数据的系统及方法，系统包括：初始化装置，对预先设置的配置文件进行解析以确定需要采集的用户数据的多个数据类型；传感器生成装置，生成所述多个软传感器并利用每个软传感器对各自对应的数据类型的运行数据进行时间上的连续采集；数据采样装置，根据各自的采样时间间隔从每个软传感器连续采集的运行数据中确定每个采样点，并将每个采样点处的运行数据的数据集合作为每个软传感器的采样数据集；以及数据处理装置，将每个软传感器的经过数据过滤的采样数据集确定为所采集的用户数据。本发明专利技术可以实现对用户针对于富媒体的行为数据进行收集并且能够减少日志上报的空间规模。

A system and method of collecting user data in user equipment based on soft sensor

【技术实现步骤摘要】
一种基于软传感器在用户设备中采集用户数据的系统及方法
本专利技术涉及数据采集
，并且更具体地，涉及一种基于软传感器在用户设备中采集用户数据的系统及方法。
技术介绍
应用或应用程序(App)的用户行为数据收集是一种通过在App中记录用户动作的数据收集行为。所收集的行为数据通常会被形成日志。App的开发者可以通过所收集的App的用户行为数据的日志来还原用户的操作细节，并根据操作细节来挖掘用户的倾向、偏好等，从而能给运营提供评价和指导数据。传统上，对用户行为数据进行收集的方法都关注于用户的点击等操作，例如，用户在进行点击等行为的动作时，系统触发对点击等操作行为动作进行记录并生成用户行为数据的日志。这种与用户动作相关联的日志无法满足在富媒体(RichMedia，即，具有动画、声音、视频和/或交互性的信息传播方法)环境下对用户行为数据进行全面和精准地记录。在富媒体环境下，例如，用户对用户设备内的长文进行滑动浏览行为、播放行为等时，因为触发量巨大，现有技术无法通过动作触发来生成日志，或者至少是现有技术因为动作触发复杂而无法通过触发来简单收集并生成日志。这是因为滑动浏览行为或播放行为操作的入口多，例如，干预播放的动作可以是拖动进度条、快捷按钮上前进10秒等一系列的操作动作。触发就是动作的入口，对于记录来说需要开始和结束成对出现，丢失一个动作，可能导致收集紊乱。此外，为了获取用户对长文的浏览细节，一般会添加如下日志：页面进入时间和跳出时间。为了判断用户浏览的进度，会将长文划分为多个段，在文中添加一些锚点。当页面滑动触发这些锚点的时候，会自动触发生成一条日志。这种方案的问题是：锚点采集不精准时，无法体现出用户停留的状态，并且业务需要对内容进行一定的侵入，比如锚点如何被触发，需要在内容中预埋。同样地，对于媒体播放的场景，例如，包括音频和视频的播放，除了关注用户的操作之外，还需要考虑媒体播放会随着时间的推移。播放进度会自动向后滚动，但是由于播放是个过程，传统的用户行为数据的日志收集是单点触发，无法满足对整个播放过程中发生的各种行为进行记录的需求。此外，音频或视频在播放过程中还可能有一些异常或自动触发的场景，例如，单个媒体播放完成之后会有自动切换逻辑；遇到网络异常时，会有重试等待逻辑；以及app遇到异常关闭等。这些异常自动触发场景，会导致用户行为日志记录缺少结束时刻的记录。总体上，由于用户的行为是过程，而日志的收集是单点触发，因此会因为单点丢失，例如因为app异常关闭，导致缺少结束日志。这种情况下，在服务侧对日志的整体数据进行计算时，经常出现数据出现偏差并且产生脏数据和记录缺失的问题。
技术实现思路
为了解决现有技术中的问题，本专利技术提供的技术方案能够在细粒度采集用户富媒体浏览行为数据的同时，减少对业务功能的侵入，并且能够减少或避免App行为日志收集过程中产生的脏数据、记录缺失等问题。此外，本专利技术提供的技术方案能够对所采集的大量采样数据进行有效的裁剪压缩以节省数据存储和数据传输的成本。根据本专利技术的一个方面，提供一种基于软传感器在用户设备中采集用户数据的系统，所述系统包括：初始化装置，当接收到对所述用户设备中的用户数据进行采集的采集指令时，对预先设置的配置文件进行解析以确定需要采集的用户数据的多个数据类型；传感器生成装置，对多个数据类型中的每个数据类型进行类型分析以确定与每个数据类型相对应的软传感器，从而确定多个软传感器，生成所述多个软传感器并利用每个软传感器对各自对应的数据类型的运行数据进行时间上的连续采集；数据采样装置，为每个软传感器设置各自的采样时间间隔，并根据各自的采样时间间隔从每个软传感器连续采集的运行数据中确定每个采样点，并将每个采样点处的运行数据的数据集合作为每个软传感器的采样数据集；以及数据处理装置，对每个软传感器的采样数据集进行数据过滤，以保留关键状态下的运行数据，将每个软传感器的经过数据过滤的采样数据集确定为所采集的用户数据。所述预先设置的配置文件包括多个配置项，其中每个配置项包括：数据类型和激活状态。其中数据类型包括：播放器数据、视图数据和系统状态数据：所述激活状态用于指示数据类型是否为需要采集的。所述软件传感器为播放器软传感器，所述播放器软传感器用于采集以下内容：当前播放的多媒体文件的标识符、多媒体文件的总长度和多媒体文件的当前进度。所述软件传感器为视图软传感器，所述视图软传感器用于采集以下内容：当前滑动视图内的文档的标识符、滑动视图的逻辑高度、滑动视图顶部与文档顶部的偏移距离、滑动视图底部与文档顶部的偏移距离。所述软件传感器为系统状态软传感器，所述系统状态软传感器用于采集以下内容：屏幕的息屏状态、当前时间和应用前台/后台的标识符。所述数据采样装置根据每个软传感器相对应的数据类型为每个软传感器设置各自的采样时间间隔。还包括，临时存储装置，对每个软传感器的采样数据集进行临时存储。所述数据处理装置包括：映射子装置，将每个软传感器的采样数据集中所有采样点处的运行数据映射到二维空间中，其中每个采样点处的运行数据作为二维空间中的一个数据点；迭代子装置，针对于二维空间中的每个数据点，利用迭代适应点方法确定所有数据点中相对于关键数据点的状态变化值低的至少一个数据点；保留子装置，将状态变化值低的至少一个数据点去除，以保留多个关键数据点，从而保留关键状态下的运行数据。所述数据处理装置包括：标注子装置，将每个软传感器的经过数据过滤的采样数据集利用软件传感器的标识符进行标注，以获得多个经过标注的采样数据集；合并子装置，将多个经过标注的采样数据集进行合并在单个日志文件中，以作为所采集的用户数据。根据本专利技术的另一方面，提供一种基于软传感器在用户设备中采集用户数据的方法，所述方法包括：当接收到对所述用户设备中的用户数据进行采集的采集指令时，对预先设置的配置文件进行解析以确定需要采集的用户数据的多个数据类型；对多个数据类型中的每个数据类型进行类型分析以确定与每个数据类型相对应的软传感器，从而确定多个软传感器，生成所述多个软传感器并利用每个软传感器对各自对应的数据类型的运行数据进行时间上的连续采集；为每个软传感器设置各自的采样时间间隔，并根据各自的采样时间间隔从每个软传感器连续采集的运行数据中确定每个采样点，并将每个采样点处的运行数据的数据集合作为每个软传感器的采样数据集；以及对每个软传感器的采样数据集进行数据过滤，以保留关键状态下的运行数据，将每个软传感器的经过数据过滤的采样数据集确定为所采集的用户数据。所述预先设置的配置文件包括多个配置项，其中每个配置项包括：数据类型和激活状态。其中数据类型包括：播放器数据、视图数据和系统状态数据；所述激活状态用于指示数据类型是否为需要采集的。所述软件传感器为播放器软传感器，所述播放器软传感器用于采集以下内容：当前播放的多媒体文件的标识符、多媒体文件的总长度和多媒体文件的当本文档来自技高网...

【技术保护点】
1.一种基于软传感器在用户设备中采集用户数据的系统，所述系统包括：/n初始化装置，当接收到对所述用户设备中的用户数据进行采集的采集指令时，对预先设置的配置文件进行解析以确定需要采集的用户数据的多个数据类型；/n传感器生成装置，对多个数据类型中的每个数据类型进行类型分析以确定与每个数据类型相对应的软传感器，从而确定多个软传感器，生成所述多个软传感器并利用每个软传感器对各自对应的数据类型的运行数据进行时间上的连续采集；/n数据采样装置，为每个软传感器设置各自的采样时间间隔，并根据各自的采样时间间隔从每个软传感器连续采集的运行数据中确定每个采样点，并将每个采样点处的运行数据的数据集合作为每个软传感器的采样数据集；以及/n数据处理装置，对每个软传感器的采样数据集进行数据过滤，以保留关键状态下的运行数据，将每个软传感器的经过数据过滤的采样数据集确定为所采集的用户数据。/n

【技术特征摘要】
1.一种基于软传感器在用户设备中采集用户数据的系统，所述系统包括：
初始化装置，当接收到对所述用户设备中的用户数据进行采集的采集指令时，对预先设置的配置文件进行解析以确定需要采集的用户数据的多个数据类型；
传感器生成装置，对多个数据类型中的每个数据类型进行类型分析以确定与每个数据类型相对应的软传感器，从而确定多个软传感器，生成所述多个软传感器并利用每个软传感器对各自对应的数据类型的运行数据进行时间上的连续采集；
数据采样装置，为每个软传感器设置各自的采样时间间隔，并根据各自的采样时间间隔从每个软传感器连续采集的运行数据中确定每个采样点，并将每个采样点处的运行数据的数据集合作为每个软传感器的采样数据集；以及
数据处理装置，对每个软传感器的采样数据集进行数据过滤，以保留关键状态下的运行数据，将每个软传感器的经过数据过滤的采样数据集确定为所采集的用户数据。


2.根据权利要求1所述的系统，所述软件传感器为播放器软传感器，所述播放器软传感器用于采集以下内容：当前播放的多媒体文件的标识符、多媒体文件的总长度和多媒体文件的当前进度。


3.根据权利要求1所述的系统，所述软件传感器为视图软传感器，所述视图软传感器用于采集以下内容：当前滑动视图内的文档的标识符、滑动视图的逻辑高度、滑动视图顶部与文档顶部的偏移距离、滑动视图底部与文档顶部的偏移距离。


4.根据权利要求1所述的系统，所述软件传感器为系统状态软传感器，所述系统状态软传感器用于采集以下内容：屏幕的息屏状态、当前时间和应用前台/后台的标识符。


5.根据权利要求1所述的系统，所述数据采样装置根据每个软传感器相对应的数据类型为每个软传感器设置各自的采样时间间隔。<...

【专利技术属性】
技术研发人员：张恒，
申请(专利权)人：北京思维造物信息科技股份有限公司，
类型：发明
国别省市：北京;11