基于多模态传感器数据的移动设备后台应用预测方法技术

本发明专利技术公开一种基于多模态传感器数据的移动设备后台应用预测方法，首先利用移动设备的多种传感器进行数据收集，然后采用能够利用多种不同类型数据的学习方法对这些数据进行融合处理，并且进行分类学习，最后在实际使用中利用训练完毕的分类器对采集到的多种传感数据进行分类和识别。本发明专利技术实施过程中利用不对齐多模态数据，可以处理模态不完全和不一致的情况，利用标记之间的相关性，分类性能优越。

【技术实现步骤摘要】
基于多模态传感器数据的移动设备后台应用预测方法
本专利技术涉及多模态多示例多标记分类技术，特别涉及一种利用多模态传感器信息进行移动设备后台应用预测，比如GPS位置传感器，运动传感器，后台应用使用记录，系统信息：如网络、电量和基站。
技术介绍
目前，随着数据采集方式技术的提升，通过多种传感器我们可以获得多种模态的数据，比如GPS信息，运动传感器，后台应用使用记录，系统信息：如网络、电量和基站。基于这些数据，我们可以对后台应用进行管理，预测哪些应用应该被关闭，哪些应该被加载至内存。考虑到在实际使用过程中，不同传感器收集数据存在延时和频率不同，难以得到对齐的多模态数据，导致现有的多模态学习方法难以应用。
技术实现思路
专利技术目的：移动设备里有各式各样的应用，每个应用会用到移动设备多种传感器信息，例如地图传感器应用会利用GPS位置传感器、地磁传感器、加速传感器等；同时每个应用也会有多个标签信息，例如地图应用属于路线导航、景点查询、POI推荐等标记。考虑到在实际使用过程中，不同传感器收集数据存在延时和频率不同，难以得到对齐的多模态数据。导致现有的多模态学习方法难以应用。目前的多标记技术往往只能利用一种模态的数据，无法利用不对齐多模态的数据，由于一种模态的数据信息输入少，造成性能较差，基于多模态数据可以获得更多的信息，从而提升分类性能。本专利技术提供一种基于多模态传感器数据的移动设备后台应用预测方法，本专利技术提出的模型利用多示例学习的思想，考虑包级别的消歧学习，利用包级别的表示形式代替样本级别的表示形式，同时本模型利用最优传输理论将标记相似性作为学习度量，学习适应当前任务的标记矩阵。相比以往的技术，适应性强，分类性能优越。技术方案：一种基于多模态传感器数据的移动设备后台应用预测方法，首先利用移动设备的多种传感器进行数据收集，然后采用能够利用多种不同类型数据的学习方法对这些数据进行融合处理，并且进行分类学习，最后在实际使用中利用训练完毕的分类器对采集到的多种传感数据进行分类，根据分类结果提前加载应用。本专利技术的方法实施过程中适用性强，可以处理多模态数据不完全不一致的情形，并且可以利用标记之间的相关关系。所述利用移动设备的多种传感器进行数据收集时，初始化移动设备，在使用移动设备过程中采集样本；数据进行融合处理包括，将移动设备采集的样本进行数据标记，将移动设备采集的样本进行数据预处理；分类学习为，利用预处理后的数据和标记训练识别模型M；利用训练完毕的分类器对采集到的多种传感数据进行分类，首先初始化移动设备，通过移动设备内置传感器在线采集信息，将移动设备内置传感器在线采集的信息进行数据预处理，使用识别模型M对进行数据预处理后的信息对用户下一个将使用的应用加以预测，输出分类结果，根据分类结果提前加载应用。所述移动设备内置传感器包括GPS位置传感器，运动传感器，后台应用使用记录，以及系统信息：如网络、电量和基站等。所述在移动设备内置传感器在线采集信息之前，还包括检测移动设备内置传感器是否能正常工作的步骤，如果正常工作，则采集信息；如果出现故障，则提示用户。所述移动设备采集的一条样本为一个数据包，在后台应用管理任务中，一条样本包含一段时间的GPS位置数据，运动传感器数据，以及后台应用使用记录和系统信息等，每条样本对应的标记有多个，比如关闭某个后台应用，加载某个后台应用。所述数据预处理，包括对采集到的信息进行信号滤波、去噪、缺失传感器数据填补的处理。所述识别模型M(分类模型)训练所用loss使用最优传输理论，利用标记之间的相关性计算loss，将标记相似性作为学习度量，学习适应当前任务的度量矩阵。对于有标记数据，计算每个模态的预测与真实标记的loss，对于未标记数据，计算不同模态的预测之间的loss。使用深度神经网络训练识别模型M，首先对多模态数据分别进行特征提取，然后对每个模态的多示例进行预测，得到预测的二维矩阵，其中矩阵的每一列为每个示例的预测结果，接下来使用最大池化融合每个模态的预测结果，最终融合多模态的预测结果，融合方法包括但不限于最大池化，平均池化，加权等方式。有益效果：与现有技术相比，基于多模态传感器数据的移动设备后台应用预测方法，实施过程中利用不对齐多模态数据，可以处理模态不完全和不一致的情况，利用标记之间的相关性，分类性能优越。附图说明图1为本专利技术实施例的分类模型训练工作流程图；图2为本专利技术实施例的分类模型识别工作流程图；图3为本专利技术实施例的分类模型M结构图。具体实施方式下面结合具体实施例，进一步阐明本专利技术，应理解这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围，在阅读了本专利技术之后，本领域技术人员对本专利技术的各种等价形式的修改均落于本申请所附权利要求所限定的范围。分类模型的训练阶段工作流程如图1所示。分类模型在训练阶段需要收集一定数量的带标记(也可以附加一部分不带标记)的样本用于训练，具体来说，首先初始化移动设备(指移动设备加电至加载操作系统和后台系统服务完成的全部过程)(步骤10)；然后使用移动设备收集数据(步骤11)；判断移动设备内置传感器是否正常(步骤12)；如果工作正常，则分别提取GPS位置数据，运动传感器，后台应用使用记录多种类型的信息(步骤13a，13b，13c)，对数据进行滤波，去噪，补充缺失值等预处理(步骤14)，对数据进行人工标注(步骤15)，如果已经取得足够多的样本，则进行学习器训练取得分类模型M(步骤17)。注：分类模型M的训练过程会消耗大量的计算资源，本专利技术中可以在高性能计算机上使用导出的多种内置传感器信号数据对模型M加以训练。后台应用管理装置的预测阶段工作流程如图2所示。首先初始化移动设备(步骤20)；然后使用移动设备收集数据(步骤21)；判断移动设备内置传感器工作是否正常(步骤22)；如果工作正常，则分别提取GPS位置数据，运动传感器，后台应用使用记录等多种类型的信息(步骤23a，23b，23c)；对收集的数据进行预处理(步骤24)，使用识别模型M对多类传感器信息加以预测(步骤25)，判断后输出应用管理的结果(步骤26)。注：后台应用管理装置的预测阶段，分类模型M可以选择内置在移动设备或者存放在高性能计算机内。分类模型M训练工作流程如图3所示。模型M的结构如图三所示，对于图片模态使用CNN提取特征，如果是文本模态，则使用预训练好的词向量提取特征，对于其他模态，使用全连接层提取特征，特征提取之后，对每个模态的多示例进行预测，得到预测的二维矩阵，其中矩阵的每一列为每个示例的预测结果，接下来使用最大池化融合每个模态的预测结果，多模态数据的融合使用池化方法，融合方法包括但不限于最大池化，平均池化，加权等方式，训练所用loss为：其中，m为模态数量，N为样本数量，为第i个样本的第v个模态，为模型在第v个模态的预测结果，<Pv,M>为与yi的传输距离，目标函数优化每个模态的预测结果与真实标记之间的最优传输距离。本文档来自技高网...

【技术保护点】
1.一种基于多模态传感器数据的移动设备后台应用预测方法，其特征在于：首先利用移动设备的多种传感器进行数据收集，然后采用能够利用多种不同类型数据的学习方法对这些数据进行融合处理，并且进行分类学习，最后在实际使用中利用训练完毕的分类器对采集到的多种传感数据进行分类，根据分类结果提前加载应用。/n

【技术特征摘要】
1.一种基于多模态传感器数据的移动设备后台应用预测方法，其特征在于：首先利用移动设备的多种传感器进行数据收集，然后采用能够利用多种不同类型数据的学习方法对这些数据进行融合处理，并且进行分类学习，最后在实际使用中利用训练完毕的分类器对采集到的多种传感数据进行分类，根据分类结果提前加载应用。


2.如权利要求1所述的基于多模态传感器数据的移动设备后台应用预测方法，其特征在于：所述利用移动设备的多种传感器进行数据收集时，初始化移动设备，在使用移动设备过程中采集样本。


3.如权利要求1所述的基于多模态传感器数据的移动设备后台应用预测方法，其特征在于：数据进行融合处理包括，将移动设备采集的样本进行数据标记，将移动设备采集的样本进行数据预处理；
分类学习为，利用预处理后的数据和标记训练识别模型M。


4.如权利要求1所述的基于多模态传感器数据的移动设备后台应用预测方法，其特征在于：利用训练完毕的分类器对采集到的多种传感数据进行分类和识别，首先初始化移动设备，通过移动设备内置传感器在线采集信息，将移动设备内置传感器在线采集的信息进行数据预处理，使用识别模型M对进行数据预处理后的信息加以预测，输出分类结果。


5.如权利要求1所述的基于多模态传感器数据的移动设备后台应用预测方法，其特征在于：所述移动设备内置传感器包括GPS位置传感器，运动传感器，后台应用使用记录，以及系统信息。


6.如权利要求1所述的基于多模态传感器数据的...

【专利技术属性】
技术研发人员：詹德川，周志华，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏;32