基于触摸行为序列的智能手机使用情境识别方法技术

基于触摸行为序列的智能手机使用情境识别方法，该方法定义9种触摸操作，通过分析智能手机操作系统日志，提取9种触摸操作属性（触摸起止时间等）组成1条触摸操作，得到触摸操作序列，以32条连续操作作为一个基本触摸交互序列；进而使用长短时记忆网络和注意力机制进行建模，实现用户使用手机情境时长的判断和统计。本发明专利技术并将基本触摸交互序列输入到叠加注意力机制的双向长短时记忆网络模型中进行情境识别，实现对包括购物、社交、浏览、学习、短视频、游戏等用户使用手机情境的判定，可实现用户使用智能手机应用内的多种情境细分，统计一定时段内每种情境的使用时长，从而为用户获悉其智能手机各种情境使用时长提供直接依据。

【技术实现步骤摘要】
基于触摸行为序列的智能手机使用情境识别方法
本专利技术属于智能手机的人机交互
，具体涉及一种基于触摸行为序列的智能手机使用情境识别方法，是一种通过在用户手机操作系统日志中提取触摸操作记录序列，识别用户手机使用情境的人机交互方法。
技术介绍
随着智能手机使用时间的普遍延长，用户日益关心在使用智能手机过程中的时长分配。为了辅助用户了解其在手机使用过程中的时长分布情况，手机厂商推出了很多使用时长统计工具，这些工具通过记录手机应用在前台运行的时长，统计出一定时段内手机各个应用的使用时长。但是，用户关心的可能不只是具体应用的使用时长，而是自己在一定时段内使用某种情境的总时长。随着应用演化，越来越多的应用不再仅代表单一情境。以目前中国应用月活度排名第一的微信为例，其初始目的是为用户提供社交服务,但随着公众号和小程序技术的推出，用户在使用微信进行社交之外，还会通过公众号学习知识以及浏览新闻，或者通过小程序看短视频、玩游戏或者购物等。也就是说，目前微信应用能够承载多种情境。由于目前手机厂商是以应用为类别统计用户的手机使用情况，手机厂商提供本文档来自技高网...

【技术保护点】
1.基于触摸行为序列的智能手机使用情境识别方法，其特征在于包括以下步骤：/n(0)定义交互方式中的九种触摸操作/n九种触摸操作分别为点击、双击、长按、上滑、下滑、左滑、右滑、缩放和拖动九种触摸操作；九种触摸操作的特征范围如表1；/n表1 九种触摸操作特征范围/n

【技术特征摘要】
1.基于触摸行为序列的智能手机使用情境识别方法，其特征在于包括以下步骤：
(0)定义交互方式中的九种触摸操作
九种触摸操作分别为点击、双击、长按、上滑、下滑、左滑、右滑、缩放和拖动九种触摸操作；九种触摸操作的特征范围如表1；
表1九种触摸操作特征范围



(1)从智能手机操作系统的日志文件中提取触摸操作日志
读取时间长度至少为十分钟的智能手机操作系统日志，分析智能手机操作系统日志中记录的属性，按步骤(0)中的定义对操作系统日志进行分析，得到该时段内的一连串触摸操作日志；
(2)切割触摸操作日志
在获得一定时段内的触摸操作日志后，从第一个触摸操作开始，用长度为N的窗口切割触摸操作日志，即每次移动N个触摸操作，N≥32的整数；以N切割后得到若干触摸操作序列，除最后一个触摸操作序列之外，其余的触摸操作序列的长度均即触摸操作序列所含的触摸操作均不小于32个；对一个触摸操作序列X，记其中的第n个触摸操作为Xn(n＝1,2,…,N)，且第n个触摸操作Xn包含九个属性，即Xn＝[Xn1,Xn2,Xn3,Xn4,Xn5,Xn6,Xn7,Xn8,Xn9]，这九个属性分别表示第n个触摸操作的开始时刻、结束时刻、开始坐标x、开始坐标y、结束坐标x、结束坐标y、移动距离、移动角度和平均速度；
(3)建立情境识别模型
针对每个触摸操作序列X，以长短时记忆单元(LSTM)为基础，对双层双向长短时记忆网络(BiLD-LSTM)叠加注意力机制(Attention)，形成叠加注意力机制的双层双向长短时记忆网络BiLD-LSTM+Attention进行情境识别；
对于BiLD-LSTM+Attention情境识别模型，其输入是触摸操作序列X，输出是该触摸操作序列X对应的情境，所述的情境有六种，分别为：短视频、游戏、购物、社交、学习和浏览；
情境识别模型分为5个部分：
(3.1)输入注意力强化层
触摸操作Xn的属性权重βn，由触摸操作Xn-1的属性权重βn-1和当前触摸操作Xn确定；βn按照公式(1)、(2)进行计算，其中n＝1,2,…,N，X0为零向量，β0为零向量；






其中，tanh为双曲正切函数，“·”为点乘运算，en是βn标准化之前的形式，p＝1,2,…,9；
9表示触摸操作Xn的9个属性，Wβ、WX和We是输入注意力强化层中待学习的权重矩阵，
在模型训练前先初始化为零矩阵；
触摸操作序列X经过输入注意力强化层强化后的结果记为其计算方式如公式(3)：



其中，“×”是叉乘运算，是增加了权重βn后的Xn，然后将作为BiLD-LSTM中的第一层BiLSTM的输入；
(3.2)第一层BiLSTM
第一层BiLSTM中的输入是上一层输入注意力强化层的输出每一层BiLSTM均包含一个前向的LSTM单元层和一个后向的LSTM单元层；前向的LSTM单元层正向读取中的每个触摸操作并依次输出其对应的隐藏状态，表示为h1(1,f),…,hn(1,f),…,hN(1,f)；后向的LSTM单元层反向读取中的每个触摸操作并依次输出其对应的隐藏状态，表示为h1(1,b),…,hn(1,b),…,hN(1,b)；
因此，对于第一层BiLSTM输出了两组隐藏状态，...

【专利技术属性】
技术研发人员：洪锋，闫旭荣，缪倩铃，赵中宁，杨志豪，赵千雪，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：山东;37