基于移动终端的多模态低头族危险环境感知与预警方法技术

本发明专利技术公开一种基于移动终端的多模态低头族危险环境感知与预警方法，包括以下步骤：步骤1：构建基于并行

【技术实现步骤摘要】
基于移动终端的多模态低头族危险环境感知与预警方法


[0001]本专利技术涉及一种基于移动终端的多模态低头族危险环境感知与预警方法，属于多传感器数据融合

。

技术介绍

[0002]随着互联网和现代通信技术的快速发展，智能手机逐渐成为人们日常生活中不可缺失的一部分
。
然而，“机不离手”也成为了一个普遍的社会现象
。
很多人长时间低头看手机，往往忽略了周围环境，这不仅容易引起各种健康问题，而且存在很大的安全隐患
。
例如在上下楼时玩手机容易造成摔倒，在过马路时玩手机则会酿成交通事故
。
[0003]当前的移动终端在上述危险场景使用时也并没有预警措施，无法给予使用者足够的安全警示，极易养成用户的侥幸
、
依赖心理，甚至对自己的危险行为毫不在意
。
目前，未有面向极易发生危险情况的环境检测系统，而能够对行人行走状态进行可能性检测的软件也寥寥无几，且设计角度单一
。
大多都是斑马线的检测或者是跑步及静止的判别
。
而综合性更高的行为检测以及行走环境检测也更是未经面世
。
故需要设计一种新方法从而能够实时监控，能够做到高效及时的获取周边环境并进行检测判断，且检测效率高达
90
％及以上
。
而且能够做到声音预警，提醒人们注意周边环境以避免危险状况的发生

技术实现思路

[0004]针对上述现有技术存在的问题，本专利技术提供一种基于移动终端的多模态低头族危险环境感知与预警方法，利用手机自带传感器，在不添加任何其他设备的情况下，实时检测用户的行为状态和所处环境状况；并根据传感器检测数据建立“低头族”危险预警系统，通过文字和语音提示进一步加强用户对行走环境的注意力，有效降低事故发生率，保障用户的安全
。
[0005]为了实现上述目的，本专利技术采用的技术方案是：一种基于移动终端的多模态低头族危险环境感知与预警方法，其特征在于，包括以下步骤：
[0006]步骤1：利用手机内置加速度传感器，采集三方向加速度时间序列数据；面向三个方向加速度时间序列数据，提取加速度状态特征，构建基于并行
LSTM
‑
CNN
网络的用户运动状态分类
(
手持手机慢行
、
手机揣兜慢行
、
手机静放
、
慢行看手机
、
上下楼梯看手机
、
静止看手机
)
模块，对手机用户的当前运动状态进行识别；
[0007]步骤2：利用单目摄像机采集图像，估计单目图像深度信息；面向彩色图像序列和深度图的深度信息，预测视角扩展图像；
[0008]步骤3：分析步骤1的运动状态识别结果，当用户处于非静止状态时，开启手机后视摄像头，采集用户周围环境图像数据；面向用户周围环境图像数据，构建基于
YOLOv5
轻型网络的危险环境检测模块，对手机用户周边潜在的危险环境
(
斑马线
、
楼梯区域
、
湿滑路面
、
低照明
)
进行识别；
[0009]步骤4：面向步骤
1、
步骤3输出的手机用户运动状态识别结果
、
周围危险环境识别
结果，构建基于决策树模型的低头族危险状态判定模块，对低头族当前的危险状态进行分类；
[0010]步骤5：面向实时的手机用户运动状态识别结果
、
用户周围危险环境识别结果
、
低头族危险状态判定结果，设计手机端用户界面，建立听觉
‑
视觉立体式预警方式
。
[0011]进一步的，所述步骤1具体为：
[0012]步骤
11
：面向手机内置重力加速度传感器，以
20Hz
为采样频率采集
13
位不同用户在手持手机慢行
、
手机揣兜慢行
、
手机静放
、
慢行看手机
、
上下楼梯看手机
、
静止看手机六种状态下的加速度时间序列数据，每种状态采集
10s
的数据；
[0013]步骤
12
：按照不同用户和状态对采集的数据进行标号；用
a、b、c、d、e、f、g、h、i、j、k、l、m
分别表示
13
个不同用户，用
1、2、3、4、5、6
分别表示手持手机慢行
、
手机揣兜慢行
、
手机静放
、
慢行看手机
、
上下楼梯看手机
、
静止看手机六种状态，具体表示为：
[0014][0015]其中，表示
a
用户在手持手机慢行状态下，重力加速度传感器采集的
x、y、z
三轴加速度时间序列数据，
X
200
＝
{x1，
x2，
...X
200
}
，
Y
200
＝
{y1，
y2，
...y
200
}
，
Z
200
＝
{z1，
z2，
...z
200
}
；
[0016]步骤
13
：面向
x、y、z
三轴加速度输入数据，手动提取统计学特征
T
imput
，包括每种状态下的平均值：
μ
x
，
μ
y
，
μ
z
，方差：
σ
x
，
σ
y
，
σ
z
以及两轴之间的皮尔逊相关系数：
ρ
xy
，
ρ
xz
，
ρ
yz
。
其中，皮尔逊相关系数的计算公式如下：
[0017][0018]步骤
14
：将
x、y、z
三轴加速度数据按时间进行叠加，生成信号图像，然后将二维离散傅里叶变换
(DFT)
应用于信号图像，并选择其幅度作为活动图像
F
imput
。
其中，二维离散傅里叶变换的公式如下所示：
[0019][0020]步骤
15
：以重力加速度传感器原始采集数据
S
input
、
统计量
T
imput
、
频率图像
F
imput
为输入数据，构建基于
LSTM...

【技术保护点】

【技术特征摘要】
1.
一种基于移动终端的多模态低头族危险环境感知与预警方法，其特征在于，包括以下步骤：步骤1：利用手机内置加速度传感器，采集三方向加速度时间序列数据；面向三个方向加速度时间序列数据，提取加速度状态特征，构建基于并行
LSTM
‑
CNN
网络的用户运动状态分类
(
手持手机慢行
、
手机揣兜慢行
、
手机静放
、
慢行看手机
、
上下楼梯看手机
、
静止看手机
)
模块，对手机用户的当前运动状态进行识别；步骤2：利用单目摄像机采集图像，估计单目图像深度信息；面向彩色图像序列和深度图的深度信息，预测视角扩展图像；步骤3：分析步骤1的运动状态识别结果，当用户处于非静止状态时，开启手机后视摄像头，采集用户周围环境图像数据；面向用户周围环境图像数据，构建基于
YOLOv5
轻型网络的危险环境检测模块，对手机用户周边潜在的危险环境
(
斑马线
、
楼梯区域
、
湿滑路面
、
低照明
)
进行识别；步骤4：面向步骤
1、
步骤3输出的手机用户运动状态识别结果
、
周围危险环境识别结果，构建基于决策树模型的低头族危险状态判定模块，对低头族当前的危险状态进行分类；步骤5：面向实时的手机用户运动状态识别结果
、
用户周围危险环境识别结果
、
低头族危险状态判定结果，设计手机端用户界面，建立听觉
‑
视觉立体式预警方式
。2.
根据权利要求1所述的一种基于移动终端的多模态低头族危险环境感知与预警方法，其特征在于，所述步骤1具体为：步骤
11
：面向手机内置重力加速度传感器，以
20Hz
为采样频率采集
13
位不同用户在手持手机慢行
、
手机揣兜慢行
、
手机静放
、
慢行看手机
、
上下楼梯看手机
、
静止看手机六种状态下的加速度时间序列数据，每种状态采集
10s
的数据；步骤
12
：按照不同用户和状态对采集的数据进行标号；用
a、b、c、d、e、f、g、h、i、j、k、l、m
分别表示
13
个不同用户，用
1、2、3、4、5、6
分别表示手持手机慢行
、
手机揣兜慢行
、
手机静放
、
慢行看手机
、
上下楼梯看手机
、
静止看手机六种状态，具体表示为：其中，表示
a
用户在手持手机慢行状态下，重力加速度传感器采集的
x、y、z
三轴加速度时间序列数据，
X
200
＝
{x1，
x2，
...x
200
}
，
Y
200
＝
{y1，
y2，
...y
200
}
，
Z
200
＝
{z1，
z2，
...z
200
}
；步骤
13
：面向
x、y、z
三轴加速度输入数据，手动提取统计学特征
T
imput
，包括每种状态下的平均值：
μ
x
，
μ
y
，
μ
z
，方差：
σ
x
，
σ
y
，
σ
z
以及两轴之间的皮尔逊相关系数：
ρ
xy
，
ρ
xz
，
ρ
yz
；其中，皮尔逊相关系数的计算公式如下：步骤
14
：将
x、y、z
三轴加速度数据按时间进行叠加，生成信号图像，然后将二维离散傅里叶变换
(DFT)
应用于信号图像，并选择其幅度作为活动图像
F
imput
；其中，二维离散傅里叶变换的公式如下所示：
步骤
15
：以重力加速度传感器原始采集数据
S
input
、
统计量
T
imput
、
频率图像
F
imput
为输入数据，构建基于
LSTM
‑
CNN
的用户状态识别网络，通过
DWConv
深度卷积模块提取数据特征，利用最大池化层和下采样层增强模型的鲁棒性并减少过拟合的风险
。3.
根据权利要求1所述的一种基于移动终端的多模态低头族危险环境感知与预警方法，其特征在于，所述步骤2具体为：步骤
21
：首先，利用基于拉普拉斯金字塔的解码器结构对单目图像进行深度估计，精确地解释编码特征与最终输出之间的关系；输入的彩色图像的拉普拉斯残差为
L
k
，具体表示为：
L
k
＝
I
k
‑
U
p
(I
k+1
)
，
k
＝1，2，3，
4 (4)
其中，
k
为拉普拉斯金字塔中的水平指数，
I
k
是通过对原始输入图像进行下采样得到的，
U
p
表示上采样函数；第
k
个金字塔层获得的深度残差为
R
k
，具体表示为：
R
k
＝
B
k
([x
k
，
L
k
，
U
P
(R
k+1
)])+L
k
，
k
＝1，2，3，4ꢀꢀ
(5)
其中，
[x
k
，
L
k
，
U
p
(R
k+1
)]
为串联，
B
k
由堆叠的卷积块组成；从拉普拉斯金字塔的最高层开始逐步重建深度图，具体表示为：
D
k
＝
R
k
+U
P
(D
k+1
)
，
k
＝1，2，3，
4(6)
；步骤
22
：然后，使用标准的全卷积架构分别在两个独立的流中预...

【专利技术属性】
技术研发人员：王晗，吉翔，金磊，何欣樾，闫苏园，季钰姣，邓丽云，
申请(专利权)人：南通大学，
类型：发明
国别省市：