手机盗拍行为在线自动识别告警方法技术

本发明专利技术公开了一种手机盗拍行为在线自动识别告警方法，以计算机显示屏上内嵌微型摄像头拍摄视频为信息载体，使用深度神经网络模型、模型轻量化和模型部署技术，实现手机盗拍行为智能化识别，同时保证模型在边缘计算模块上快速稳定运行；本发明专利技术将先进人工智能算法用于工作人员使用手机盗拍屏幕输出信息违规行为的自动识别告警，是人工智能技术在信息安全领域的高价值落地应用，对推动智慧监控技术发展具有十分重要的现实指导意义。展具有十分重要的现实指导意义。展具有十分重要的现实指导意义。

【技术实现步骤摘要】
手机盗拍行为在线自动识别告警方法


[0001]本专利技术涉及人工智能、计算机视觉、机器学习领域，尤其涉及一种手机盗拍行为在线自动识别告警方法。

技术介绍

[0002]对比通过手机或摄像头捕捉图像的两种方法，手机拍摄更具灵活性和便捷性。手机拍摄的优点也导致其成为屏幕输出敏感信息泄露的最普遍方式。为了防止手机盗拍屏幕输出信息，常规方法就是观看监控录像，对非正常使用手机行为进行告警。这种方法虽然一定程度上能缓解手机盗拍事件发生，但是比较费时耗力。随着人工智能技术的快速发展，将人工智能技术引入信息安全领域得到越来越多的研究与关注。
[0003]2013年，张文豪等人融合层级特征检测、直方图比较、主成分分析、K近邻分析等多种方法，对电影院中手机非法拍摄行为告警。2020年，王昕等人提出一种手机拍摄行为智能识别方法。首先，构建手机数据集并标注；然后，使用人工神经网络进行模型训练；最后，获得手机检测模型，实现对手机拍摄行为的实时检测。2020年，沈冬远等人提出一种防止屏幕拍摄的技术。该技术基于深度学习完成手机识别、确保实时主动守护屏幕信息安全。此外，该技术检测到敏感物体和可疑特征时会关闭显示器，并进行现场取证和声光报警，有效地从信息泄露源头防止拍摄屏幕造成信息泄漏。
[0004]迄今为止，智能化的手机盗拍行为识别方法还比较少，容易出现手机盗拍行为的场景诸多，例如会议、办公室、银行等。因此，开发智能化的手机盗拍行为分析方法至关重要。为此，我们公开此专利技术专利，实现计算机领域中目标识别前沿技术应用于信息安全保护。将智能化的算法模型嵌入边缘设备，用其进行手机盗拍行为智能识别，并将抓拍画面自动上传监控中心，对管理人员进行实时提醒。此专利利用人工智能前沿技术解决传统视觉方法无法解决的难题，可以保障银行等要害部门信息安全，是人工智能技术在信息安全领域的高价值落地应用，对推动智慧监控技术的发展具有十分重要的现实指导意义。

技术实现思路

[0005]为解决上述问题，本专利技术公开了一种手机盗拍行为在线自动识别告警方法，针对性考虑盗拍姿态多样性问题，设计了目标感知模块，该模块能提高模型对前景目标的聚焦能力；针对手机拍摄位置差异(多尺度问题)，提出一种交叉聚合多尺度特征融合结构，该结构能充分利用多尺度特征，丰富各尺度特征表示。此外，使用量化、剪枝技术对模型进行轻量化。进一步使用推理加速框架对模型进行优化，满足检测精度的前提下，实现模型在边缘设备上的部署。
[0006]手机盗拍行为在线自动识别告警方法使用深度卷积网络CPSdarknent53作为主干网络提取特征，设计一种新颖的目标感知模块，提高模型对盗拍姿态变化的适应力；构建一种交叉聚合多尺度特征融合结构，实现多尺度特征跨层融合，提高模型对拍摄位置变化的鲁棒性；使用量化、剪枝技术对模型作轻量化处理，进一步使用推理加速框架对模型进行优
化，实现精度和速度的平衡，可在计算资源有限的环境如边缘计算平台上部署使用。
[0007]具体包括如下主要步骤：
[0008]步骤1，视频采集留档及送检；
[0009]步骤2，手机检测模型模块化设计；
[0010]步骤3，无锚框正负样本分配优化策略；
[0011]步骤4，手机盗拍识别预警及模型部署；
[0012]步骤5，监控中心推送告警并记录数据。
[0013]本专利技术进一步改进在于：
[0014]步骤1中，视频采集留档及送检，该步骤分为两部分：
[0015]步骤1.1：屏上内嵌摄像头采集视频并进行预处理，最终送检；
[0016]步骤1.2：对处理后的视频分段存储。
[0017]本专利技术进一步改进在于：
[0018]步骤2中，手机检测模型模块化设计，该步骤分为三部分：
[0019]步骤2.1：主干网络采用深度卷积网络CSPdarknet53进行特征提取，该网络泛化能力强且计算复杂性适中；
[0020]步骤2.2：盗拍者距离摄像机存在远近差异，设计一种新颖的目标感知模块，提高模型对目标位置变化的适应力；
[0021]步骤2.3：使用交叉聚合多尺度特征模块对第一部分输出特征进行融合，增强模型对盗拍姿态多变的适应力。
[0022]本专利技术进一步改进在于：
[0023]步骤2.2：目标感知模块，提高模型对目标位置变化的适应力；
[0024]目标感知模块实现过程，描述如下：
[0025]首先，用不同尺度的卷积核提取特征，然后进行特征加权，描述如下：
[0026]x
sum
＝α1f1(x
in
)+α2f2(x
in
)+α3f3(x
in
)
[0027]其中x
in
为输入特征，α
i
为权重因子，f
i
(
·
)表示用不同卷积核提取特征，实际使用空洞卷积，膨胀率分别取1,2,3。
[0028]接着，对加权特征分别进行通道注意力和空间注意力处理，
[0029]通道注意力处理，描述如下：
[0030][0031]其中表示逐点相乘，采用平均池化AvgPool(
·
)，δ为Relu函数，σ为Sigmoid激活函数。
[0032]空间注意力处理，描述如下：
[0033][0034]其中表示逐点相乘，采用softmax(
·
)激活函数，表示通道方向上求平均值，表示通道方向上取最大值。
[0035]最后，将通道注意力和空间注意力加权融合，描述如下：
[0036]x
out
＝β1x
CA
+β2x
SA
+β3x
sum
[0037]其中β
i
为加权因子；
[0038]上述目标感知模块融合了空间注意力和通道注意力，实现了空间和通道注意力的互补提升，提高了模型对手机拍摄姿态变化的鲁棒性。
[0039]本专利技术进一步改进在于：
[0040]步骤2.3：交叉聚合多尺度特征融合结构设计；
[0041]首先，将主干网络不同下采样特征层定义为X＝{x2,x4,x8,x
16
,x
32
}；
[0042]其次，计算
[0043][0044]其中φ(
·
)为
[0045][0046]其中f(
·
)表示Conv 3
×
3，步长为2，表示重复f(
·
)操作次；h(
·
)表示Conv1
×
1，C
out
＝0.25C
in
；g(
·
)表示2倍上采样,Conv1
×
1,C
out
＝0.5C
in
,表示重复g(
·
)操作次；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.手机盗拍行为在线自动识别告警方法，其特征在于：以计算机显示屏上内嵌微型摄像头拍摄视频为信息载体，使用深度神经网络模型、模型轻量化和模型部署技术，实现手机盗拍行为智能化识别，同时保证模型在边缘计算模块上快速稳定运行；具体包括如下主要步骤：步骤1，视频采集留档及送检；步骤2，手机检测模型模块化设计；步骤3，无锚框正负样本分配优化策略；步骤4，手机盗拍识别预警及模型部署；步骤5，监控中心推送告警并记录数据。2.根据权利要求1所述的手机盗拍行为在线自动识别告警方法，其特征在于：步骤1中，视频采集留档及送检，该步骤分为两部分：步骤1.1：屏上内嵌摄像头采集视频并进行预处理，最终送检；步骤1.2：对处理后的视频分段存储。3.根据权利要求1所述的手机盗拍行为在线自动识别告警方法，其特征在于：步骤2中，手机检测模型模块化设计，该步骤分为三部分：步骤2.1：主干网络采用深度卷积网络CSPdarknet53进行特征提取，该网络泛化能力强且计算复杂性适中；步骤2.2：盗拍者距离摄像机存在远近差异，设计一种新颖的目标感知模块，提高模型对目标位置变化的适应力；步骤2.3：使用交叉聚合多尺度特征模块对第一部分输出特征进行融合，增强模型对盗拍姿态多变的适应力。4.根据权利要求3所述的手机盗拍行为在线自动识别告警方法，其特征在于：步骤2.2：目标感知模块，提高模型对目标位置变化的适应力；目标感知模块实现过程，描述如下：首先，用不同尺度的卷积核提取特征，然后进行特征加权，描述如下：x
sum
＝α1f1(x
in
)+α2f2(x
in
)+α3f3(x
in
)其中x
in
为输入特征，α
i
为权重因子，f
i
(
·
)表示用不同卷积核提取特征，实际使用空洞卷积，膨胀率分别取1,2,3；接着，对加权特征分别进行通道注意力和空间注意力处理，通道注意力处理，描述如下：其中表示逐点相乘，采用平均池化AvgPool(
·
)，δ为Relu函数，σ为Sigmoid激活函数。空间注意力处理，描述如下：其中表示逐点相乘，采用softmax(
·
)激活函数，表示通道方向上求平均值，
表示通道方向上取最大值。最后，将通道注意力和空间注意力加权融合，描述如下：x
out
＝β1x
CA
+β2x
SA
+β3x
sum<...

【专利技术属性】
技术研发人员：金立左，屠实，马游，金星，肖瑶，
申请(专利权)人：东南大学，
类型：发明
国别省市：