一种基于视觉识别的屏显信息偷拍检测方法及系统技术方案

本发明专利技术公开了一种基于视觉识别的屏显信息偷拍检测方法及系统，所述方法包括：对预设的多个偷拍动作进行数据采集，形成数据集；通过所述数据集训练目标检测模型，得到服务器端模型；将行为融合算法和多视角目标定位融合至所述服务器端模型，得到多视角协同后的服务器端模型；将多视角协同后的服务器端模型部署至边缘设备上，并将多视角协同后的服务器端模型转换为终端模型，边缘设备通过所述终端模型对接收到的视频流数据进行偷拍检测。本发明专利技术极大降低了终端模型计算量，同时有效解决了由于视角遮挡或视角图像不清晰照成的观察不完备性问题，提高了边缘设备上目标行为检测与识别技术的准确性与鲁棒性。术的准确性与鲁棒性。术的准确性与鲁棒性。

【技术实现步骤摘要】
一种基于视觉识别的屏显信息偷拍检测方法及系统


[0001]本专利技术涉及检测
，特别是一种基于视觉识别的屏显信息偷拍检测方法及系统。

技术介绍

[0002]视觉，作为人类最重要的感官之一，其衍生出的图像是人类社会活动中最常用的信息载体。一直以来，图像处理与计算机视觉技术都是计算机技术深入研究发展的一大方向。得益于深度学习技术的蓬勃兴起，图像处理与计算机视觉技术得以快速发展。其中，对目标物体行为动作的检测与识别技术更是目前炙手可热的研究热点问题。同时，在实际的生产生活过程中，人们迫切需要一种低成本、可实践的目标检测识别方法。而目前，主流的目标检测识别技术都是基于服务器端的，即算法训练阶段与运行识别阶段都将部署在服务器上。这样可以依托强大的算力资源，使目标识别的准确率最大化。但是也会不可避免地出现一些问题，如：服务器的使用和维护成本较高；需要考虑服务器端与终端设备间的通信问题，终端设备间的资源配置问题等。为了解决上述问题，以适应更复杂的现实场景，可以将目标检测识别技术的算法训练阶段与识别运行阶段分别部署在服务器端和终端。这种二阶段分别部署的技术方案可以较好地平衡算力需求与运行成本之间的矛盾。但与此同时，也会出现终端设备算力不足、单设备上视角单一等情况，从而造成目标识别准确率下降等问题。

技术实现思路

[0003]针对原有二阶段部署技术方案出现的终端设备算力不足、单设备上视角单一等问题，本专利技术提供一种基于视觉识别的屏显信息偷拍检测方法及系统，以解决上述技术问题。
[0004]本专利技术公开了一种基于视觉识别的屏显信息偷拍检测方法，其包括以下步骤：
[0005]步骤1：对预设的多个偷拍动作进行数据采集，形成数据集；
[0006]步骤2：通过所述数据集训练目标检测模型，得到服务器端模型；
[0007]步骤3：将行为融合算法和多视角目标定位融合至所述服务器端模型，得到多视角协同后的服务器端模型；
[0008]步骤4：将多视角协同后的服务器端模型部署至边缘设备上，并将多视角协同后的服务器端模型转换为终端模型，边缘设备通过所述终端模型对接收到的视频流数据进行偷拍检测。
[0009]进一步地，所述预设的多个偷拍动作包括近距离使用手机偷拍，正常距离使用手机偷拍与使用手机前置摄像头偷拍。
[0010]进一步地，所述步骤2包括：
[0011]步骤21：每次从所述数据集中随机抽取80％作为训练集；
[0012]步骤22：将预处理后的所述训练集输入目标检测模型中；
[0013]步骤23：目标检测模型对输入的预处理后的所述训练集进行特征提取；
[0014]步骤24：提取的特征经过FPN+PAN特征提取金字塔输入到预测层，经预测层推理得到预测框和动作类别信息；其中，每个偷拍动作视作一种类别数据；
[0015]步骤25：抽取10％的所述数据集用于模型验证，调整模型超参数，重复步骤21至步骤25，直至得到最优模型为止；其中，所述最优模型为服务器端模型。
[0016]进一步地，所述步骤3包括：
[0017]步骤31：借助最优模型与重识别技术对不同摄像头检测到的目标进行识别，并通过对各个摄像头之间的视角进行标定，确定各视角特定参数，获得不同摄像头视角之间的关系；其中，所述特定参数包括角度、高度和距离；当固定距离参数时，所有的视角组成一个视角球面，视角球面上的每个点对应目标的某个特定视角；不同视角之间的关系通过在视角球面上的点的位置关系来确定；
[0018]步骤32：通过视角之间的位置约束，间接刻画出视角对应的分类器之间的关系，以获取同一目标在不同视角下的多个行为表征，从而有效融合来自不同视角分类器的信息，以得到多视角协同后的服务器端模型。
[0019]进一步地，所述步骤4包括：
[0020]步骤41：将多视角协同后的服务器端模型转化为中间态的ONNX模型；
[0021]步骤42：将中间态的ONNX模型导入到RKNN开发工具包中，将多视角协同后的服务器端模型转化为RKNN模型，即终端模型；
[0022]步骤43：开发板接收多个视角下的视频流数据，并对视频流数据中的目标行为进行模型推理，判定是否为偷拍。
[0023]进一步地，还包括：
[0024]应用10％的所述数据集对终端模型进行性能评估。
[0025]本专利技术还公开了一种基于视觉识别的屏显信息偷拍检测系统，其包括：
[0026]数据采集模块，用于对预设的多个偷拍动作进行数据采集，形成数据集；
[0027]目标训练模块，用于通过所述数据集训练目标检测模型，得到服务器端模型；
[0028]多视角协同模块，用于将行为融合算法和多视角目标定位融合至所述服务器端模型，得到多视角协同后的服务器端模型；
[0029]检测模块，用于将多视角协同后的服务器端模型部署至边缘设备上，并将多视角协同后的服务器端模型转换为终端模型，边缘设备通过所述终端模型对接收到的视频流数据进行偷拍检测。
[0030]进一步地，所述目标训练模块包括：
[0031]抽取单元，用于每次从所述数据集中随机抽取80％作为训练集；
[0032]输入单元，用于将预处理后的所述训练集输入目标检测模型中；
[0033]特征提取单元，用于目标检测模型对输入的预处理后的所述训练集进行特征提取；
[0034]推理单元，用于提取的特征经过FPN+PAN特征提取金字塔输入到预测层，经预测层推理得到预测框和动作类别信息；其中，每个偷拍动作视作一种类别数据；
[0035]重复训练单元，用于抽取10％的所述数据集用于模型验证，调整模型超参数，重复进入抽取单元、输入单元、特征提取单元、推理单元和重复训练单元，直至得到最优模型为止；其中，所述最优模型为服务器端模型。
[0036]进一步地，所述多视角协同模块包括：
[0037]确定单元，用于借助最优模型与重识别技术对不同摄像头检测到的目标进行识别，并通过对各个摄像头之间的视角进行标定，确定各视角特定参数，获得不同摄像头视角之间的关系；其中，所述特定参数包括角度、高度和距离；当固定距离参数时，所有的视角组成一个视角球面，视角球面上的每个点对应目标的某个特定视角；不同视角之间的关系通过在视角球面上的点的位置关系来确定；
[0038]获取单元，用于通过视角之间的位置约束，间接刻画出视角对应的分类器之间的关系，以获取同一目标在不同视角下的多个行为表征，从而有效融合来自不同视角分类器的信息，以得到多视角协同后的服务器端模型。
[0039]进一步地，所述检测模块包括：
[0040]第一转化单元，用于将多视角协同后的服务器端模型转化为中间态的ONNX模型；
[0041]第二转化单元，用于将中间态的ONNX模型导入到RKNN开发工具包中，将多视角协同后的服务器端模型转化为RKNN模型，即终端模型；
[0042]判定第一转化开发板接收多个视角下的视频流数据，并对视本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉识别的屏显信息偷拍检测方法，其特征在于，包括以下步骤：步骤1：对预设的多个偷拍动作进行数据采集，形成数据集；步骤2：通过所述数据集训练目标检测模型，得到服务器端模型；步骤3：将行为融合算法和多视角目标定位融合至所述服务器端模型，得到多视角协同后的服务器端模型；步骤4：将多视角协同后的服务器端模型部署至边缘设备上，并将多视角协同后的服务器端模型转换为终端模型，边缘设备通过所述终端模型对接收到的视频流数据进行偷拍检测。2.根据权利要求1所述的方法，其特征在于，所述预设的多个偷拍动作包括近距离使用手机偷拍，正常距离使用手机偷拍与使用手机前置摄像头偷拍。3.根据权利要求1所述的方法，其特征在于，所述步骤2包括：步骤21：每次从所述数据集中随机抽取80％作为训练集；步骤22：将预处理后的所述训练集输入目标检测模型中；步骤23：目标检测模型对输入的预处理后的所述训练集进行特征提取；步骤24：提取的特征经过FPN+PAN特征提取金字塔输入到预测层，经预测层推理得到预测框和动作类别信息；其中，每个偷拍动作视作一种类别数据；步骤25：抽取10％的所述数据集用于模型验证，调整模型超参数，重复步骤21至步骤25，直至得到最优模型为止；其中，所述最优模型为服务器端模型。4.根据权利要求1所述的方法，其特征在于，所述步骤3包括：步骤31：借助最优模型与重识别技术对不同摄像头检测到的目标进行识别，并通过对各个摄像头之间的视角进行标定，确定各视角特定参数，获得不同摄像头视角之间的关系；其中，所述特定参数包括角度、高度和距离；当固定距离参数时，所有的视角组成一个视角球面，视角球面上的每个点对应目标的某个特定视角；不同视角之间的关系通过在视角球面上的点的位置关系来确定；步骤32：通过视角之间的位置约束，间接刻画出视角对应的分类器之间的关系，以获取同一目标在不同视角下的多个行为表征，从而有效融合来自不同视角分类器的信息，以得到多视角协同后的服务器端模型。5.根据权利要求1所述的方法，其特征在于，所述步骤4包括：步骤41：将多视角协同后的服务器端模型转化为中间态的ONNX模型；步骤42：将中间态的ONNX模型导入到RKNN开发工具包中，将多视角协同后的服务器端模型转化为RKNN模型，即终端模型；步骤43：开发板接收多个视角下的视频流数据，并对视频流数据中的目标行为进行模型推理，判定是否为偷拍。6.根据权利要求5所述的方法，其特征在于，还包括：应用10％的所述...

【专利技术属性】
技术研发人员：徐雄，王成刚，牛新玉，
申请(专利权)人：中国电子科技集团公司第十研究所，
类型：发明
国别省市：