一种基于多模态融合的海量异构物联终端设备入网安全检测方法技术

本申请涉及一种基于多模态融合的海量异构物联终端设备入网安全检测方法，包括以下具体步骤：对海量异构物联终端设备的交互数据进行收集；对各模态数据进行数据预处理；获取各模态数据的高级特征向量矩阵表示；构建物联终端设备入网安全检测数据集，并形成一个共享的特征向量矩阵；将共享特征向量矩阵输入到优化后的

【技术实现步骤摘要】
一种基于多模态融合的海量异构物联终端设备入网安全检测方法


[0001]本申请涉及电力物联网领域，具体涉及一种基于多模态融合的海量异构物联终端设备入网安全检测方法
。

技术介绍

[0002]随着物联网技术的快速发展，海量异构物联终端设备的普及已经成为现实
。
物联网技术将传感器
、
设备和网络连接起来，使得各种智能终端能够实时交换数据和信息，这些终端设备涵盖了从智能家居设备
、
工业自动化系统到智能健康监测设备等广泛领域
。
然而随着这些设备的部署也带来了一系列的安全问题，如何对众多种类的物联终端设备进行一个安全性评估已经成为一个重要的研究方向
。
[0003]由于现如今物联终端设备的两大特点是海量和异构，设备数量的庞大导致了数据量的庞大，不仅如此，各种各样的终端设备不断开发出来，使得数据的结构也有很大差异，这其中不仅包括传统的传感器的参数信息，也包括各种图像和音频数据，针对这种多模态的数据如何设计一个统一的系统来同时对各种终端设备的安全性进行检测也是一个难题
。
对海量异构的物联终端设备入网安全检测主要有以下几个问题，一是物联终端设备数据量的庞大给物联网络带来了极大地安全挑战，二是物联终端设备的海量和异构的特点导致没有一个完全适合的模型能够同时对多种类型设备进行安全性检测
。

技术实现思路

[0004]本申请实施例的目的在于提供基于多模态融合的海量异构物联终端设备入网安全检测的方法，能够实现对海量高并发接入的物联终端设备实时的安全性检测
。
[0005]为实现上述目的，本申请提供如下技术方案：
[0006]本申请实施例提供一种基于多模态融合的海量异构物联终端设备入网安全检测方法，包括以下具体步骤：
[0007]1）对海量异构物联终端设备的交互数据进行收集，收集的各模态数据信息包括：物联网通信协议
、
传感器设备的各种参数信息
、
物联终端设备的状态信息
、
图像和音频信息；
[0008]2）对步骤1）中收集的到各模态数据进行数据预处理，使数据类型能够作为神经网络的输入；
[0009]3）分别使用深度学习模型对各模态数据进行特征提取，并获取各模态数据的高级特征向量矩阵表示；
[0010]4）采用平行融合的方法将步骤3）获取的各模态数据的特征向量矩阵进行多模态融合，构建物联终端设备入网安全检测数据集，并形成一个共享的特征向量矩阵；
[0011]5）将步骤4）中得到的共享特征向量矩阵输入到优化后的
MLP
模型中进行联合训练生成入网安全检测模型；
[0012]6）提取待入网物联终端设备的数据进行预处理之后输入到步骤5）中生成的入网安全检测模型中，将得到的结果与步骤4）中物联终端设备入网安全检测数据集进行比较从而判断该物联设备的安全性
。
[0013]所述步骤2）中，对各种模态数据进行数据预处理具体为，根据步骤1）中收集的各模态数据，其中对传感器的参数信息抓取
m
个数据包，并结合传感器是否支持的通信协议，网络通信信息和状态信息构建
m
维的特征向量矩阵，特征向量矩阵大小为
m*b
），对图像数据进行处理的方法主要是将所有图像裁剪或缩放成相同尺寸，对音频数据的处理主要将所有音频数据进行裁剪或填充成统一的长度，并将声音信号转换为数字音频信号
。
[0014]所述步骤3）中，基于步骤1）
‑2）中预处理之后的数据，将图像数据输入到预训练的卷积神经网络
VGG
中对图像数据进行特征提取，得到一个
m
维图像高级特征向量矩阵，特征向量矩阵大小为
m*c
，将处理好的音频数据输入到预训练的声学特征提取模型
MFCC
中对音频数据进行特征提取，得到一个
m
维的音频高级向量矩阵，特征向量矩阵大小为
m*d
，定义变量
y
值在
b、c、d
之间，
Features
为特征向量矩阵，
f
为某一特征值
:
[0015]。
[0016]所述步骤4）中，包含传感器数据特征
、
图像数据特征和音频数据特征的共享特征向量矩阵
:
[0017]。
[0018]步骤5）中，基于优化后的
MLP
模型进行联合训练是通过以下过程训练得到的：
[0019]S1.
首先训练集为步骤4）中生成的入网安全检测数据集，
MLP
模型的输入数据为，
F
表示融合后的特征向量矩阵，大小为（
m,b+c+d
），
MLP
网络结构包含
K
个全连接层，每一层有权重矩阵和偏置向量组成，并初始化参数为，其中为第
k
层神经元数，为第
k
‑1层神经元数：
[0020]，
[0021]S2.
迭代算法训练如下：
a
：前向传播：对第
k
（
1<=k<=K
）个层的前向传播计算：
[0022]输入：，表示前一层输出，
[0023]激活函数：，
[0024]b
：计算输出：
[0025]最后一个全连接层的输出为预测结果
Y_pred
，其维度为（
m
，
num_classes
），其中
num_classes
为分类任务的类别数；
[0026]使用
softmax
激活函数对输出进行归一化，得到各类别的概率分布：
Y_pred_normalized=softmax(Y_pred)
；
[0027]c
：计算损失函数：
Loss=cross_entropy(Y_pred_normalized, Y_true)
，其中
Y_true
为真实标签，
[0028]d
：反向传播：计算损失函数对模型的权重和偏置参数的梯度：
[0029]，
[0030]e:
参数更新：使用梯度下降算法更新模型的权重和偏置参数：
[0031]，
[0032]S3.
判断模型是否达到预定的训练轮数，否则继续返回步骤
S2
继续迭代训练
。
[0033]与现有技术相比，本专利技术的有益效果是：
[0034]基于数据的多模态融合，解决了物联终端设备数据异构的问题，通过构建联合学习模型能够针对海量高并发接入的物联终端设备进行实时的安全性检测
。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于多模态融合的海量异构物联终端设备入网安全检测方法，其特征在于，包括以下具体步骤：1）对海量异构物联终端设备的交互数据进行收集，收集的各模态数据信息包括：物联网通信协议
、
传感器设备的各种参数信息
、
物联终端设备的状态信息
、
图像和音频信息；2）对步骤1）中收集到的各模态数据进行数据预处理，使数据类型能够作为神经网络的输入；3）分别使用深度学习模型对各模态数据进行特征提取，并获取各模态数据的高级特征向量矩阵表示；4）采用平行融合的方法将步骤3）获取的各模态数据的特征向量矩阵进行多模态融合，构建物联终端设备入网安全检测数据集，并形成一个共享的特征向量矩阵；5）将步骤4）中得到的共享特征向量矩阵输入到优化后的
MLP
模型中进行联合训练生成入网安全检测模型；6）提取待入网物联终端设备的数据进行预处理之后输入到步骤5）中生成的入网安全检测模型中，将得到的结果与步骤4）中物联终端设备入网安全检测数据集进行比较从而判断该物联设备的安全性
。2.
根据权利要求1所述的一种基于多模态融合的海量异构物联终端设备入网安全检测方法，其特征在于，所述步骤2）中，对各种模态数据进行数据预处理具体为，根据步骤1）中收集的各模态数据，其中对传感器的参数信息抓取
m
个数据包，并结合传感器是否支持的通信协议，网络通信信息和状态信息构建
m
维的特征向量矩阵，特征向量矩阵大小为
m*b
），对图像数据进行处理的方法主要是将所有图像裁剪或缩放成相同尺寸，对音频数据的处理主要将所有音频数据进行裁剪或填充成统一的长度，并将声音信号转换为数字音频信号
。3.
根据权利要求1所述的一种基于多模态融合的海量异构物联终端设备入网安全检测方法，其特征在于，所述步骤3）中，基于步骤1）
‑2）中预处理之后的数据，将图像数据输入到预训练的卷积神经网络
VGG
中对图像数据进行特征提取，得到一个
m
维图像高级特征向量矩阵，特征向量矩阵大小为
m*c
，将处理好的音频数据输入到预训练的声学特征提取模型
MFCC
中对音频数据进行特征提取，得到一个
m
维的音频高级向量矩阵，特征向量矩阵大小为
m*d
，定义变量
y
值在
b、c、d
之间，
Features

【专利技术属性】
技术研发人员：王捷，刘畅，周亮，李晶，姜帆，朱国威，王晋，刘畅，喻炎，田里，喻潇，陈涛，林瑨，李杨，徐超，袁毕芳，刘晓峻，
申请(专利权)人：国网湖北省电力有限公司武汉燧虎信息技术有限公司，
类型：发明
国别省市：