一种边缘计算环境下智能视频监控系统的离线学习方法技术方案

本发明专利技术公开了一种边缘计算环境下智能视频监控系统的离线学习方法，包括步骤：1)提取视频关键帧，输入分类模型，采集特征提取层之前的图像特征向量与分类输出层对应的分类结果，构建成对应的特征向量与输出类别的特征类别对(x,y)；2)对特征类别对(x,y)进行进一步压缩存储，根据分类结果中的置信度大小，存储在不同的样本集合中；3)符合参数更新条件时，对特征类别对解压缩，向用户查询，进行重标记，得到更正后的特征类别对；4)将更正后的特征类别对输入特征重映射网络进行训练，根据得到的新中心点对分类模型中分类输出层的参数进行更新，完成离线学习。本发明专利技术可以解决智能视频监控系统中的用户隐私保护问题，同时使系统更好适应复杂的应用场景。

【技术实现步骤摘要】
一种边缘计算环境下智能视频监控系统的离线学习方法
本专利技术涉及智能视频监控系统离线学习的
，尤其是指一种边缘计算环境下智能视频监控系统的离线学习方法。
技术介绍
随着人民安全意识的不断提高和智能安防技术的不断进步，智能视频监控系统逐渐走进千家万户，在给人们带来各种生活便利的同时，也引发一些关于智能视频监控系统新技术问题的讨论。目前主流智能视频监控系统的模型在出厂时就已经将模型参数固化，更新时通过联网统一更新模型参数，但这样无法做到根据不同应用场景的有针对性的更新。由于本地设备计算能力的制约，我们无法在本地运行传统的学习方法，同时将数据上传到云端训练又会带来用户隐私保护的新问题。
技术实现思路
本专利技术的目的在于克服现有技术的缺点与不足，提出了一种边缘计算环境下智能视频监控系统的离线学习方法，该方法简单高效，在本地就能完成模型更新，能够适应各种不同的复杂环境。为实现上述目的，本专利技术所提供的技术方案为：一种边缘计算环境下智能视频监控系统的离线学习方法，所述智能视频监控系统是指能够对输入的视频流进行识别分类得到对应结果的系统，系统中分类模型由卷积神经网络组成，主要包含特征提取层和分类输出层两部分；其中，所述离线学习方法只针对分类输出层的参数进行更新，包括以下步骤：1)关键帧特征采集：提取视频关键帧，输入分类模型，采集特征提取层之前的图像特征向量与分类输出层对应的分类结果，构建成对应的特征向量与输出类别的特征类别对(x,y)，其中x代表特征向量，y代表输出类别，即为分类结果；2)特征压缩储存：对步骤1)中获取到的特征类别对(x,y)进行进一步压缩存储，根据分类结果中的置信度大小，存储在不同的样本集合中；3)样本抽样：符合参数更新条件时，对步骤2)中得到的特征类别对解压缩，向用户查询，进行重标记，得到更正后的特征类别对；4)局部参数更新：将步骤3)中得到的更正后的特征类别对输入特征重映射网络进行训练，根据得到的新中心点对分类模型中分类输出层的参数进行更新，完成离线学习。在步骤1)中，对于输入的视频流，先根据结构相似性算法寻找到关键帧，然后输入模型获取关键帧对应的特征，包含以下步骤：1.1)关键帧选取视频流看作是多帧图像组成的一个序列P1,P2,P3…Pn-1,Pn；对于这些图像，为了减少模型的重复计算，在输入模型之前，先应用结构相似性算法计算两帧间的结构相似性，其计算公式如下：T(Pa,Pb)＝v(Pa,Pb)+f(Pa,Pb)+r(Pa,Pb)式中：Pa,Pb分别表示输入的两帧图像；v(Pa，Pb)表示度量亮度的差异，f(Pa，Pb)表示度量对比度的差异，r(Pa,Pb)表示度量结构的差异，T(Pa,Pb)表示两帧图像的结构相似度；设置第一帧为初始关键帧，而后帧与前面关键帧的结构相似度低于设定阈值k时被选为新的关键帧；1.2)获取关键帧特征将前面获取到的关键帧输入到分类模型中，获取模采集特征提取层之前的图像特征向量与分类输出层对应的分类结果，构建成对应的特征向量与输出类别的特征类别对(x,y)。在步骤2)中，对步骤1)中获取到的特征类别对(x,y)进行进一步压缩存储，以减少储存占用，包括以下步骤：2.1)特征压缩对于特征向量，使用半精度数据类型存储，对于类别储存为短整型，特征向量组成的特征矩阵使用稀疏矩阵压缩算法进一步压缩；2.2)分层存储压缩后的特征矩阵根据对应类别预测结果y中的置信度大小，分层储存在离线存储单元中。在步骤3)中，当步骤2)中离线存储单元积累的特征类别对数量达到预设值时，或者达到设定的模型更新周期，访问离线存储单元，执行以下步骤：3.1)特征解压缩读取离线存储单元中压缩后的特征矩阵，解压缩得到对应的特征类别对(x,y)；3.2)分层抽样对于解压缩得到对应的特征类别对(x,y)，对于置信度低的样本多采样，对于置信度高的样本少采样；3.3)用户重标记向用户进行汇报查询分类结果，对错误的结果进行重新标记，得到修正后的特征类别对(x,y+)，y+表示修正后的分类结果。在步骤4)中，将步骤3)中得到的重标记后的特征向量与输出类别的特征类别对(x,y+)输入特征重映射网络进行训练得到新的类别中心点，完成离线学习过程，包括以下步骤：4.1)重映射中心点将重标记后的特征向量与输出类别的特征类别对(x,y+)输入特征重映射网络进行训练，特征重映射网络输出各类别新的中心点[C1,C2,C3,…Cm]；训练目标是最大化类间距离和最小化类内距离，损失计算公式如下：其中，L为最终得到损失，x为特征向量，C为得到的新重点，a为类间类内调节权重，m为类别数，n为样本数，下标i和下标h表示所选取的类别的序号，上标j表示所选取的样本的序号，下间类内调节权重a用于调节两个距离对损失的影响，能够根据样本数设置，样本数大时减小a，反之增大a；4.2)局部参数更新根据得到的新中心点[C1,C2,C3,…Cm]，对模型分类输出层的参数进行更新，更新方法如下：Wi'＝(1-q)Wi+qCi其中，W’i表示更新后的模型参数，Wi表示更新前的模型参数，Ci为计算得到的第i类特征的中心点，q取值在(0,1)间为设定的系统更新学习率；完成局部参数更新即完成智能视频监控系统的离线学习，通过参数调整实现了对当前环境的适应。本专利技术与现有技术相比，具有如下优点与有益效果：1、本专利技术方法采用了结构相似性方法寻找关键帧，减少了重复输入的模型的计算。2、本专利技术方法中设计的储存方案，充分考虑了嵌入式设备中的存储限制，减少了存储上的消耗。3、分层抽样方法，对于低置信度的样本进行更高频次重标记，减少了总的查询次数，同时让模型更加关注易错样本。4、局部参数更新，不改变特征提取网络的参数，只对特征重映射网络进行训练，让网络在保留良好特征提取能力的情况下，提高对新环境的适应力。5、本方法完成了在边缘计算环境下智能视频监控系统的模型参数更新任务，减少了算力消耗对用户隐私有更好的保护，对复杂任务环境有更好的适应能力。附图说明图1是本专利技术方法的流程图。图2是关键帧提取的流程示意图。图3是特征重映射网络结构示意图。具体实施方式下面结合具体实施例对本专利技术作进一步说明。智能视频监控系统通常是指能够对输入的视频流进行识别分类得到对应结果的系统，系统中分类模型由卷积神经网络组成，主要包含特征提取层和分类输出层两部分。而本实施例所提供的边缘计算环境下智能视频监控系统的离线学习方法，只针对分类输出层的参数进行更新，如图1所示，其包括以下步骤：1)关键帧特征采集：提取视频关键帧，输入分类模型，采集特征提取层之前的图像特征向量与分类输出层对应的分类结果，构建成对应的特征向量与输出类别的特征类别对(x,y)，具体如下：对本文档来自技高网...

【技术保护点】
1.一种边缘计算环境下智能视频监控系统的离线学习方法，所述智能视频监控系统是指能够对输入的视频流进行识别分类得到对应结果的系统，系统中分类模型由卷积神经网络组成，主要包含特征提取层和分类输出层两部分；其特征在于，所述离线学习方法只针对分类输出层的参数进行更新，包括以下步骤：/n1)关键帧特征采集：提取视频关键帧，输入分类模型，采集特征提取层之前的图像特征向量与分类输出层对应的分类结果，构建成对应的特征向量与输出类别的特征类别对(x,y)，其中x代表特征向量，y代表输出类别，即为分类结果；/n2)特征压缩储存：对步骤1)中获取到的特征类别对(x,y)进行进一步压缩存储，根据分类结果中的置信度大小，存储在不同的样本集合中；/n3)样本抽样：符合参数更新条件时，对步骤2)中得到的特征类别对解压缩，向用户查询，进行重标记，得到更正后的特征类别对；/n4)局部参数更新：将步骤3)中得到的更正后的特征类别对输入特征重映射网络进行训练，根据得到的新中心点对分类模型中分类输出层的参数进行更新，完成离线学习。/n

【技术特征摘要】
1.一种边缘计算环境下智能视频监控系统的离线学习方法，所述智能视频监控系统是指能够对输入的视频流进行识别分类得到对应结果的系统，系统中分类模型由卷积神经网络组成，主要包含特征提取层和分类输出层两部分；其特征在于，所述离线学习方法只针对分类输出层的参数进行更新，包括以下步骤：
1)关键帧特征采集：提取视频关键帧，输入分类模型，采集特征提取层之前的图像特征向量与分类输出层对应的分类结果，构建成对应的特征向量与输出类别的特征类别对(x,y)，其中x代表特征向量，y代表输出类别，即为分类结果；
2)特征压缩储存：对步骤1)中获取到的特征类别对(x,y)进行进一步压缩存储，根据分类结果中的置信度大小，存储在不同的样本集合中；
3)样本抽样：符合参数更新条件时，对步骤2)中得到的特征类别对解压缩，向用户查询，进行重标记，得到更正后的特征类别对；
4)局部参数更新：将步骤3)中得到的更正后的特征类别对输入特征重映射网络进行训练，根据得到的新中心点对分类模型中分类输出层的参数进行更新，完成离线学习。


2.根据权利要求1所述的一种边缘计算环境下智能视频监控系统的离线学习方法，其特征在于：在步骤1)中，对于输入的视频流，先根据结构相似性算法寻找到关键帧，然后输入模型获取关键帧对应的特征，包含以下步骤：
1.1)关键帧选取
视频流看作是多帧图像组成的一个序列P1,P2,P3…Pn-1,Pn；对于这些图像，为了减少模型的重复计算，在输入模型之前，先应用结构相似性算法计算两帧间的结构相似性，其计算公式如下：
T(Pa,Pb)＝v(Pa,Pb)+f(Pa,Pb)+r(Pa,Pb)
式中：Pa,Pb分别表示输入的两帧图像；v(Pa，Pb)表示度量亮度的差异，f(Pa，Pb)表示度量对比度的差异，r(Pa,Pb)表示度量结构的差异，T(Pa,Pb)表示两帧图像的结构相似度；设置第一帧为初始关键帧，而后帧与前面关键帧的结构相似度低于设定阈值k时被选为新的关键帧；
1.2)获取关键帧特征
将前面获取到的关键帧输入到分类模型中，获取模采集特征提取层之前的图像特征向量与分类输出层对应的分类结果，构建成对应的特征向量与输出类别的特征类别对(x,y)。


3.根据权利要求1所述的一种边缘计算环境下智能视频监控系统的离线学习方法，其特征在于：在步骤2)中，对步骤1)中获取到的特征类别对(x,y)进行进一步压缩存储，以减少储存占...

【专利技术属性】
技术研发人员：毕盛，王永兴，董敏，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44