一种语义检测的车载视频智能处理方法技术

本发明专利技术涉及车载视频处理的技术领域，揭露了一种语义检测的车载视频智能处理方法，所述方法包括：对车载视频帧图像进行局部分块处理，利用车载视频帧异常识别模型计算得到车载视频帧图像的异常识别得分，若异常识别得分小于指定阈值则为正常行车视频帧图像；利用正常行车自编码器模型对正常行车视频帧图像进行编码重构；计算正常行车视频帧图像的编码重构误差进行异常行车视频帧图像标注，将正常行车视频帧图像所构成的车载视频进行压缩。本发明专利技术通过基于局部分块图像的浅层梯度信息以及深层语义信息实现正常行车图像的初步识别，并基于纹理特征以及光流特征实现正常行车图像中异常行车事件识别，实现异常行车记录提取以及正常行车记录压缩。正常行车记录压缩。正常行车记录压缩。

【技术实现步骤摘要】
一种语义检测的车载视频智能处理方法


[0001]本专利技术涉及车载视频处理的
，尤其涉及一种语义检测的车载视频智能处理方法。

技术介绍

[0002]近年来，多媒体和视频应用技术发展的越来越迅速，与人类的日常生活也变得越来越息息相关。同时随着人口的急剧增加，行车安全性问题也已经受到了更多人的关注。虽然车辆行驶过程中有行车记录仪对行车过程进行记录，和正常行车活动相比，异常行车事件一般都是很少出现，导致行车记录仪中存储了大量无效行车视频，严重占据行车记录仪的存储空间。针对该问题，本专利技术提出一种语义检测的车载视频智能处理方法，通过对车载视频的语义识别实现异常行车记录提取，提高行车记录仪存储空间利用率。

技术实现思路

[0003]有鉴于此，本专利技术提供一种语义检测的车载视频智能处理方法，目的在于：1)通过将车载视频帧图像进行局部分块，利用车载视频帧异常识别模型识别得到局部视频帧分块图像的浅层梯度信息以及结合注意力机制的深层语义信息，得到车载视频帧图像中每个局部存在异常事件的概率，并将该概率表示为异常得分，进而计算得到车载视频帧图像的异常识别得分，通过对异常识别得分进行判别，初步识别得到正常行车视频帧图像以及异常行车视频帧图像；2)对于识别得到的正常行车视频帧图像，根据图像的纹理特征以及光流特征实现图像重构，并计算正常行车视频帧图像在不同特征表示上的编码重构误差，若误差大于预设置的阈值，则表示正常行车视频帧图像中存在异常事件，并将正常行车视频帧图像标注为异常行车视频帧图像，实现结合纹理特征以及光流特征的进一步异常行车事件识别，通过提取车载视频中的所有异常行车视频帧图像，将正常行车视频帧图像所构成的车载视频进行压缩，实现异常行车记录提取以及正常行车记录压缩，提高行车记录仪存储空间利用率。
[0004]实现上述目的，本专利技术提供的一种语义检测的车载视频智能处理方法，包括以下步骤：
[0005]S1：采集行车过程中的车载视频并进行分帧处理，对车载视频帧图像进行局部分块处理，得到局部视频帧分块图像；
[0006]S2：构建车载视频帧异常识别模型，将局部视频帧分块图像输入到车载视频帧异常识别模型中，模型输出异常得分；
[0007]S3：根据局部视频帧分块图像异常得分计算得到车载视频帧图像的异常识别得分，若异常识别得分小于指定阈值则为正常行车视频帧图像，否则为异常行车视频帧图像；
[0008]S4：构建正常行车自编码器模型，利用正常行车自编码器模型对正常行车视频帧图像进行编码重构；
[0009]S5：计算正常行车视频帧图像的编码重构误差，若误差大于预设置的阈值，则表示
正常行车视频帧图像中存在异常事件，并将正常行车视频帧图像标注为异常行车视频帧图像，将正常行车视频帧图像所构成的车载视频进行压缩。
[0010]作为本专利技术的进一步改进方法：
[0011]可选地，所述S1步骤中采集行车过程中的车载视频并进行分帧处理，对车载视频帧图像进行局部分块处理，包括：
[0012]采集行车过程中的车载视频，并对所采集车载视频进行分帧处理，得到车载视频帧图像序列：
[0013](I1,I2,...,I
n
,...,I
N
)
[0014]其中：
[0015]I
n
表示车载视频中第n帧对应的车载视频帧图像，N表示车载视频的帧数；
[0016]对车载视频帧图像序列中的任意车载视频帧图像进行局部分块处理，将每张车载视频帧图像分割成M
×
K个互不重叠的局部视频帧分块图像，且每个局部视频帧分块图像的大小均为m
×
m像素，对每张车载视频帧图像的局部视频帧分块图像进行编号，则车载视频帧图像I
n
中第m'行第k列的局部视频帧分块图像为I
n
(m',k)，m'∈[1,M]，k∈[1,K]。
[0017]可选地，所述S2步骤中构建车载视频帧异常识别模型，包括：
[0018]构建车载视频帧异常识别模型，所构建车载视频帧异常识别模型的输入为局部视频帧分块图像，输出为该局部视频帧分块图像的异常得分；
[0019]车载视频帧异常识别模型的结构包括输入层、像素梯度计算层、特征提取层以及输出层，输入层用于接收局部视频帧分块图像，像素梯度计算层用于计算局部视频帧分块图像中每个像素的梯度，得到初始梯度矩阵特征，特征提取层用于对初始梯度矩阵特征进行深层次特征提取，并将特征提取结果输入到输出层中，输出层用于将特征提取结果映射为异常得分；
[0020]通过获取带有真实异常得分的局部图像构成训练集，所述真实异常得分为局部图像中存在异常事件的概率，并以真实异常得分与模型输出异常得分之间的均方误差最小化构成车载视频帧异常识别模型的训练目标函数，采用梯度下降法对车载视频帧异常识别模型中的模型参数进行优化求解，其中待求解参数包括特征提取层中的权重参数、偏置参数以及输出层中的权重矩阵。
[0021]可选地，所述S2步骤中将局部视频帧分块图像输入到车载视频帧异常识别模型中，得到局部视频帧分块图像的异常得分，包括：
[0022]将局部视频帧分块图像输入到车载视频帧异常识别模型中，基于车载视频帧异常识别模型的异常得分输出流程为：
[0023]S21：输入层接收局部视频帧分块图像I
n
(m',k)，并对局部视频帧分块图像I
n
(m',k)进行灰度化处理，得到像素的灰度值，其中局部视频帧分块图像I
n
(m',k)中像素(x,y)的灰度值为：像素(x,y)表示图像中第x行第y列的像素；
[0024]S22：像素梯度计算层对局部视频帧分块图像I
n
(m',k)中每个像素的梯度进行计算，其中像素(x,y)的梯度值为：
[0025][0026][0027][0028]其中：
[0029]表示局部视频帧分块图像I
n
(m',k)中像素(x,y)的梯度；
[0030]分别表示局部视频帧分块图像I
n
(m',k)中像素(x,y)在水平以及竖直方向梯度的平方；
[0031]构成局部视频帧分块图像I
n
(m',k)的初始梯度矩阵特征
[0032][0033]S23：特征提取层对初始梯度矩阵特征进行深层次特征提取：
[0034][0035][0036][0037][0038][0039]其中：
[0040]σ(
·
)表示激活函数；将其设置为sigmoid激活函数；
[0041]w1,w2,w3表示权重参数，b1,b2,b3表示偏置参数；
[0042]表示逐元素相加；
[0043]表示初始梯度矩阵特征的深层次特征提取结果；
[0044]对应不同层次的提取结果；
[0045]S24：输出层利用权重矩阵W将特征提取结果映射为异常得分，其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语义检测的车载视频智能处理方法，其特征在于，所述方法包括：S1：采集行车过程中的车载视频并进行分帧处理，对车载视频帧图像进行局部分块处理，得到局部视频帧分块图像；S2：构建车载视频帧异常识别模型，将局部视频帧分块图像输入到车载视频帧异常识别模型中，模型输出异常得分；S3：根据局部视频帧分块图像异常得分计算得到车载视频帧图像的异常识别得分，若异常识别得分小于指定阈值则为正常行车视频帧图像，否则为异常行车视频帧图像；S4：构建正常行车自编码器模型，利用正常行车自编码器模型对正常行车视频帧图像进行编码重构；S5：计算正常行车视频帧图像的编码重构误差，若误差大于预设置的阈值，则表示正常行车视频帧图像中存在异常事件，并将正常行车视频帧图像标注为异常行车视频帧图像，将正常行车视频帧图像所构成的车载视频进行压缩。2.如权利要求1所述的一种语义检测的车载视频智能处理方法，其特征在于，所述S1步骤中采集行车过程中的车载视频并进行分帧处理，对车载视频帧图像进行局部分块处理，包括：采集行车过程中的车载视频，并对所采集车载视频进行分帧处理，得到车载视频帧图像序列：；其中：表示车载视频中第n帧对应的车载视频帧图像，N表示车载视频的帧数；对车载视频帧图像序列中的任意车载视频帧图像进行局部分块处理，将每张车载视频帧图像分割成个互不重叠的局部视频帧分块图像，且每个局部视频帧分块图像的大小均为像素，对每张车载视频帧图像的局部视频帧分块图像进行编号，则车载视频帧图像中第行第k列的局部视频帧分块图像为，，。3.如权利要求2所述的一种语义检测的车载视频智能处理方法，其特征在于，所述S2步骤中构建车载视频帧异常识别模型，包括：构建车载视频帧异常识别模型，所构建车载视频帧异常识别模型的输入为局部视频帧分块图像，输出为该局部视频帧分块图像的异常得分；车载视频帧异常识别模型的结构包括输入层、像素梯度计算层、特征提取层以及输出层，输入层用于接收局部视频帧分块图像，像素梯度计算层用于计算局部视频帧分块图像中每个像素的梯度，得到初始梯度矩阵特征，特征提取层用于对初始梯度矩阵特征进行深层次特征提取，并将特征提取结果输入到输出层中，输出层用于将特征提取结果映射为异常得分；获取带有真实异常得分的局部图像构成训练集，所述真实异常得分为局部图像中存在异常事件的概率，并以真实异常得分与模型输出异常得分之间的均方误差最小化构成车载视频帧异常识别模型的训练目标函数，采用梯度下降法对车载视频帧异常识别模型中的模型参数进行优化求解，其中待求解参数包括特征提取层中的权重参数、偏置参数以及输出层中的权重矩阵。
4.如权利要求2所述的一种语义检测的车载视频智能处理方法，其特征在于，所述S2步骤中将局部视频帧分块图像输入到车载视频帧异常识别模型中，得到局部视频帧分块图像的异常得分，包括：将局部视频帧分块图像输入到车载视频帧异常识别模型中，基于车载视频帧异常识别模型的异常得分输出流程为：S21：输入层接收局部视频帧分块图像，并对局部视频帧分块图像进行灰度化处理，得到像素的灰度值，其中局部视频帧分块图像中像素的灰度值为：，像素表示图像中第x行第y列的像素；S22：像素梯度计算层对局部视频帧分块图像中每个像素的梯度进行计算，其中像素的梯度值为：；；；其中：表示局部视频帧分块图像中像素的梯度；分别表示局部视频帧分块图像中像素在水平以及竖直方向梯度的平方；构成局部视频帧分块图像的初始梯度矩阵特征：；S23：特征提取层对初始梯度矩阵特征进行深层次特征提取：；；；；；其中：
表示激活函数；表示权重参数，表示偏置参数；表示逐元素相加；表示初始梯度矩阵特征的深层次特征提取结果；对应不同层次的提取结果；S24：输出层利用权重矩阵W将特征提取结果映射为异常得分，其中局部视频帧分块图像的异常得分为：；其中：T表示转置。5.如权利要求4所述的一种语义检测的车载视频智能处理方法，其特征在于，所述S3步骤中根据局部视频帧分块图像异常得分计算得到...

【专利技术属性】
技术研发人员：胡鹏飞，尹跃军，曹伟，
申请(专利权)人：湖南承希科技有限公司，
类型：发明
国别省市：