高位视频场景解析方法以及系统技术方案

本发明专利技术公开一种高位视频场景解析方法以及系统。方法包括：根据标注图像数据集对视频解析模型的学生监督学习网络进行训练，输出各个标注像素点的像素类别与预测概率，获得初始学生监督学习网络；将初始学生监督学习网络的模型参数更新至视频解析模型的教师半监督学习网络，获得更新教师半监督学习网络；根据未标注图像数据集对更新教师半监督学习网络进行训练，输出各个未标注像素点的像素类别与预测概率，获得初始教师半监督学习网络；根据各个标注像素点的像素类别与预测概率以及各个未标注像素点的像素类别与预测概率构建网络损失函数对视频解析模型进行模型优化，获得训练完成的视频解析模型，对原始目标图像进行解析。析。析。

【技术实现步骤摘要】
高位视频场景解析方法以及系统


[0001]本专利技术涉及图像处理
，特别是涉及一种高位视频场景解析方法以及系统。

技术介绍

[0002]近年来，高位视频技术发展迅速，通过在路侧安装高位视频摄像头进行数据采集，利用视觉算法对采集的数据可实现车辆分割、车道线分割、泊位线分割、可通行区域分割、路侧绿植分割等多类别的语义分割任务，从而实现对整个高位摄像头所监控的区域进行全方位的交通场景解析功能，有利于对路侧停车实现更加精细且准确的管理，且可以为车路协同技术的部署与发展提供数据，从而对于城市的交通管理、行车安全等各个方面都具有积极地促进作用。
[0003]但是，为了降低人工和时间成本，传统方法利用多边形标注工具对高位视频摄像头采集的视频场景图像数据中的少量部分数据进行逐像素的人工标注，用于解析模型的建立。进而，传统方法建立的解析模型无法充分利用采集的所有数据进行模型训练，容易忽略一些复杂场景的数据，使得高位视频场景解析的准确度偏低，无法适用于复杂场景的解析。

技术实现思路

[0004]本专利技术的目的是解决传统方法高位视频场景解析的准确度偏低的技术问题。为实现上述目的，本专利技术提供一种高位视频场景解析方法以及系统。
[0005]本专利技术提供一种高位视频场景解析方法，包括：
[0006]获取标注图像数据集与未标注图像数据集；
[0007]根据所述标注图像数据集对视频解析模型的学生监督学习网络进行训练，输出各个标注像素点的像素类别与预测概率，获得初始学生监督学习网络；/>[0008]将所述初始学生监督学习网络的模型参数更新至所述视频解析模型的教师半监督学习网络，获得更新教师半监督学习网络；
[0009]根据所述未标注图像数据集对所述更新教师半监督学习网络进行训练，输出各个未标注像素点的像素类别与预测概率，获得初始教师半监督学习网络；
[0010]根据所述各个标注像素点的像素类别与预测概率以及所述各个未标注像素点的像素类别与预测概率构建网络损失函数，并根据所述网络损失函数对所述视频解析模型进行模型优化，获得训练完成的视频解析模型；
[0011]根据所述训练完成的视频解析模型对原始目标图像进行解析。
[0012]在一个实施例中，所述根据所述各个标注像素点的像素类别与预测概率以及所述各个未标注像素点的像素类别与预测概率构建损失函数，并根据所述损失函数对所述视频解析模型进行模型优化，获得训练完成的视频解析模型之前，所述方法还包括：
[0013]根据所述各个未标注像素点的所述预测概率，将所述各个未标注像素点划分为可信伪像素点集与非可信伪像素点集；
[0014]将所述标注图像数据集与所述可信伪像素点集作为学习目标，将所述标注图像数据集与所述可信伪像素点集中各个像素点的中心点作为正样本，将所述标注图像数据集中异常像素点与所述非可信伪像素点集中异常像素点作为负样本；
[0015]根据所述学习目标、所述正样本以及所述负样本构建对比学习损失函数，并根据所述对比学习损失函数与所述网络损失函数对所述视频解析模型进行模型优化，获得所述训练完成的视频解析模型；
[0016]其中，所述对比学习损失函数为：
[0017][0018]x表示每个所述学习目标，x
+
表示每个所述学习目标对应的所述正样本，x
‑
表示每个所述学习目标对应的所述负样本，M表示每个所述学习目标对应的所述负样本的数量，C表示所述像素类别的数目，N表示所述学习目标对应的所有像素数目。
[0019]在一个实施例中，所述根据所述各个未标注像素点的所述预测概率，将所述各个未标注像素点划分为可信伪像素点集与非可信伪像素点集，包括：
[0020]计算每个所述未标注像素点的概率分布的熵，判断每个所述未标注像素点的概率分布的熵是否低于熵阈值；
[0021]若所述未标注像素点的概率分布的熵低于所述熵阈值，则所述未标注像素点为所述可信伪像素点；
[0022]若所述未标注像素点的概率分布的熵不低于所述熵阈值，则所述未标注像素点为所述非可信伪像素点；
[0023]其中，每个所述未标注像素点的概率分布的熵为：
[0024][0025]i表示第i张未标注图像，j表示所述第i张未标注图像的第j个像素，P
ij
表示每个所述未标注像素点的所述预测概率，C表示所述各个未标注像素点的像素类别数目。
[0026]在一个实施例中，所述将所述初始学生监督学习网络的模型参数更新至所述视频解析模型的教师半监督学习网络，获得更新教师半监督学习网络，包括：
[0027]根据指数滑动平均方法，将所述初始学生监督学习网络的模型参数更新至所述视频解析模型的教师半监督学习网络，获得所述更新教师半监督学习网络。
[0028]在一个实施例中，所述初始学生监督学习网络的网络结构与所述初始教师半监督学习网络的网络结构相同，包括基于卷积神经网络的编码器网络与解码器网络。
[0029]在一个实施例中，本专利技术提供一种高位视频场景解析系统，包括：
[0030]数据获取模块，用于获取标注图像数据集与未标注图像数据集；
[0031]初始学生监督学习网络模块，用于根据所述标注图像数据集对视频解析模型的学生监督学习网络进行训练，输出各个标注像素点的像素类别与预测概率，获得初始学生监督学习网络；
[0032]更新教师半监督学习网络模块，用于将所述初始学生监督学习网络的模型参数更新至所述视频解析模型的教师半监督学习网络，获得更新教师半监督学习网络；
[0033]初始教师半监督学习网络模块，用于根据所述未标注图像数据集对所述更新教师半监督学习网络进行训练，输出各个未标注像素点的像素类别与预测概率，获得初始教师半监督学习网络；
[0034]模型训练模块，用于根据所述各个标注像素点的像素类别与预测概率以及所述各个未标注像素点的像素类别与预测概率构建网络损失函数，并根据所述网络损失函数对所述视频解析模型进行模型优化，获得训练完成的视频解析模型；
[0035]场景解析模块，用于根据所述训练完成的视频解析模型对原始目标图像进行解析。
[0036]在一个实施例中，所述系统还包括：
[0037]像素点划分模块，用于根据所述各个未标注像素点的所述预测概率，将所述各个未标注像素点划分为可信伪像素点集与非可信伪像素点集；
[0038]样本划分模块，用于将所述标注图像数据集与所述可信伪像素点集作为学习目标，将所述标注图像数据集与所述可信伪像素点集中各个像素点的中心点作为正样本，将所述标注图像数据集中异常像素点与所述非可信伪像素点集中异常像素点作为负样本；
[0039]视频解析模型获取模块，用于根据所述学习目标、所述正样本以及所述负样本构建对比学习损失函数，并根据所述对比学习损失函数与所述网络损失函数对所述视频解析模型进行模型优化，获得所述训练完成的视频解析模型；
[0040]其中，所述对比学习损失函本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高位视频场景解析方法，其特征在于，包括：获取标注图像数据集与未标注图像数据集；根据所述标注图像数据集对视频解析模型的学生监督学习网络进行训练，输出各个标注像素点的像素类别与预测概率，获得初始学生监督学习网络；将所述初始学生监督学习网络的模型参数更新至所述视频解析模型的教师半监督学习网络，获得更新教师半监督学习网络；根据所述未标注图像数据集对所述更新教师半监督学习网络进行训练，输出各个未标注像素点的像素类别与预测概率，获得初始教师半监督学习网络；根据所述各个标注像素点的像素类别与预测概率以及所述各个未标注像素点的像素类别与预测概率构建网络损失函数，并根据所述网络损失函数对所述视频解析模型进行模型优化，获得训练完成的视频解析模型；根据所述训练完成的视频解析模型对原始目标图像进行解析。2.根据权利要求1所述的高位视频场景解析方法，其特征在于，所述根据所述各个标注像素点的像素类别与预测概率以及所述各个未标注像素点的像素类别与预测概率构建损失函数，并根据所述损失函数对所述视频解析模型进行模型优化，获得训练完成的视频解析模型之前，所述方法还包括：根据所述各个未标注像素点的所述预测概率，将所述各个未标注像素点划分为可信伪像素点集与非可信伪像素点集；将所述标注图像数据集与所述可信伪像素点集作为学习目标，将所述标注图像数据集与所述可信伪像素点集中各个像素点的中心点作为正样本，将所述标注图像数据集中异常像素点与所述非可信伪像素点集中异常像素点作为负样本；根据所述学习目标、所述正样本以及所述负样本构建对比学习损失函数，并根据所述对比学习损失函数与所述网络损失函数对所述视频解析模型进行模型优化，获得所述训练完成的视频解析模型；其中，所述对比学习损失函数为：x表示每个所述学习目标，x
+
表示每个所述学习目标对应的所述正样本，x
‑
表示每个所述学习目标对应的所述负样本，M表示每个所述学习目标对应的所述负样本的数量，C表示所述像素类别的数目，N表示所述学习目标对应的所有像素数目。3.根据权利要求2所述的高位视频场景解析方法，其特征在于，所述根据所述各个未标注像素点的所述预测概率，将所述各个未标注像素点划分为可信伪像素点集与非可信伪像素点集，包括：计算每个所述未标注像素点的概率分布的熵，判断每个所述未标注像素点的概率分布的熵是否低于熵阈值；若所述未标注像素点的概率分布的熵低于所述熵阈值，则所述未标注像素点为所述可信伪像素点；
若所述未标注像素点的概率分布的熵不低于所述熵阈值，则所述未标注像素点为所述非可信伪像素点；其中，每个所述未标注像素点的概率分布的熵为：i表示第i张未标注图像，j表示所述第i张未标注图像的第j个像素，P
ij
表示每个所述未标注像素点的所述预测概率，C表示所述各个未标注像素点的像素类别数目。4.根据权利要求1所述的高位视频场景解析方法，其特征在于，所述将所述初始学生监督学习网络的模型参数更新至所述视频解析模型的教师半监督学习网络，获得更新教师半监督学习网络，包括：根据指数滑动平均方法，将所述初始学生监督学习网络的模型参数更新至所述视频解析模型的教师半监督学习网络，获得所述更新教师半监督学习网络。5.根据权利要求1所述的高位视频场景解析方法，其特征在于，所述初始学生监督学习网络的网络结构与所述初始教师半监督学习网络的网络结构相同，包括基于卷积神经网络的编码器网络与解码器网络。6.一种高位...

【专利技术属性】
技术研发人员：闫军，丁丽珠，王艳清，
申请(专利权)人：超级视线科技有限公司，
类型：发明
国别省市：