一种基于半监督机器学习的时空纹理图像角度识别方法技术

本发明专利技术提供一种基于半监督机器学习的时空纹理图像角度识别方法，基于覆盖各种环境条件下的真实河流时空纹理图像数据集，构建泛化能力更好的时空纹理图像角度识别模型；结合传统图像处理方法和深度学习的方法，自动对真实河流测速视频形成的时空纹理图像角度进行识别，解决了纹理图像数据集角度标签获取困难的问题，提升了深度学习在真实场景下时空纹理图像识别角度的精度。像识别角度的精度。像识别角度的精度。

【技术实现步骤摘要】
一种基于半监督机器学习的时空纹理图像角度识别方法


[0001]本专利技术涉及机器学习方法，特别涉及一种基于半监督机器学习的时空纹理图角像度识别方法

技术介绍

[0002]基于图像的河流流速测量方法因其简单，操作安全，适用性强而备受关注，时空图像测速法(STIV)是一种以测速线为分析区域，通过分析视频生成时空纹理图像，分析时空纹理图像，识别纹理角度来计算河流流速的方法。影响其进行流速测量的一个关键因素是时空纹理图像纹理角度识别的准确性。传统的纹理图像纹理角度识别方法有FFT法和基于有监督深度学习的角度识别方法。FFT法将纹理图像利用傅里叶变换转换到频域后求取纹理角度，依据傅里叶变换的自配准性质，纹理图像的频谱能量分布经过频谱中心且与空域中纹理主方向正交的谱线上，求取频域图像的能量分布主方向即可得到纹理图像的纹理角度，但是真实测流环境下，由于倒影、雨水、强风、遮挡等影响，能量谱中会出现大量噪声，容易识别出错误的角度。基于有监督深度学习的角度识别方法利用噪声生成的时空纹理图像数据集训练深度学习模型进行角度自动识别，但是由于真实的河流图像是十分复杂的，水流的颜色在不同的环境条件下变化很大，基于噪声生成时空纹理图像无法反应真实场景下不同环境形成的时空纹理图像的纹理角度数据的多样性，因此限制了有监督学习方法的角度识别精度上限，导致标签获取困难。
[0003]FFT法和基于有监督深度学习的角度识别方法均只获取一个数据作为纹理角度的真值，若中间出现误差，无法进行修正，影响纹理角度识别的精度，将时空图像进行旋转生成各个角度下对应的时空纹理图，计算旋转后的纹理角度，并将其添加到训练集对应的分类中会影响整个模型的准确度和稳定性。

技术实现思路

[0004]为了解决上述问题，本专利技术提出一种基于半监督机器学习的时空纹理图角度识别方法，包括以下步骤：
[0005]第一步：构建时空纹理图像数据集，数据集由训练集和测试集和待标注的数据集三部分组成；采集多个河流断面的测流视频数据，包括不同季节和不同环境的测流视频数据，将其分为两部分，一部分绘制测速线生成时空纹理图，人工挑选出纹理清晰的时空纹理图，分别使用量角器和FFT方法计算时空纹理图像的角度，识别以上两种方法角度相差C度以内的纹理图像，根据相差的绝对值从小到大排序，保留差别最小的A张时空纹理图像，并将对应的量角器测量的角度值作为图像分类的标签，在保留的A张标注的时空纹理图像基础上，设置增量为E度的旋转参数，将标注的时空纹理图像的纹理角度数据进行D次旋转，获取D*A张时空纹理图像，从每个角度类别中随机将其中的一部分划分为测试集，另一部分划分为训练集；时空纹理图像待标注的数据集由另一部分测流视频数据生成；
[0006]第二步：网络模型训练阶段，使用训练集训练角度识别深度学习模型；选择深度学
习分类任务中的常见网络对训练集进行训练，并对模型的推理耗时进行评估，选择运行效率高的几个轻量级的网络，然后在同样的数据集上对轻量级网络的识别精度F1进行评估，选择识别精度F1最高的轻量级深度学习网络训练角度识别深度学习模型，在进行多轮的训练后，直到模型在测试集的识别精度F1不再提升，得到角度识别深度学习模型；
[0007][0008][0009][0010]其中，precesion为查准率，recall为召回率，TP表示把正类预测为正类的数量，FP表示把负类预测为正类的数量，FN表示把正类预测为负类的数量；
[0011]第三步：待标注的时空纹理图像数据集筛选；计算待标注的时空纹理图像数据集中所有图像的纹理清晰度，对于清晰度Clearity<0.25的时空纹理图像，直接去除；
[0012]第四步：剩余待标注的时空纹理图像数据集中的图像纹理角度识别；利用第二步训练的角度识别深度学习模型对第三步筛选后剩余的待标注的时空纹理图像数据集中的纹理图像进行角度识别，识别出其纹理角度θ3；
[0013]第五步：训练集的扩充；将第四步中识别出的纹理角度符合阈值要求的时空纹理图像加入训练集中。
[0014]第六步：自监督的训练，重复第二步
‑
第五步的过程，直到模型在测试集上识别精度F1不再提升，得到最终的时空纹理图角度识别模型。
[0015]进一步地，第一步中具体为按照实际情况将测流视频数据均匀或按照比例分为两部分。
[0016]进一步地，第三步中纹理清晰度计算公式如下：
[0017][0018]在上式中：
[0019][0020][0021][0022]上式中：I(x,t)表示时空图灰度的大小，x表示合成时空图的检测线的像素长度，t表示合成时空图的视频图像的时长，S表示积分区域。与表示灰度的梯度，Clearity表示时空图像的清晰度，反应灰度沿着x方向和t方向的变换情况，可以采用Sobel算子H
x
与H
t
求解灰度梯度：
[0023][0024]进一步地，第四步中具体为采用中心裁剪的方式截取时空纹理图像的最大的内接正方形，生成N
×
N大小的时空纹理图像，接下来将时空纹理图像尺寸调整到角度识别深度学习模型要求的图片尺寸输入大小m
×
m，输入到角度识别深度学习模型中，识别出其纹理角度θ3。
[0025]进一步地，第五步具体为：
[0026](1)对第三步得到的剩余的待标注的时空纹理图像数据集分别采用边缘检测法和梯度张量法计算其纹理角度。
[0027]具体的阈值判断方法为：
[0028]边缘检测方法：
[0029]对于当前待识别的时空纹理图像，转换成灰度图像后，执行canny边缘检测获取边界的轮廓信息，对边缘检测得到的二值化图像进行轮廓提取计算，提取边缘检测的轮廓点坐标，利用轮廓提取函数findContour抽取轮廓信息最丰富的前十个边缘轮廓点坐标，拟合出十条直线，并求取十条直线的斜率以获取其角度，根据轮廓提取函数findContour得到的轮廓信息的情况，进行由多到少的排列，对前十条直线的角度进行加权平均，求得边缘检测方法得到的纹理平均角度θ1。
[0030]梯度张量法：
[0031]其计算公式如下：
[0032][0033]在上式中：
[0034][0035][0036][0037]上式中：I(x,t)表示时空图灰度的大小，S表示积分区域。与表示灰度的梯度，反应灰度沿着x方向和t方向的变换情况，可以采用Sobel算子H
x
与H
t
求解灰度梯度：
[0038][0039]通过第四步角度识别深度学习模型识别其纹理角度为θ3，并输出其分类为θ3概率P
cnn
。
[0040]判断是否符合阈值S要求计算公式如下：
[0041][0042]S＝λ
1 Clearity+λ
2 Pcnn+λ
3 difference
[0043]其中：
[0044]difference本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于半监督机器学习的时空纹理图像角度识别方法，其特征在于，包括以下步骤：第一步：构建时空纹理图像数据集，数据集由训练集和测试集和待标注的数据集三部分组成；采集多个河流断面的测流视频数据，包括不同季节和不同环境的测流视频数据，将其分为两部分，一部分绘制测速线生成时空纹理图，人工挑选出纹理清晰的时空纹理图，分别使用量角器和FFT方法计算时空纹理图像的角度，识别以上两种方法角度相差C度以内的纹理图像，根据相差的绝对值从小到大排序，保留差别最小的A张时空纹理图像，并将对应的量角器测量的角度值作为图像分类的标签，在保留的A张标注的时空纹理图像基础上，设置增量为E度的旋转参数，将标注的时空纹理图像的纹理角度数据进行D次旋转，获取D*A张时空纹理图像，从每个角度类别中随机将其中的一部分划分为测试集，另一部分划分为训练集；时空纹理图像待标注的数据集由另一部分测流视频数据生成；第二步：网络模型训练阶段，使用训练集训练角度识别深度学习模型；选择深度学习分类任务中的常见网络对训练集进行训练，并对模型的推理耗时进行评估，选择运行效率高的几个轻量级的网络，然后在同样的数据集上对轻量级网络的识别精度F1进行评估，选择识别精度F1最高的轻量级深度学习网络训练角度识别深度学习模型，在进行多轮的训练后，直到模型在测试集的识别精度F1不再提升，得到角度识别深度学习模型；后，直到模型在测试集的识别精度F1不再提升，得到角度识别深度学习模型；后，直到模型在测试集的识别精度F1不再提升，得到角度识别深度学习模型；其中，precesion为查准率，recall为召回率，TP表示把正类预测为正类的数量，FP表示把负类预测为正类的数量，FN表示把正类预测为负类的数量；第三步：待标注的时空纹理图像数据集筛选；计算待标注的时空纹理图像数据集中所有图像的纹理清晰度，对于清晰度Clearity<0.25的时空纹理图像，直接去除；第四步：剩余待标注的时空纹理图像数据集中的图像纹理角度识别；利用第二步训练的角度识别深度学习模型对第三步筛选后剩余的待标注的时空纹理图像数据集中的纹理图像进行角度识别，识别出其纹理角度θ3；第五步：训练集的扩充；将第四步中识别出的纹理角度符合阈值要求的时空纹理图像加入训练集中。第六步：自监督的训练，重复第二步
‑
第五步的过程，直到模型在测试集上识别精度F1不再提升，得到最终的时空纹理图角度识别模型。2.根据权利要求1所述的一种基于半监督机器学习的时空纹理图像角度识别方法，其特征在于：第一步中具体为按照实际情况将测流视频数据均匀或按照比例分为两部分。3.根据权利要求1所述的一种基于半监督机器学习的时空纹理图像角度识别方法，其特征在于：第三步中纹理清晰度计算公式如...

【专利技术属性】
技术研发人员：刘炳义，游锋生，李玉琳，刘维高，王静，
申请(专利权)人：武汉大水云科技有限公司，
类型：发明
国别省市：