一种用于矿井智能监控的视频图像编解码方法技术

本发明专利技术公开了一种用于矿井智能监控的视频图像编解码方法，该方法采用基于机器视觉的卷积神经网络算法，实现对矿井视频图像的编码和解码功能，包含以下步骤：(1)利用矿井视频图像采集设备采集图像，据此制作训练集和测试集；(2)构建矿井视频图像的编码器网络和解码器网络：编码器网络包括降采样层，解码器网络包括升采样层、二分支卷积层、标准化层、非线性激活层和深度变换层；(3)训练网络；(4)用训练好的网络完成矿井视频图像的编码和解码。该方法解决了矿井视频监控系统的编解码和信号重建时间过长的问题，提高了矿井智能视频监控系统的性能。

A Video Image Coding and Decoding Method for Mine Intelligent Monitoring

The invention discloses a video image encoding and decoding method for mine intelligent monitoring. The method adopts convolutional neural network algorithm based on machine vision to realize the encoding and decoding functions of mine video images. It includes the following steps: (1) collecting images by using mine video image acquisition equipment, and making training sets and test sets accordingly; (2) constructing the encoder of mine video images. Network and decoder network: Encoder network includes down-sampling layer, decoder network includes up-sampling layer, two-branch convolution layer, standardization layer, non-linear activation layer and depth conversion layer; (3) training network; (4) using trained network to complete mine video coding and decoding. This method solves the problem of long time of encoding and decoding and signal reconstruction of mine video surveillance system, and improves the performance of mine intelligent video surveillance system.

【技术实现步骤摘要】
一种用于矿井智能监控的视频图像编解码方法
本专利技术属于智能监控与图像处理领域的信号编码、解码技术，具体涉及一种用于矿井智能监控的视频图像编解码方法。
技术介绍
实现井下工作面的少人乃至无人作业是安全开采和智慧矿山建设最重要的目标之一，研究矿井智能视频监视系统优化方法及其关键技术，对促进矿井智能安全开采技术发展及智慧矿山建设具有十分重要的意义。传统的视频监视系统中图像压缩方法采用经典的奈奎斯特采样定理来解决视频图像的信号采集、编码和解码问题。然而，矿井视频图像信号的数据量大，采用传统的压缩方法不仅浪费了大量的采样资源，而且给图像的压缩、存储和传输带来了巨大的困难。在井下通信环境带宽资源有限条件下，使用以奈奎斯特定理为基础的图像处理与压缩方法使得系统开销较大，采用常规的图像编解码方法难以解决视频图像压缩处理时出现的图像模糊、视频传输延迟等问题，直接影响矿井视频图像信号的实时传输和智能监控性能。近年来提出的压缩感知理论认为，对稀疏信号或者在某个字典基中有稀疏表达的信号而言，采样个数完全可以取少于奈奎斯特采样定理要求的数量，而重构信号仍能保持无失真或仅有较少失真，该理论突破了传统奈奎斯特采样定理的瓶颈，为采集高分辨率信号提供了理论基础。另一方面，多数图像信号完全可以在傅里叶变换基下得到其稀疏表达，这为矿井视频图像信号的编解码提供了新的手段。在压缩感知的框架下，已知信号的测量值y＝Φx，压缩感知的核心问题是基于观测值y如何重构出原始的信号x。既有的解决方法或把稀疏信号的重构看成是凸优化问题，或是通过稀疏逼近间接解决稀疏信号的重构问题。虽然这些方法对视频图像具有较好的重构效果，但凸优化问题本身耗时巨大，稀疏逼近则要求在重构时进行多次迭代计算，重构的时间长，若是应用在矿井监控系统中必然带来实时性的损失。近年流行的数据驱动的深度学习方法，为解决压缩感知中的稀疏信号恢复问题提供了新的技术思路。在深度学习的框架中，编码器、解码器的参数均通过大量数据学习得出。其优势在于一旦模型训练完成，其重构用时短，且能得到不输于压缩感知传统重构方法能得到的图像复原质量。
技术实现思路
本专利技术主要解决传统压缩感知方法重构时实时性差的问题，提出一种用于矿井智能监控的视频图像编解码方法。该方法采用基于机器视觉的卷积神经网络算法，实现对矿井视频图像的编码和解码功能，其实现步骤包括：步骤1，制作训练集和测试集：利用矿井视频图像采集设备采集图像，据此制作训练集和测试集；步骤2，构建矿井视频图像的编码器网络和解码器网络：编码器网络包括降采样层，解码器网络包括升采样层、二分支卷积层、标准化层、非线性激活层和深度变换层；步骤3，网络训练：将训练集输入所述编码器网络，将所述编码器网络的输出作为所述解码器网络的输入，完成网络参数的训练；步骤4，矿井视频图像的编码和解码：利用步骤3中训练好的网络，将步骤1中所述测试集中矿井视频图像输入步骤3中所述编码器网络，矿井视频图像经编码后传输至步骤3中所述解码器网络进行解码，输出矿井视频图像的重构结果；步骤2中所述的编码器网络通过以下公式对信号进行降采样：y＝Φx其中，为待编码的图像，为测量矩阵，是所述编码器网络的待学习参数，M＜N，为编码结果；进一步地，步骤2中所述的解码器网络采用多个升采样层-二分支卷积层级联结构，并与深度变换层连接而成，其中，所述二分支卷积层由两个分支分别连接到加法器，所述两个分支的第一分支由两个或两个以上的分支单元级联后连接至所述加法器，所述两个分支的第二分支直接连接至所述加法器，或通过单个分支单元后连接至所述加法器，所述分支单元由3×3卷积层、标准化层和非线性激活层顺次连接构成。这里3×3卷积层指的是：卷积核大小为3×3，深度为64，卷积时采用的步长为1，边缘补零为1的卷积层；步骤2中所述的升采样层采用双线性插值法对图像进行升采样，得到第k个升采样层输出的图像的像素个数为Pk：其中，n表示整个解码器网络中升采样层的数量，k＝1,2,…,n，M表示解码器网络输入图像的像素个数，N表示来自数据集的原始输入图像的像素个数，符号表示向上取整。如果遇到升采样输出尺寸与原图尺寸不能匹配的情况，则在上式计算结果的基础上就近取能匹配原图尺寸的值进行修正；步骤2中所述的标准化层采用批标准化对输入的图像进行标准化；步骤2中所述的非线性激活层采用LeakyReLU函数对输入的信号进行激活，得到：其中，x表示图像批标准化后的特征图，a为满足0＜a＜1的常数，本专利技术取a＝0.01；步骤2中所述的深度变换层是一种卷积层，该卷积层的卷积核大小为1×1，卷积时采用的步长为1，边缘不补零，其深度与原始图像的深度一致；以及，步骤3中所述的训练过程包含以下子步骤：步骤3-1，设定训练的最大迭代次数和训练停止所需的损失阈值，设定输入所述编码器网络和解码器网络的每批次样本的数量；步骤3-2，采用Adam方法作为梯度下降方法，反向传播对网络参数进行训练；步骤3-3，重复执行步骤3-2，直到达到步骤3-1所设定的最大迭代次数或达到步骤3-1所设定的损失阈值为止。本专利技术采用以下公式计算解码后的重构图像与原始图像的误差损失：其中，MSE表示均方误差，m、n分别表示图像矩阵的行数和列数，I(i,j)表示原始图像中第i行第j列的像素值，K(i,j)表示重构图像中第i行第j列的像素值。步骤2所述的标准化层采用的批标准化过程包括：1)训练时，对当前输入训练数据标准化：其中，xi表示当前批次的样本中的第i个样本，表示对当前输入训练数据的标准化，μB表示当前批次的样本均值，表示当前批次的样本方差，ε为防止除以零的正常数，本专利技术取为ε＝1×10-5，μB和通过以下公式获得：其中，m表示当前批次的样本数量；2)输出标准化层的训练结果：其中，γ和β为网络训练的更新权值；3)测试时，对当前输入测试数据标准化：其中，表示对当前输入测试数据的标准化，和分别表示滑动均值和滑动方差，通过以下公式迭代计算得到：式中，v是满足0＜v＜1的常数，本专利技术取v＝0.1，和在训练时均初始化为0；4)输出标准化层的测试结果：本专利技术所述矿井视频图像采集设备包括矿用本安型视觉传感器、矿用本安型相机和矿用本安型摄像机。本专利技术的有益效果在于：编码图像的重构用时较传统压缩感知方法明显缩短，有助于改善矿井智能视频监控系统实时性能，使用数据驱动的深度学习方法训练编码器网络和解码器网络的参数，提高了矿井智能监控系统的性能。附图说明图1为一种用于矿井智能监控的视频图像编解码方法实施流程图图2为编码器网络编码过程示意图图3为解码器网络的一种具体实施的结构示意图图4为分支单元的结构示意图具体实施方式下面结合附图及具体实施例对本专利技术进行详细描述。参照图1，为用于矿井智能监控的视频图像编解码方法实施流程图。首先利用既有的矿井图像监控系统采集35000张1000像素×1000像素的井下场景图像。随机选取30000张图像生成训练集，剩余5000张图像生成测试集。设置训练的批次大小为64张图像/批次，并设置最大迭代次数为20000次。将训练集输入编码器网络和解码器网络进行训练，当在训练集上取得的重构图像与原图像的平均均方误差小于0.001时或达到最大迭代次数时，认为训练完成，否则继续训练。下面的公式给出了单幅本文档来自技高网...

【技术保护点】
1.一种用于矿井智能监控的视频图像编解码方法，其特征在于，采用基于机器视觉的卷积神经网络算法，实现对矿井视频图像的编码和解码功能，包括如下步骤：步骤1，制作训练集和测试集：利用矿井视频图像采集设备采集图像，据此制作训练集和测试集；步骤2，构建矿井视频图像的编码器网络和解码器网络：编码器网络包括降采样层，解码器网络包括升采样层、二分支卷积层、标准化层、非线性激活层和深度变换层；步骤3，网络训练：将训练集输入所述编码器网络，将所述编码器网络的输出作为所述解码器网络的输入，完成网络参数的训练；步骤4，矿井视频图像的编码和解码：利用步骤3中训练好的网络，将步骤1中所述测试集中矿井视频图像输入步骤3中所述编码器网络，矿井视频图像经编码后传输至步骤3中所述解码器网络进行解码，输出矿井视频图像的重构结果；其特征还在于，步骤2中所述的编码器网络通过以下公式对信号进行降采样：y＝Φx其中，

【技术特征摘要】
1.一种用于矿井智能监控的视频图像编解码方法，其特征在于，采用基于机器视觉的卷积神经网络算法，实现对矿井视频图像的编码和解码功能，包括如下步骤：步骤1，制作训练集和测试集：利用矿井视频图像采集设备采集图像，据此制作训练集和测试集；步骤2，构建矿井视频图像的编码器网络和解码器网络：编码器网络包括降采样层，解码器网络包括升采样层、二分支卷积层、标准化层、非线性激活层和深度变换层；步骤3，网络训练：将训练集输入所述编码器网络，将所述编码器网络的输出作为所述解码器网络的输入，完成网络参数的训练；步骤4，矿井视频图像的编码和解码：利用步骤3中训练好的网络，将步骤1中所述测试集中矿井视频图像输入步骤3中所述编码器网络，矿井视频图像经编码后传输至步骤3中所述解码器网络进行解码，输出矿井视频图像的重构结果；其特征还在于，步骤2中所述的编码器网络通过以下公式对信号进行降采样：y＝Φx其中，为待编码的图像，为测量矩阵，是所述编码器网络的待学习参数，M＜N，为编码结果；进一步地，步骤2中所述的解码器网络采用多个升采样层-二分支卷积层级联结构，并与深度变换层连接而成，其中，所述二分支卷积层由两个分支分别连接到加法器，所述两个分支的第一分支由两个或两个以上的分支单元级联后连接至所述加法器，所述两个分支的第二分支直接连接至所述加法器，或通过单个分支单元后连接至所述加法器，所述分支单元由3×3卷积层、标准化层和非线性激活层顺次连接构成；步骤2中所述的升采样层采用双线性插值法对图像进行升采样，得到第k个升采样层输出的图像的像素个数为Pk：其中，n表示整个解码器网络中升采样层的数量，k＝1,2,…,n，M表示解码器网络输入图像的像素个数，N表示来自数据集的原始输入图像的像素个数，符号表示向上取整；步骤2中所述的标准化层采用批标准化对输入的图像进行标准化；步骤2中所述的非线性激活层采用...

【专利技术属性】
技术研发人员：张帆，徐志超，
申请(专利权)人：中国矿业大学北京，
类型：发明
国别省市：北京,11