基于卷积神经网络和卡尔曼滤波的道路损伤识别方法技术

本发明专利技术公开了基于卷积神经网络和卡尔曼滤波的道路损伤识别方法。在道路修复前，养路工人需要对路面情况进行调研，此项工程需要耗费巨大的人力、物力和财力。本发明专利技术的步骤如下：一、图像预处理。二、图像增强与卷积神经网络的训练。三、k＝1,2,…,m，依次执行步骤四至六。m为被测图像的数量。四、将第k张被测图像放大并调整为300×300的分辨率。五、将步骤五所得的第k张被测扩展图像输入步骤2训练所得的卷积神经网络中。六、将步骤五所得的权重初始值通过卡尔曼滤波算法进行优化。本发明专利技术采用前馈运算、随机梯度下降法、反馈运算、PCA降维和卡尔曼滤波等方法进行实时的参数更新，建立高准确率的卷积神经网络模型。

Road Damage Recognition Based on Convolutional Neural Network and Kalman Filter

The invention discloses a road damage identification method based on convolution neural network and Kalman filter. Before road repairing, road maintenance workers need to investigate the condition of road surface. This project needs huge manpower, material and financial resources. The steps of the present invention are as follows: 1. image preprocessing. 2. Training of image enhancement and convolution neural network. 3. k = 1, 2,... M, step 4 to 6 in turn. M is the number of images to be measured. Fourthly, enlarge and adjust the k-image to 300*300 resolution. Fifthly, the k-stretch image obtained in step 5 is input into the convolutional neural network trained in step 2. 6. The initial weights obtained in step 5 are optimized by Kalman filtering algorithm. The method adopts feedforward operation, random gradient descent method, feedback operation, PCA dimension reduction and Kalman filter to update real-time parameters, and establishes a convolution neural network model with high accuracy.

【技术实现步骤摘要】
基于卷积神经网络和卡尔曼滤波的道路损伤识别方法
本专利技术属于图像处理
，具体涉及一种基于卷积神经网络和卡尔曼滤波的道路损伤识别方法。
技术介绍
道路损坏出现裂缝是当今道路养护面临的主要问题，众多损坏道路的修复是一项巨大的工程。修复之前，养路工人需要对路面情况进行调研，此项工程需要耗费巨大的人力、物力和财力。随着高科技的发展，科学家想到了一种简便的方法，用精密的拍照仪器安放在汽车前段，可以在短时间内得到大量的有用图片，再经过筛选，截取出有用的道路损坏图像。将采集到的道路损伤图像分为8类，分类情况如下：D00表示直线裂缝有纵向车轮标记部分、D01表示施工缝部分、D10表示等间隔线部分、D11表示横向施工缝部分、D20表示龟裂缝有部分路面和整体路面、D40表示凹陷坑洞分离、D43表示白线的模糊和D44表示人行横道线的模糊。深度神经网络是人工智能应用的基础，在很多方面都有用到，例如在语音识别、图像识别和无人驾驶汽车等方面。在许多领域中，目前深度学习卷积神经网络的准确性已经超过人类。与早期的专家手动提取特征或制定规则不同，深度学习卷积神经网络的优越性能来自于在大量数据上使用统计学习方法，从原始数据中提取高级特征的能力，从而对输入空间进行有效的表示。但深度学习卷积神经网络超高的分类准确性是以超高的计算复杂度为代价的。
技术实现思路
本专利技术的目的在于提供用于一种基于卷积神经网络和卡尔曼滤波的道路损伤识别方法。本专利技术的具体步骤如下：步骤1、对n张含有道路损伤的损伤图进行排序。第i张损伤图的分辨率为vi×hi，vi为第i张损伤图上一行像素的个数；hi为第i张损伤图上一列像素的个数，i＝1,2,…,n；第i张损伤图的损伤类别为zi。步骤2、图像增强与卷积神经网络的训练。2.1、i＝1,2,…,n，依次执行步骤2.2至2.4。2.2、将步骤1所得第i张损伤图放大ti倍。若hi>vi，则ti＝300/hi，并将第i张损伤图的左列像素以第i张损伤图的左侧边缘作为对称轴进行镜像对称，并将第i张损伤图的右行像素以第i张损伤图的右侧边缘作为对称轴进行镜像对称，得到分辨率为300×300的第i张一级扩展图。若hi≤vi，则t＝300/vi，并将第i张损伤图的上行像素以第i张损伤图的上侧边缘作为对称轴进行镜像对称，并将第i张损伤图的下行像素以第i张损伤图的下侧边缘作为对称轴进行镜像对称，得到分辨率为300×300的第i张一级扩展图。2.3、将步骤2.2所得的第i张一级扩展图放大1.5倍，得到分辨率为450×450的第i张二级扩展图；将第i张一级扩展图放大2倍，得到分辨率为600×600的第i张三级扩展图。2.4、用步骤2.2所得的第i张一级扩展图复制出第i张四级扩展图、第i张五级扩展图、第i张六级扩展图、第i张七级扩展图；并将第i张四级扩展图、第i张五级扩展图、第i张六级扩展图、第i张七级扩展图分别调整为0.8倍、0.9倍、1.1倍和1.2倍。2.5、将第i张一级扩展图、第i张二级扩展图、第i张三级扩展图、第i张四级扩展图、第i张五级扩展图、第i张六级扩展图和第i张七级扩展图导入卷积神经网络进行训练。步骤3、k＝1,2,…,m，依次执行步骤4至6。m为被测图像的数量。步骤4、将分辨率为v′k×h′k的第k张被测图像放大t′k倍。若h′k<v′k，则t′k＝300/v′k，并将被测图像的左列像素以被测图像的左侧边缘作为对称轴进行镜像对称，并将被测图像的右行像素以被测图像的右侧边缘作为对称轴进行镜像对称，得到分辨率为300×300的第k张被测扩展图像。步骤5、将步骤4所得的第k张被测扩展图像输入步骤2训练所得的卷积神经网络中。卷积神经网络输出中获取被测图片的特征信息矩阵Hk和权重矩阵wk。步骤6、将步骤5所得的权重初始值wk通过卡尔曼滤波算法进行优化。6.1、计算权重预测值的表达式如式(1)所示：式(1)中，I为两行两列的单位矩阵。6.2、计算权重预测值的协方差矩阵Pk′如式(2)所示：P′k＝I′·Pk·I′T+Q(2)式(2)中，Q为过程噪声，其值为0.00003；I′T为单位矩阵I′的转置。I′为c行c列的单位矩阵；Pk为c行c列，且主对角线上所有元素均为0.001，其余元素均为零的矩阵。c为全连接层输出节点个数。6.3、计算第k个最优增益阵Kk如式(3)所示：式(3)中，为矩阵Hk的转置；R为观测噪声，其值为0.005。6.4、计算第k个权重更新矩阵w′k如式(4)所示：式(4)中，R为观测噪声，其值为0.005；步骤七、根据第k个权重更新矩阵w′k计算M矩阵式(5)所示；M＝[Hk·w′k]T(5)式(5)中，[Hk·w′k]T为矩阵[Hk·w′k]的转置。步骤七、找到M矩阵内所有元素中的最大值。M矩阵内所有元素中的最大值对应的行数即为被测图像中道路损伤的类别号。进一步地，所述的卷积神经网络采用VGG16。进一步地，步骤5执行后，对权重矩阵wk通过主成分分析算法进行降维。进一步地，所述的全连接层输出节点个数c等于4096。本专利技术具有的有益效果是：1、本专利技术采用前馈运算、随机梯度下降法、反馈运算、PCA降维和卡尔曼滤波等方法进行实时的参数更新，通过尽可能少的训练图片，建立高准确率的卷积神经网络模型。2、本专利技术通过引入PCA降维算法，降低了图像特征信息和权重的维度，减少了了计算量和识别时间。3、本专利技术通过卡尔曼滤波算法来实时更新参数，进而以提高识别的准确率。具体实施方式以下对本专利技术作进一步说明。基于卷积神经网络和卡尔曼滤波的道路损伤识别方法，具体步骤如下：步骤1、图像预处理。对n张含有道路损伤的损伤图进行排序。第i张损伤图的分辨率为vi×hi，vi为第i张损伤图一行像素的个数；hi为第i张损伤图一列像素的个数，i＝1,2,…,n；第i张损伤图的损伤类别为zi。步骤2、图像增强与卷积神经网络的训练。2.1、i＝1,2,…,n，依次执行步骤2.2至2.4。2.2、将步骤1所得第i张损伤图放大ti倍。若hi>vi，则ti＝300/hi，并将第i张损伤图的左列像素以第i张损伤图的左侧边缘作为对称轴进行镜像对称，并将第i张损伤图的右行像素以第i张损伤图的右侧边缘作为对称轴进行镜像对称，得到分辨率为300×300的第i张一级扩展图；若hi≤vi，则t＝300/vi，并将第i张损伤图的上行像素以第i张损伤图的上侧边缘作为对称轴进行镜像对称，并将第i张损伤图的下行像素以第i张损伤图的下侧边缘作为对称轴进行镜像对称，得到分辨率为300×300的第i张一级扩展图。2.3、将步骤2.2所得的第i张一级扩展图放大1.5倍，得到分辨率为450×450的第i张二级扩展图；将第i张一级扩展图放大2倍，得到分辨率为600×600的第i张三级扩展图。2.4、将步骤2.2所得的第i张一级扩展图复制出第i张四级扩展图、第i张五级扩展图、第i张六级扩展图、第i张七级扩展图；并将第i张四级扩展图、第i张五级扩展图、第i张六级扩展图、第i张七级扩展图分别调整为0.8倍、0.9倍、1.1倍和1.2倍。2.5、将第i张一级扩展图、第i张二级扩展图、第i张三级扩展图、第i张四级扩展图、第i张五级扩展图、第i张六级扩展图和第i张七级扩展图导入卷积神经网络本文档来自技高网...

【技术保护点】
1.基于卷积神经网络和卡尔曼滤波的道路损伤识别方法，其特征在于：步骤1、对n张含有道路损伤的损伤图进行排序；第i张损伤图的分辨率为vi×hi，vi为第i张损伤图上一行像素的个数；hi为第i张损伤图上一列像素的个数，i＝1,2,…,n；第i张损伤图的损伤类别为zi；步骤2、图像增强与卷积神经网络的训练；2.1、i＝1,2,…,n，依次执行步骤2.2至2.4；2.2、将步骤1所得第i张损伤图放大ti倍；若hi>vi，则ti＝300/hi，并将第i张损伤图的左

【技术特征摘要】
1.基于卷积神经网络和卡尔曼滤波的道路损伤识别方法，其特征在于：步骤1、对n张含有道路损伤的损伤图进行排序；第i张损伤图的分辨率为vi×hi，vi为第i张损伤图上一行像素的个数；hi为第i张损伤图上一列像素的个数，i＝1,2,…,n；第i张损伤图的损伤类别为zi；步骤2、图像增强与卷积神经网络的训练；2.1、i＝1,2,…,n，依次执行步骤2.2至2.4；2.2、将步骤1所得第i张损伤图放大ti倍；若hi>vi，则ti＝300/hi，并将第i张损伤图的左列像素以第i张损伤图的左侧边缘作为对称轴进行镜像对称，并将第i张损伤图的右行像素以第i张损伤图的右侧边缘作为对称轴进行镜像对称，得到分辨率为300×300的第i张一级扩展图；若hi≤vi，则t＝300/vi，并将第i张损伤图的上行像素以第i张损伤图的上侧边缘作为对称轴进行镜像对称，并将第i张损伤图的下行像素以第i张损伤图的下侧边缘作为对称轴进行镜像对称，得到分辨率为300×300的第i张一级扩展图；2.3、将步骤2.2所得的第i张一级扩展图放大1.5倍，得到分辨率为450×450的第i张二级扩展图；将第i张一级扩展图放大2倍，得到分辨率为600×600的第i张三级扩展图；2.4、用步骤2.2所得的第i张一级扩展图复制出第i张四级扩展图、第i张五级扩展图、第i张六级扩展图、第i张七级扩展图；并将第i张四级扩展图、第i张五级扩展图、第i张六级扩展图、第i张七级扩展图分别调整为0.8倍、0.9倍、1.1倍和1.2倍；2.5、将第i张一级扩展图、第i张二级扩展图、第i张三级扩展图、第i张四级扩展图、第i张五级扩展图、第i张六级扩展图和第i张七级扩展图导入卷积神经网络进行训练；步骤3、k＝1,2,…,m，依次执行步骤4至6；m为被测图像的数量；步骤4、将分辨率为v′k×h′k的第k张被测图像...

【专利技术属性】
技术研发人员：张敬，李艳，杨明月，文成林，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江,33