基于扩展卡尔曼滤波的卷积神经网络的道路损伤识别方法技术

本发明专利技术公开了基于扩展卡尔曼滤波的卷积神经网络的道路损伤识别方法。在道路修复前，养路工人需要对路面情况进行调研，此项工程需要耗费巨大的人力、物力和财力。本发明专利技术的步骤如下：一、图像预处理。二、图像增强与卷积神经网络的训练。三、k=1,2,…,m，依次执行步骤四至六。m为被测图像的数量。四、将第k张被测图像放大并调整为300×300的分辨率。五、将步骤五所得的第k张被测扩展图像输入步骤2训练所得的卷积神经网络中。六、将步骤五所得的权重初始值通过扩展卡尔曼滤波算法进行优化。本发明专利技术采用前馈运算、随机梯度下降法、反馈运算、PCA降维和扩展卡尔曼滤波等方法进行实时的参数更新，建立高准确率的卷积神经网络模型。

Road Damage Recognition Based on Convolutional Neural Network with Extended Kalman Filter

【技术实现步骤摘要】
基于扩展卡尔曼滤波的卷积神经网络的道路损伤识别方法
本专利技术属于图像处理
，具体涉及一种基于扩展卡尔曼滤波的卷积神经网络的道路损伤识别方法。
技术介绍
道路损坏出现裂缝是当今道路养护面临的主要问题，众多损坏道路的修复是一项巨大的工程。修复之前，养路工人需要对路面情况进行调研，此项工程需要耗费巨大的人力、物力和财力。随着高科技的发展，科学家想到了一种简便的方法，用精密的拍照仪器安放在汽车前端，可以在短时间内得到大量的有用图片，再经过筛选，截取出有用的道路损坏图像。将采集到的道路损伤图像分为8类，分类情况如下：D00表示直线裂缝有纵向车轮标记部分、D01表示施工缝部分、D10表示等间隔线部分、D11表示横向施工缝部分、D20表示龟裂缝有部分路面和整体路面、D40表示凹陷坑洞分离、D43表示白线的模糊和D44表示人行横道线的模糊。深度神经网络是人工智能应用的基础，在很多方面都有用到，例如在语音识别、图像识别和无人驾驶汽车等方面。在许多领域中，目前深度学习卷积神经网络的准确性已经超过人类。与早期的专家手动提取特征或制定规则不同，深度学习卷积神经网络的优越性能来自于在大量数据上使用统计学习方法，从原始数据中提取高级特征的能力，从而对输入空间进行有效的表示。但深度学习卷积神经网络超高的分类准确性是以超高的计算复杂度为代价的。
技术实现思路
本专利技术针对现有技术的不足，提供了用于一种基于扩展卡尔曼滤波的卷积神经网络的道路损伤识别方法。本专利技术的具体步骤如下：步骤1、设有n张含有损伤的道路损伤图片且每张图像都有一定比列的信息丢失，如第s张图像信息丢失率分别为1％、5％、10％、15％和20％，并将每个比例图片进行排序；第i张损伤图的分辨率为vi×hi，vi为第i张损伤图上一行像素的个数；hi为第i张损伤图上一列像素的个数，i＝1,2,…,n；第i张损伤图的损伤类别为zi；步骤2、图像增强与卷积神经网络的训练。2.1、i＝1,2,…,n，依次执行步骤2.2至2.4。2.2、将步骤1所得第i张损伤图放大ti倍。若hi>vi，则ti＝300/hi，并将第i张损伤图的左列像素以第i张损伤图的左侧边缘作为对称轴进行镜像对称，并将第i张损伤图的右行像素以第i张损伤图的右侧边缘作为对称轴进行镜像对称，得到分辨率为300×300的第i张一级扩展图。若hi≤vi，则t＝300/vi，并将第i张损伤图的上行像素以第i张损伤图的上侧边缘作为对称轴进行镜像对称，并将第i张损伤图的下行像素以第i张损伤图的下侧边缘作为对称轴进行镜像对称，得到分辨率为300×300的第i张一级扩展图。2.3、将步骤2.2所得的第i张一级扩展图放大1.5倍，得到分辨率为450×450的第i张二级扩展图；将第i张一级扩展图放大2倍，得到分辨率为600×600的第i张三级扩展图。2.4、用步骤2.2所得的第i张一级扩展图复制出第i张四级扩展图、第i张五级扩展图、第i张六级扩展图、第i张七级扩展图；并将第i张四级扩展图、第i张五级扩展图、第i张六级扩展图、第i张七级扩展图分别调整为0.8倍、0.9倍、1.1倍和1.2倍。2.5、将第i张一级扩展图、第i张二级扩展图、第i张三级扩展图、第i张四级扩展图、第i张五级扩展图、第i张六级扩展图和第i张七级扩展图导入卷积神经网络进行训练。步骤3、k＝1,2,…,m，依次执行步骤4至6。m为被测图像的数量。步骤4、将分辨率为v′k×h′k的第k张被测图像放大t′k倍。若h′k<v′k，则t′k＝300/v′k，并将被测图像的左列像素以被测图像的左侧边缘作为对称轴进行镜像对称，并将被测图像的右行像素以被测图像的右侧边缘作为对称轴进行镜像对称，得到分辨率为300×300的第k张被测扩展图像。步骤5、将步骤4所得的第k张被测扩展图像输入步骤2训练所得的卷积神经网络中。卷积神经网络输出中获取被测图片的特征信息矩阵和权重矩阵,并PCA降维。步骤6、根据上述步骤得到状态方程以及观测方程，并利用扩展卡尔曼滤波算法对状态进行优化，以下是状态方程及观测方程的具体表达式：系统状态方程：x(k+1)＝f(k,x(k))+w(k)(1)观测方程：y(k+1)＝h(k+1,x(k+1))+v(k+1)(2)上式中，整数k≥0为时间指数，x是系统状态向量，表示从神经网络中提取的权重，y是传感器观测值，表示神经网络的输出。系统噪声w(k)和测量噪声v(k+1)为Q和R白噪声，w(k)表示外界环境干扰噪声，v(k+1)表示观测时所产生的噪声，并有如下的统计特性：E{w(k)}＝E{v(k)}＝0(3)E{w(k)wT(j)}＝Q(k)(4)E{v(k)vT(j)}＝R(k)(5)E{w(k)vT(j)}＝0(6)初始状态x(0)为随机变量，且符合高斯分布并满足统计特性：E{x(0)}＝x0(7)E{[x(0)-x0][x(0)-x0]T}＝P0(8)并且有x(0)与w(k)，v(k)统计独立。在EKF框架下计算出误差协方差矩阵P(k+1k)，具体如下：6.1、计算对应的状态预测值上式中，为k时刻的状态估计值。6.2、根据步骤6.1，计算对应的观测预测值6.3、根据步骤6.2，计算残差信息6.4、计算一阶线性化状态方程，求解状态转移矩阵6.5、计算一阶线性化观测方程，求解观测矩阵6.6、根据步骤6.4，计算状态预测误差协方差P(k+1|k)6.7、根据步骤6.5、6.6，计算增益阵K(k+1)6.8、根据步骤6.1、6.3、6.7，计算状态估计值本专利技术具有的有益效果是：1、本专利技术采用前馈运算、随机梯度下降法、反馈运算、PCA降维和卡尔曼滤波等方法进行实时的参数更新，通过尽可能少的训练图片，建立高准确率的卷积神经网络模型。2、本专利技术通过引入PCA降维算法，降低了图像特征信息和权重的维度，减少了计算量和识别时间。3、本专利技术通过卡尔曼滤波算法来实时更新参数，进而以提高识别的准确率。附图说明图1为本专利技术流程图。具体实施方式以下对本专利技术作进一步说明。如图1所示，基于扩展卡尔曼滤波的卷积神经网络的道路损伤识别方法，具体步骤如下：步骤1、图像预处理。1、步骤1、设有n张含有损伤的道路损伤图片且每张图像都有一定比列的信息丢失，如第s张图像信息丢失率分别为1％、5％、10％、15％和20％，并将每个比例图片进行排序；设第i张损伤图的分辨率为vi×hi，vi为第i张损伤图上一行像素的个数；hi为第i张损伤图上一列像素的个数，i＝1,2,…,n；第i张损伤图的损伤类别为zi；步骤2、图像增强与卷积神经网络的训练。2.1、i＝1,2,…,n，依次执行步骤2.2至2.4。2.2、将步骤1所得第i张损伤图放大ti倍。若hi>vi，则ti＝300/hi，并将第i张损伤图的左列像素以第i张损伤图的左侧边缘作为对称轴进行镜像对称，并将第i张损伤图的右行像素以第i张损伤图的右侧边缘作为对称轴进行镜像对称，得到分辨率为300×300的第i张一级扩展图；若hi≤vi，则t＝300/vi，并将第i张损伤图的上行像素以第i张损伤图的上侧边缘作为对称轴进行镜像对称，并将第i张损伤图的下行像素以第i张损伤图的下侧边缘作为对称轴进行镜像对称，得到分辨率为300×300的第i张一级扩展图。本文档来自技高网...

【技术保护点】
1.基于扩展卡尔曼滤波的卷积神经网络的道路损伤识别方法，其特征在于，包括如下步骤：1、设有n张含有损伤的道路损伤图片且每张图像都有一定比列的信息丢失，将每个比例图片进行排序；设第i张损伤图的分辨率为vi×hi，vi为第i张损伤图上一行像素的个数；hi为第i张损伤图上一列像素的个数，i＝1,2,…,n；第i张损伤图的损伤类别为zi；2、图像增强与卷积神经网络的训练；2.1、i＝1,2,…,n，依次执行步骤2.2至2.4；2.2、将步骤1所得第i张损伤图放大ti倍；若hi>vi，则ti＝300/hi，并将第i张损伤图的左

【技术特征摘要】
1.基于扩展卡尔曼滤波的卷积神经网络的道路损伤识别方法，其特征在于，包括如下步骤：1、设有n张含有损伤的道路损伤图片且每张图像都有一定比列的信息丢失，将每个比例图片进行排序；设第i张损伤图的分辨率为vi×hi，vi为第i张损伤图上一行像素的个数；hi为第i张损伤图上一列像素的个数，i＝1,2,…,n；第i张损伤图的损伤类别为zi；2、图像增强与卷积神经网络的训练；2.1、i＝1,2,…,n，依次执行步骤2.2至2.4；2.2、将步骤1所得第i张损伤图放大ti倍；若hi>vi，则ti＝300/hi，并将第i张损伤图的左列像素以第i张损伤图的左侧边缘作为对称轴进行镜像对称，并将第i张损伤图的右行像素以第i张损伤图的右侧边缘作为对称轴进行镜像对称，得到分辨率为300×300的第i张一级扩展图；若hi≤vi，则t＝300/vi，并将第i张损伤图的上行像素以第i张损伤图的上侧边缘作为对称轴进行镜像对称，并将第i张损伤图的下行像素以第i张损伤图的下侧边缘作为对称轴进行镜像对称，得到分辨率为300×300的第i张一级扩展图；2.3、将步骤2.2所得的第i张一级扩展图放大1.5倍，得到分辨率为450×450的第i张二级扩展图；将第i张一级扩展图放大2倍，得到分辨率为600×600的第i张三级扩展图；2.4、用步骤2.2所得的第i张一级扩展图复制出第i张四级扩展图、第i张五级扩展图、第i张六级扩展图、第i张七级扩展图；并将第i张四级扩展图、第i张五级扩展图、第i张六级扩展图、第i张七级扩展图分别调整为0.8倍、0.9倍、1.1倍和1.2倍；2.5、将第i张一级扩展图、第i张二级扩展图、第i张三级扩展图、第i张四级扩展图、第i张五级扩展图、第i张六级扩展图和第i张七级扩展图导入卷积神经网络进行训练；步骤3、k＝1,2,…,m，依次执行步骤4至6；m为被测图像的数量；步骤4、将分辨率为v′k×h′k的第k张被测图像放大t′k倍；若h′k<v′k，则t′k＝...

【专利技术属性】
技术研发人员：李艳，文成林，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江,33