一种针对迁移学习的神经网络模型输入通道整合方法技术

一种针对迁移学习的神经网络模型输入通道整合方法，首先对网络模型描述文件中的数据输入层描述进行修改，删除原数据输入层描述，增加基于图像数据列表的数据输入层描述，并将待修改的第一个卷积层重命名；然后读取神经网络模型权重文件，并对其进行修改，使对应的神经网络模型仅需要单通道数据作为输入；最后进行单通道图像数据的实时目标检测识别测试。本发明专利技术通过对经三通道训练样本数据训练的网络模型权重文件进行分析整合，形成了单通道输入的网络模型权重文件，直接在嵌入式平台部署，无需经过通道复制操作，不需要占用多余的内存空间，减轻了神经网络的计算量，降低了对信息处理资源的压力，可直接在单通道数据上完成实时目标检测识别。

【技术实现步骤摘要】
一种针对迁移学习的神经网络模型输入通道整合方法
本专利技术涉及一种针对迁移学习的神经网络模型输入通道整合方法，属于神经网络智能目标检测识别领域。
技术介绍
基于卷积神经网络的目标检测识别算法在模型权重训练过程中，需要大量的训练样本数据。针对某些特定应用环境，含有效目标的图像数据量较少，无法支撑算法模型训练，必须结合采用公开数据库进行预训练等操作。然而，公开数据库大多为自然采集的三通道彩色图像，因此训练出来的模型的输入也要求是三通道数据。但当前常采用的可见光、红外或雷达SAR景象数据大多为单通道，无法满足神经网路模型输入要求。在实际应用时，一种简单可行的方法是将单通道图数据复制两个通道并在通道维度拼接生成三通道数据，然而经测试，这种方法存在不可避免的缺陷：在嵌入式信息处理平台上进行图像通道复制，既占用了多余的内存空间，又增加了复制通道的处理时间，同时还增加了神经网络的计算量，对已经比较紧张的信息处理资源造成了压力，降低了整个目标检测识别系统运行的实时性。
技术实现思路
本专利技术的技术解决问题是：克服现有技术的不足，提供一种针对迁移学习的神经网络模型输入通道整合方法，生成的单通道输入网络模型和权重文件可以直接在嵌入式信息处理平台上部署，探测装置获取的原始图像数据无需经过通道复制操作，可直接在单通道数据上完成目标实时检测识别。本专利技术的技术解决方案是：一种针对迁移学习的神经网络模型输入通道整合方法，步骤如下：步骤一：对网络模型描述文件中的数据输入层描述进行修改，删除原数据输入层描述，增加基于图像数据列表的数据输入层描述；并将待修改的第一个卷积层重命名；步骤二：读取神经网络模型权重文件，并对其进行修改，使对应的神经网络模型仅需要单通道数据作为输入；步骤三：将修改后的权重文件使用步骤一修改的网络模型描述文件进行单通道图像数据的实时目标检测识别测试，完成神经网络模型输入通道整合。所述步骤二的实现方法如下：(1)根据修改所使用的处理程序语言类型，引用网络框架和数值计算库；(2)指定改动前的神经网络模型描述文件地址input_model_path、神经网络模型权重文件地址input_weights_path和需要修改的第一层卷积名称“conv1_1”；(3)指定改动后的神经网络模型描述文件地址output_model_path、神经网络模型权重文件地址output_weights_path和经过修改的第一层卷积名称“conv1_1C”；(4)使用网络框架加载改变前的神经网络模型结构input_model和神经网络模型权重文件input_weights，存入结构体变量input_net；(5)使用网络框架加载改变后的神经网络模型结构output_model和改变前的神经网络模型权重文件input_weights，存入结构体变量output_net；(6)使用网络框架读取input_net中指定层conv1_1的权重数据，所述权重数据包括训练三通道图像样本数据集所获得的卷积系数和卷积偏置量；(7)将步骤(6)的卷积系数在通道维度进行叠加，形成单通道卷积系数；(8)构建新的偏置补偿矩阵BE，利用该偏置补偿矩阵BE将步骤(6)的卷积偏置量处理成单通道卷积偏置量；(9)使用网络框架将步骤(7)、步骤(8)的计算结果赋值到output_net的指定位置，将output_net保存至output_weights_path的文件中，即修改完毕，所述output_net中指定层的权重数据为测试单通道图像样本数据的卷积系数和卷积偏置量。所述步骤(6)的权重数据中，卷积系数weights_conv1_1_data记作D0，D0为4维矩阵，维度为3×3×3×N，N为conv1_1层的卷积核个数，D0中每个元素记作i为行坐标，j为列坐标，k为通道编号，i＝1,2,3，j＝1,2,3，k＝1,2,3，n＝1,...,N。所述步骤(7)中，单通道卷积系数weights_conv1_1C_data记作D1，D1为4维矩阵，维度为3×3×1×N，N为conv1_1C层的卷积核个数，与conv1_1层的卷积个数相同，D1中每个元素记作i＝1,2,3，j＝1,2,3，n＝1,...,N。所述步骤(7)中，形成单通道卷积系数的公式如下：所述步骤(6)的权重数据中，卷积偏置量weights_conv1_1_bias记作B0，B0为4维矩阵，维度为1×1×1×N，B0中每个元素记作B0n，n＝1,...,N，N为conv1_1层的卷积核个数。所述步骤(8)中，BE为4维矩阵，维度为1×1×3×N，数据矩阵BE中每个元素记作k为通道编号，k＝1,2,3，n＝1,...,N，N为conv1_1层的卷积核个数，BE中每个元素的数值根据训练样本图像数据集三个通道的均值和测试样本图像数据集单通道的均值确定。设训练样本数据集图像数据三个通道的均值分别为M1、M2、M3，测试样本数据集图像数据单通道的均值为M0，BE中每个元素记作k＝1,2,3，n＝1,...,N；且N维度中每个元素等于{(M0-M1)(M0-M2)(M0-M3)}，即所述步骤(8)中，单通道卷积偏置量weights_conv1_1C_bias记作B1，B1为4维矩阵，维度为1×1×1×N，数据矩阵B1中每个元素记作B1n，n＝1,...,N。所述步骤(8)中，形成单通道卷积偏置量的公式如下：与现有技术相比，本专利技术具有如下有益效果：本专利技术通过对经三通道训练样本数据训练的网络模型权重文件进行分析整合，形成了新的单通道输入的网络模型权重文件，在完全等效的前提下解决了输入数据通道数不一致的问题，同时，生成的单通道输入网络模型和权重文件可以直接在嵌入式信息处理平台上部署，探测装置获取的原始图像数据无需经过通道复制操作，不需要占用多余的内存空间，缩短了处理时间，减轻了神经网络的计算量，降低了对信息处理资源造成的压力，可直接在单通道数据上完成实时目标检测识别。附图说明图1为本专利技术三通道输入图像、conv1_1卷积核与卷积特征层示意图；图2为单通道输入图像、conv1_1卷积核与卷积特征层示意图；图3为本专利技术方法流程图。具体实施方式本专利技术涉及一种针对迁移学习的神经网络模型输入通道整合方法，适用于基于卷积神经网络的各类通用目标检测识别算法和网路框架，实现异源训练数据与实际测试数据之间的数据格式统一。一种针对迁移学习的神经网络模型输入通道整合方法，步骤如下：步骤一：对网络模型描述文件中的数据输入层描述进行修改，删除原数据输入层描述，增加基于图像数据列表的数据输入层描述；并将待修改的第一个卷积层重命名；本专利技术不限于特定的神经网络框架，针对主流框架tensorflow、caffe、pytorch均可实现，下面为具体描述，暂使用本文档来自技高网...

【技术保护点】
1.一种针对迁移学习的神经网络模型输入通道整合方法，其特征在于步骤如下：/n步骤一：对网络模型描述文件中的数据输入层描述进行修改，删除原数据输入层描述，增加基于图像数据列表的数据输入层描述；并将待修改的第一个卷积层重命名；/n步骤二：读取神经网络模型权重文件，并对其进行修改，使对应的神经网络模型仅需要单通道数据作为输入；/n步骤三：将修改后的权重文件使用步骤一修改的网络模型描述文件进行单通道图像数据的实时目标检测识别测试，完成神经网络模型输入通道整合。/n

【技术特征摘要】
1.一种针对迁移学习的神经网络模型输入通道整合方法，其特征在于步骤如下：
步骤一：对网络模型描述文件中的数据输入层描述进行修改，删除原数据输入层描述，增加基于图像数据列表的数据输入层描述；并将待修改的第一个卷积层重命名；
步骤二：读取神经网络模型权重文件，并对其进行修改，使对应的神经网络模型仅需要单通道数据作为输入；
步骤三：将修改后的权重文件使用步骤一修改的网络模型描述文件进行单通道图像数据的实时目标检测识别测试，完成神经网络模型输入通道整合。


2.根据权利要求1所述的一种针对迁移学习的神经网络模型输入通道整合方法，其特征在于：所述步骤二的实现方法如下：
(1)根据修改所使用的处理程序语言类型，引用网络框架和数值计算库；
(2)指定改动前的神经网络模型描述文件地址input_model_path、神经网络模型权重文件地址input_weights_path和需要修改的第一层卷积名称“conv1_1”；
(3)指定改动后的神经网络模型描述文件地址output_model_path、神经网络模型权重文件地址output_weights_path和经过修改的第一层卷积名称“conv1_1C”；
(4)使用网络框架加载改变前的神经网络模型结构input_model和神经网络模型权重文件input_weights，存入结构体变量input_net；
(5)使用网络框架加载改变后的神经网络模型结构output_model和改变前的神经网络模型权重文件input_weights，存入结构体变量output_net；
(6)使用网络框架读取input_net中指定层conv1_1的权重数据，所述权重数据包括训练三通道图像样本数据集所获得的卷积系数和卷积偏置量；
(7)将步骤(6)的卷积系数在通道维度进行叠加，形成单通道卷积系数；
(8)构建新的偏置补偿矩阵BE，利用该偏置补偿矩阵BE将步骤(6)的卷积偏置量处理成单通道卷积偏置量；
(9)使用网络框架将步骤(7)、步骤(8)的计算结果赋值到output_net的指定位置，将output_net保存至output_weights_path的文件中，即修改完毕，所述output_net中指定层的权重数据为测试单通道图像样本数据的卷积系数和卷积偏置量。


3.根据权利要求2所述的一种针对迁移学习的神经网络模型输入通道整合方法，其特征在于：所述步骤(6)的权重数据中，卷积系数weights_conv1_1_data记作D...

【专利技术属性】
技术研发人员：靳松直，周斌，张辉，郝梦茜，刘严羊硕，丛龙剑，韦海萍，张聪，郑文娟，王浩，刘燕欣，高琪，
申请(专利权)人：北京航天自动控制研究所，
类型：发明
国别省市：北京;11