物联网应用中图像语义分割方法技术

本发明专利技术公开了一种物联网应用中图像语义分割方法，本发明专利技术包括基于深度学习的图像语义分割和基于区域分类的图像语义分割，在基于深度学习的图像语义分割中，结合DNN先将原始图像划分成不同的目标候选区域，得到一系列图像块，再利用DNN对图像块或图像块中的每个像素进行语义分类，最后根据分类结果对原始图像进行标注，得到最终分割结果；在基于区域分类的图像语义分割中，包括应用基于候选区域的方法和基于分割掩膜的方法，基于候选区域的方法首先利用相应的算法生成大量候选区域并筛选出合理的候选区域，再运用CNN对每个候选区域提取图像特征和语义信息，利用分类器对候选区域中的图像块或像素进行分类，最后输出分割结果。果。

【技术实现步骤摘要】
物联网应用中图像语义分割方法


[0001]本专利技术属于物联网应用
，具体涉及一种物联网应用中图像语义分割方法。

技术介绍

[0002]目前计算机视觉图像中，主流的高性能模型训练依靠大量有标签数据，但是这种带标签的数据成本高，且难以跟上数据增长的速度。因此，针对目前领域中这一重要问题，研究高性能的半监督图像分类算法，使得模型训练能够有效地利用无标签数据中的潜在信息。现有的物联网应用场景中基于半监督图像分类，图像语义分割方法还不够优化。

技术实现思路

[0003]为了克服现有的技术存在的不足,本专利技术提供一种物联网应用中图像语义分割方法。本专利技术解决其技术问题所采用的技术方案是：
[0004]物联网应用中图像语义分割方法，包括基于深度学习的图像语义分割和基于区域分类的图像语义分割，在基于深度学习的图像语义分割中，结合DNN先将原始图像划分成不同的目标候选区域，得到一系列图像块，再利用DNN对图像块或图像块中的每个像素进行语义分类，最后根据分类结果对原始图像进行标注，得到最终分割结果；在基于区域分类的图像语义分割中，包括应用基于候选区域的方法和基于分割掩膜的方法，基于候选区域的方法首先利用相应的算法生成大量候选区域并筛选出合理的候选区域，再运用CNN对每个候选区域提取图像特征和语义信息，接着利用分类器对候选区域中的图像块或像素进行分类，最后输出分割结果；基于分割掩膜的方法包括，首先，在图像中检测出所有潜在的目标候选对象，将原图像划分为一系列大小不等的图像块，每个图像块包含一个潜在的目标候选对象；将产生的图像块送入CNN进行处理，其每个像素经过“是否属于该目标候选对象”的二分类判断后得到分割掩膜，再将多张分割掩膜进行优化处理得到最终分割结果。运用CNN对每个候选区域提取图像特征和语义信息包括：
[0005]建设CNN：选用第一级网络模型、第二级网络模型和第三级网络模型，第一级网络模型的所有网络层的参数随机初始化；用预学习过的权重初始化第二级网络模型；用预学习过的VGG卷积网络的权重初始化第三级网络模型，第二级网络模型和第三级网络模型其他网络层参数随机初始化；对CNN进行学习：利用数据扩充后的学习数据库中物联网数据图及其对应的分类标签图像，对第一级网络模型、第二级网络模型和第三级网络模型，分别进行迭代学习；每迭代若干次后分别用学习过的第一级网络模型、第二级网络模型和第三级网络模型对实验数据库进行验证，当三个网络模型的验证结果的准确率均达到阈值时停止学习，获取学习好的三个网络模型；将待实验的物联网数据图分别输入到学习好的第一级网络模型、第二级网络模型和第三级网络模型获取语义分割图；对获取的语义分割图然后完成决策融合，然后进行腐蚀、膨胀、开运算、闭运算、击中、细化和粗化处理获取语义分割图。
[0006]选用第一级网络模型、第二级网络模型和第三级网络模型分别选择ICNet模型、PSPNet模型和基于编码器表示的连接网络模型。
[0007]建设CNN前：构建学习数据库和实验数据库：获取物联网数据图以及每页物联网数据图对应的分类标签图像，构成数据库；选择大部分的数据图作为学习数据库，其余的数据图作为实验数据库；对学习数据库进行预处理；对学习数据库进行数据平衡处理，获取数据平衡处理后的学习数据库；随机改变学习数据库中的物联网数据图清晰度、对比度和色度，获取数据扩充处理后的学习数据库。
[0008]建设CNN前具体的：构建学习数据库和实验数据库：获取N页物联网数据图以及每页物联网数据图对应的分类标签图像，构成数据库F；从F中选择大部分的数据图作为学习数据库F1，其余的数据图作为实验数据库F2；对学习数据库F1进行预处理；对学习数据库F1进行数据平衡处理，获取数据平衡处理后的学习数据库F1
′
；随机改变F1
′
中的物联网数据图清晰度、对比度和色度，获取数据扩充处理后的学习数据库F
″
1。
[0009]建设CNN具体的：选用第一级网络模型、第二级网络模型和第三级网络模型，第一级网络模型的所有网络层的参数随机初始化；用预学习过的权重初始化第二级网络模型；用预学习过的VGG卷积网络的权重初始化第三级网络模型，第二级网络模型和第三级网络模型其他网络层参数随机初始化；对CNN进行学习：利用数据扩充后的学习数据库F
″
1中物联网数据图及其对应的分类标签图像，对第一级网络模型、第二级网络模型和第三级网络模型，分别进行迭代学习；每迭代W次后分别用学习过的第一级网络模型、第二级网络模型和第三级网络模型对实验数据库F2进行验证，W大于阈值且,当三个网络模型的验证结果的准确率均达到阈值时停止学习，获取学习好的三个网络模型；将待实验的物联网数据图分别输入到学习好的第一级网络模型、第二级网络模型和第三级网络模型获取语义分割图；对获取的语义分割图然后完成决策融合，然后进行腐蚀、膨胀、开运算、闭运算、击中、细化和粗化处理获取语义分割图。
[0010]有益效果
[0011]本申请针对基于深度学习的图像语义分割方法、基于区域分类的图像语义分割进行了改进，研究视觉图像处理中的关键技术问题，根据具体的物联网应用场景实现基于半监督图像分类，图像语义分割高性能方法，也能有效辅助物联网应用在智能视觉信息处理、智能视觉识别及追踪等产业进行研发。
具体实施方式
[0012]在具体实施中，物联网应用中图像语义分割方法，包括基于深度学习的图像语义分割和基于区域分类的图像语义分割，在基于深度学习的图像语义分割中，结合DNN先将原始图像划分成不同的目标候选区域，得到一系列图像块，再利用DNN对图像块或图像块中的每个像素进行语义分类，最后根据分类结果对原始图像进行标注，得到最终分割结果；在基于区域分类的图像语义分割中，包括应用基于候选区域的方法和基于分割掩膜的方法，基于候选区域的方法首先利用相应的算法生成大量候选区域并筛选出合理的候选区域，再运用CNN对每个候选区域提取图像特征和语义信息，接着利用分类器对候选区域中的图像块或像素进行分类，最后输出分割结果；基于分割掩膜的方法包括，首先，在图像中检测出所有潜在的目标候选对象，将原图像划分为一系列大小不等的图像块，每个图像块包含一个
潜在的目标候选对象；将产生的图像块送入CNN进行处理，其每个像素经过“是否属于该目标候选对象”的二分类判断后得到分割掩膜，再将多张分割掩膜进行优化处理得到最终分割结果。
[0013]本申请针对基于深度学习的图像语义分割方法、基于区域分类的图像语义分割进行了改进，
[0014]研究视觉图像处理中的关键技术问题，根据具体的物联网应用场景实现基于半监督图像分类，图像语义分割高性能方法，也能有效辅助物联网应用在智能视觉信息处理、智能视觉识别及追踪等产业进行研发。
[0015]进一步的实施中，运用CNN对每个候选区域提取图像特征和语义信息包括：
[0016]建设CNN：选用第一级网络模型、第二级网络模型和第三级网络模型，第一级网络模型的所有网络层的参数随机初始化本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.物联网应用中图像语义分割方法，其特征在于，包括基于深度学习的图像语义分割和基于区域分类的图像语义分割，在基于深度学习的图像语义分割中，结合DNN先将原始图像划分成不同的目标候选区域，得到一系列图像块，再利用DNN对图像块或图像块中的每个像素进行语义分类，最后根据分类结果对原始图像进行标注，得到最终分割结果；在基于区域分类的图像语义分割中，包括应用基于候选区域的方法和基于分割掩膜的方法，基于候选区域的方法首先利用相应的算法生成大量候选区域并筛选出合理的候选区域，再运用CNN对每个候选区域提取图像特征和语义信息，接着利用分类器对候选区域中的图像块或像素进行分类，最后输出分割结果；基于分割掩膜的方法包括，首先，在图像中检测出所有潜在的目标候选对象，将原图像划分为一系列大小不等的图像块，每个图像块包含一个潜在的目标候选对象；将产生的图像块送入CNN进行处理，其每个像素经过“是否属于该目标候选对象”的二分类判断后得到分割掩膜，再将多张分割掩膜进行优化处理得到最终分割结果。2.如权利要求1所述的物联网应用中图像语义分割方法，其特征在于，运用CNN对每个候选区域提取图像特征和语义信息包括：建设CNN：选用第一级网络模型、第二级网络模型和第三级网络模型，第一级网络模型的所有网络层的参数随机初始化；用预学习过的权重初始化第二级网络模型；用预学习过的VGG卷积网络的权重初始化第三级网络模型，第二级网络模型和第三级网络模型其他网络层参数随机初始化；对CNN进行学习：利用数据扩充后的学习数据库中物联网数据图及其对应的分类标签图像，对第一级网络模型、第二级网络模型和第三级网络模型，分别进行迭代学习；每迭代若干次后分别用学习过的第一级网络模型、第二级网络模型和第三级网络模型对实验数据库进行验证，当三个网络模型的验证结果的准确率均达到阈值时停止学习，获取学习好的三个网络模型；将待实验的物联网数据图分别输入到学习好的第一级网络模型、第二级网络模型和第三级网络模型获取语义分割图；对获取的语义分割图然后完成决策融合，然后进行腐蚀、膨胀、开运算、闭运算、击中、细化和粗化处理获取语义分割图。3.如权利要求2所述的物联网应用中图像语义分割方法，其特征在于，选用第一级网络模型、第二级网络模型和第三级网络模型分别选择ICNet模型、PSPNet模型和基于编码器表示的连接网络模型。4.如权利要求3所述的物联网应用中图像语义分割方法，其特征在于，建设CNN前：构建学习数据库和实验数据库：获取物联网数据图以及每页物联网数据图对应的分类标签图像，构成数据库；选择...

【专利技术属性】
技术研发人员：赵哲，李龙飞，林予松，李英豪，赵紫茹，张悦，
申请(专利权)人：郑州大学，
类型：发明
国别省市：