一种基于级联的语义分割方法、系统、终端和存储介质技术方案

本发明专利技术提供一种基于级联的语义分割方法、系统、终端和存储介质，主要将图像分为两个阶段来处理，在第一个阶段，当某特征点大于阈值，则认为该特征点已经能确认其类别，就不再进行下一阶段的处理。第二阶段对剩余特征点传递到下一阶段进行处理，目标分工更加明确，精度更高。本算法的做法是动态修改标签，不改变上下文信息，只改变学习的目标函数，给予充分时间进行学习。

【技术实现步骤摘要】
一种基于级联的语义分割方法、系统、终端和存储介质
本专利技术涉及车载电子
，特别是涉及一种基于级联的语义分割方法、系统、终端和存储介质。
技术介绍
汽车保有量的增加促进了大型停车场的发展，在迈入二十一世纪以来，我们的大型停车场越来越多，而停车场规模的日益扩大，带来一系列的泊车与取车的问题，已经成为世界范围内每个大中型城市普遍面临的社会问题。现有的LC算法(LayerConscade)，具有以下缺点：第一，对不同语义的像素点做一致性处理，计算量巨大。第二，在级联时，对标签的学习不够充分，会出现未学习充分就改变的情况。
技术实现思路
为了解决上述的以及其他潜在的技术问题，本专利技术提供了一种基于级联的语义分割方法、系统、终端和存储介质，第一，主要将像素分为两个阶段来处理，在第一个阶段，当某特征点的超过阈值，则认为该特征点已经能确认其类别，就不再进行下一阶段的处理。剩余特征点传递到下一阶段进行处理，目标分工更加明确，精度更高。第二，本算法的做法是动态修改label，把所有特征图的所有label全部都记录在一起，学习一段时间后在某个固定的epoch，对每一张特征图的label进行更新，将easylabel放在本阶段，将hardlabel放到下一阶段，不改变上下文信息，只改变学习的目标函数。第三，本算法会给予充分时间进行学习。一种基于级联的语义分割方法，包括以下步骤：S01：获取捕获图像，将捕获图像经过前端编译处理得到特征图I；S02：处理特征图I的特征点，使特征点都有一个颜色表示要素，该颜色表示要素以基础色为标准，表示该特征点取向各个基础色的比率；S03：设定阈值，标记为阈值ρ；S04：给特征图I的特征点分类若特征点的颜色表示要素大于阈值，将该特征点录入简单标签集中；若特征点的颜色表示要素小于阈值，将该特征点录入困难标签集中；S05：简单标签集直接输出分类结果；利用掩膜法只将录入困难标签集做区域卷积并输出分类结果；S06：融合简单标签集和困难标签集的输出分类结果成为完整的输出分类结果。进一步地，还包括步骤S07，将分类结果后端译码还原为语义分割图。进一步地，所述步骤S01中的前端编译处理包括卷积和线性修正，还包括池化、上采样、融合中的一种或几种。进一步地，所述步骤S01中的前端编译处理中卷积的次数为至少一次，卷积的网络结构为全卷积网络结构或膨胀卷积网络结构。进一步地，所述步骤S02中颜色表示要素为向量，每一个基础色当做一个维度，颜色表示要素向量所占每一个基础色的比率之和为常量1。进一步地，所叔叔步骤S02中基础色为R、G、B三个颜色。假设一个特征点的颜色表示要素中，基础色R的占比为0.7，基础色G的占比为0.2，基础色B的占比为0.1。以基础色R为第一维度，以基础色G为第二维度，以基础色B为第三维度，则这个特征点的颜色表示要素向量就可以以第一维度、第二维度、第三维度表示出来。进一步地，所述步骤S03中的阈值ρ用于判定特征图中特征点颜色表示要素向量的难易度；若超过阈值ρ则说明该特征点趋向于某一维度基础色的幅度大于临界值，那么就说明可以直接对该特征点分类；若没有超过阈值ρ则说明该特征点没有明显的趋向于任意一个维度基础色，则说明给这个特征点分类比较困难。进一步地，所述步骤S03中的阈值ρ的取值范围在0.8～0.9之间，优选地，所述阈值ρ取值0.9。在另一优选实施例中，所述阈值ρ的取值为0.95。进一步地，所述步骤S04中，给特征图I标签分类的过程是动态变化的，动态变化的频率为样本训练结果迭代的频率。进一步地，所述步骤S04中，每一次训练结果迭代完成，需要给特征图I标签重新分类时，需要将特征图I所有特征点全部分类完成之后，再进行步骤S05。进一步地，所述特征图I标签分类有三种初始化的方式：a把第一阶段打分大于阈值的像素点当做简单标签；b将原始的标签当成简单标签；c将简单标签的特征值全部置为在训练时会被忽略的特殊值。进一步地，所述特征图I标签生成分类的算法流程如下：d初始化：将存放简单标签和困难标签的标签初始化为与原始标签相同的空间；e当运行第一轮样本训练epoch时，将与每一张特征图I对应的标签传入到简单标签和困难标签中；f当满足颜色表示要素大于预设阈值ρ且该样本训练epoch不是第一轮epoch的条件时，将简单标签传入到标签位置中，而颜色表示要素小于预设阈值ρ时，将困难标签传入到标签位置中；g当不满足上述条件时，传入与初始简单标签和困难标签对应的标签；h将简单标签与困难标签传入下一阶段运行。进一步地，所述步骤h完成后，若困难标签集中的像素点区域卷积之后特征提取结果无法满足分类要求，还会启动对困难标签集中的标签进行标签再分类，标签再分类的具体步骤与步骤S04相同，再分类出的标签类别分别进行区域卷积提取特征。进一步地，所述步骤S04中，给特征图I的所有特征点分类时，还考虑到以下参数一种或几种：I像素点与像素点之间的关系；J像素点观测值与像素点实际值之间的关系；k两个像素同时出现的频率；l颜色值和实际相对距离。进一步地，所述步骤S04中，标签动态改变过程具体步骤为：S041：简单标签和困难标签的位置会分配为和原图一样的标签；S042：样本训练；S043：特征图I学习训练好的分类器，简单标签中阈值大于阈值ρ的标签保留，小于阈值ρ的标签忽略，困难标签中阈值小于阈值ρ的保留，大于阈值ρ的忽略；S044：样本训练迭代；S045：将简单标签和困难标签中的标签都重新置为原图的标签开始学习。进一步地，所述步骤S04中：当运行第一轮训练epoch时，将与每一张特征图I对应的标签传入到简单标签和困难标签中；此后，在每个训练迭代间隔对标签进行刷新。进一步地，所述步骤S05中掩膜法的具体步骤是：S051：预先制作感兴趣区的掩模矩阵；S052：将掩膜矩阵与特征图I上感兴趣区的像素点相乘，并将乘积放入原像素点处；S053：得到感兴趣区图像，感兴趣区内图像值保持不变，而感兴趣区外图像值都为0。进一步地，所述步骤S05中，掩模矩阵是由0和1组成的一个二进制矩阵，掩膜矩阵中赋值为1值的区域与特征图I的相应特征点相乘，仍然得到特征图I的特征点，即特征图I的特征点被保留；掩膜矩阵中赋值为0值的区域与特征图I的相应特征点相乘，该特征点被0值代替。进一步地，所述掩膜法还可以通过指定的数据值、数据范围、有限或无限值、感兴趣区和注释文件来定义图像掩模，也可以应用上述选项的任意组合作为输入来建立掩模。一种基于级联的语义分割系统，包括前端编译模块、样本集、分类器，其特征在于，还包括标签分类器、区域卷积模块、掩膜模块、融合模块；所述前端编译模块获取捕获图像，将捕获图像经过前端编译处理得到特征图I；所述标签分类器给特征图I的所有特征点分类：将特征点的颜色表示要素大于阈值的特征点录入简单标签集中；将特征点的颜色表示要素小于阈值的特征点录入困难标签集中；所述简单标签集经分类器直接输出分类结果，所述困难标签集经掩膜模块和区域卷积模块提取感兴趣的区域特征再由分类器输出分类结果；所述融合模块融合简单标签集和困难标签集的输出分类结果。进一步地，还包括后端译码模块，所述后端译码模块将输出分类结果后端译码还原为语义分割图。进一步地，还包括标签生成器，所述标签生成器包括但不限于初始本文档来自技高网...

【技术保护点】
1.一种基于级联的语义分割方法，其特征在于，包括以下步骤：S01：获取捕获图像，将捕获图像经过前端编译处理得到特征图I；S02：处理特征图I的特征点，使每个特征点都有一个颜色表示要素，该颜色表示要素以基础色为标准，表示该特征点取向各个基础色的比率；S03：设定阈值，标记为阈值ρ；S04：给特征图I的特征点分类若特征点的颜色表示要素大于阈值，将该特征点录入简单标签集中；若特征点的颜色表示要素小于阈值，将该特征点录入困难标签集中；S05：简单标签集直接输出分类结果；利用掩膜法只将录入困难标签集做区域卷积并输出分类结果；S06：融合简单标签集和困难标签集的输出分类结果成为完整的输出分类结果。

【技术特征摘要】
1.一种基于级联的语义分割方法，其特征在于，包括以下步骤：S01：获取捕获图像，将捕获图像经过前端编译处理得到特征图I；S02：处理特征图I的特征点，使每个特征点都有一个颜色表示要素，该颜色表示要素以基础色为标准，表示该特征点取向各个基础色的比率；S03：设定阈值，标记为阈值ρ；S04：给特征图I的特征点分类若特征点的颜色表示要素大于阈值，将该特征点录入简单标签集中；若特征点的颜色表示要素小于阈值，将该特征点录入困难标签集中；S05：简单标签集直接输出分类结果；利用掩膜法只将录入困难标签集做区域卷积并输出分类结果；S06：融合简单标签集和困难标签集的输出分类结果成为完整的输出分类结果。2.根据权利要求1所述的基于级联的语义分割方法，其特征在于，还包括步骤S07，将分类结果后端译码还原为语义分割图。3.根据权利要求1所述的基于级联的语义分割方法，其特征在于，所述步骤S01中的前端编译处理包括卷积和线性修正，还包括池化、采样、融合中的一种或几种。4.根据权利要求1所述的基于级联的语义分割方法，其特征在于，所述步骤S02中颜色表示要素为向量，每一个基础色做为一个维度，颜色表示要素向量所占每一个基础色的比率之和为常量。5.根据权利要求4所述的基于级联的语义分割方法，其特征在于，所述步骤S03中的阈值ρ用于判定特征图中特征点颜色表示要素向量的难易度。6.根据权利要求1所述的基于级联的语...

【专利技术属性】
技术研发人员：丁丽珠，吴子章，王凡，唐锐，
申请(专利权)人：北京纵目安驰智能科技有限公司，
类型：发明
国别省市：北京,11