一种基于时间序列级联的语义分割方法、系统、终端和存储介质技术方案

本发明专利技术提供一种基于时间序列级联的语义分割方法、系统、终端和存储介质，主要包括以下步骤：给特征图I分别标记为分支一和分支二，并建立学习器；将分支一和分支二的处理时间分为两段：第一时间段t1和第二时间段t2，第一时间段t1学习器做学习能力检测，学习器输出学习成果，该学习成果分为两部分：完成区和未完成区，完成区划分至分支一，未完成区划分至分支二；在第二时间段t2中，分支二继续学习未完成区，分支一的完成区停止学习并检测学习成果是否遗忘；若分支二的未完成区仍未完成，则将仍未完成的部分再次执行循环。本发明专利技术基于时间序列级联，使学习任务分配更加明确，极大减少了性能损耗。

A semantic segmentation method, system, terminal and storage medium based on time series concatenation

The invention provides a semantic segmentation method, system, terminal and storage medium based on time series cascade, which mainly includes the following steps: marking feature graph I as branch one and branch two respectively, and establishing a learner; dividing the processing time of branch one and branch two into two periods: first time period T1 and second time period t2, and second time period t2, respectively. The learning results are divided into two parts: complete area and incomplete area, complete area is divided into branch one and incomplete area is divided into branch two; in the second time period, branch two continues to learn incomplete area, and branch one stops learning. Check whether the learning results are forgotten; if the uncompleted area of branch 2 is not completed, the uncompleted part will be executed again. The invention is based on time series cascade, which makes the assignment of learning tasks more clear and greatly reduces the performance loss.

【技术实现步骤摘要】
一种基于时间序列级联的语义分割方法、系统、终端和存储介质
本专利技术涉及车载电子
，特别是涉及一种基于时间序列级联的语义分割方法、系统、终端和存储介质。
技术介绍
语义分割是是图像理解的关键技术之一，图像是由许多像素组成，而语义分割就是将像素按照图像中表达语义的不同进行分组。现实中越来越多的应用场景需要从影像中推理出相关的语义，这些应用包括自动驾驶，人机交互，计算摄影学，增强现实等。现有技术的缺陷和不足：第一，分割精度不够；第二，学习内容冗余，耗时较多。
技术实现思路
为了解决上述的以及其他潜在的技术问题，本专利技术提供了一种基于时间序列级联的语义分割方法、系统、终端和存储介质，第一，使用时间序列上的级联方式来进行语义分割，将分支一未学习充分的部分传到分支二进行学习，学习任务分配更加明确，极大减少了性能损耗。一种基于时间序列级联的语义分割方法，包括以下步骤：S01：获取捕获图像，将捕获图像经过前端编译处理得到特征图I；S02：复制给特征图I的特征点，成为完全相同的两份特征图I，分别标记为分支一和分支二，并建立学习器；S03：将分支一和分支二的处理时间分为两段：第一时间段t1和第二时间段t2，第一时间段t1学习器做学习能力检测，学习器输出学习成果，该学习成果分为两部分：完成区和未完成区，完成区划分至分支一，未完成区划分至分支二；S04：在第二时间段t2中，分支二继续学习未完成区，分支一的完成区停止学习并检测学习成果是否遗忘；S05：在第二时间段t2的下一时刻若分支二的未完成区学习完成，则结束学习；若分支二的未完成区仍未完成，则将仍未完成的部分再次执行步骤S03至步骤S06的循环，直至未完成的部分完成，才结束学习；S06：输出学习结果后端译码还原为语义分割图。进一步地，所述步骤S01中的前端编译处理包括卷积和线性修正，还包括池化、上采样、融合中的一种或几种。进一步地，所述步骤S01中的前端编译处理中卷积的次数为至少一次，卷积的网络结构为全卷积网络结构或膨胀卷积网络结构。进一步地，所述步骤S03中检测学习能力的具体步骤是：S031：将数据集分为测试集、验证集和训练集；S032：用训练集训练学习器，训练好的学习器处理特征图I，得到处理结果；S033：将处理结果与真实结果对比；S034：处理结果与真实结果一致的部分，作为完成区；处理结果与真实结果不一致的部分，作为未完成区。进一步地，所述测试集用于评估学习器的网络模型的学习精度，选择最优化的学习器网络模型。进一步地，所述验证集用于挑选超参数，即用来确定网络结构或者控制模型复杂程度的参数。进一步地，所述数据集中的测试集和验证集中数据互斥，所述数据集中的训练集包含验证集。进一步地，所述训练集中的数据样本占数据集的80％，所述验证集中的数据样本占数据集的20％。进一步地，当给定数据集对于简单的训练、测试、验证的分割而言太小，难以产生泛化误差的精确估计时，采用交叉验证算法判断学习器的性能。进一步地，所述步骤S04中检测学习成果是否遗忘的具体步骤是：S041：设置一个验证模型，测试结果包括正确、错误、遗忘，并设置正确标准、错误标准、遗忘标准中的一项或几项；S042：用验证集验证分支一完成区学习器的学习结果；S043：当验证结果指标符合步骤S041中正确标准、错误标准、遗忘标准中的一项或几项时，则肯定分支一完成区学习器的网络模型；当验证结果指标不符合步骤S041中正确标准、错误标准、遗忘标准中的一项或几项时，则重新选择分支一完成区学习器的网络模型。一种基于时间序列级联的语义分割系统，包括前端编译模块、数据集、学习器，其特征在于，还包括分支一模块、分支二模块和定时器；所述前端编译模块获取捕获图像，将捕获图像经过前端编译处理得到特征图I；所述定时器用于给分支一模块、分支二模块的学习器分割第一时间段t1和第二时间段t2；所述数据集包括测试集、训练集、验证集，所述学习器包括学习流程管理模块，所述学习流程管理模块的学习流程为，测试集用于分支一模块在第一时间段t1做学习能力检测，找出学习器的网络模型；所述训练集用于在第一时间段t1和第二时间段t2之间训练分支一的学习器的网络模型；所述训练集还用于在第二时间段t2训练分支二的学习器的网络模型；所述验证集用于在第二时间段t2之后验证分支一的学习器的学习结果是否遗忘；所述分支一模块用于在第一时间段t1测试学习能力，以及在第二时间段t2验证学习效果；所述分支二模块用于接收分支一模块在第一时间段t1学习的未完成区；并在第二时间段t2学习未完成区。进一步地，还包括循环模块，所述循环模块在分支二第二时间段t2内未完成学习未完成区任务的前提下启动，循环模块用于循环学习分支二部分，所述循环模块的循环规则按照学习流程管理模块的学习流程循环。一种基于时间序列级联的语义分割终端，包括处理器和存储器，所述存储器存储有程序指令，所述处理器运行程序指令实现上述的方法中的步骤。一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的方法中的步骤。如上所述，本专利技术的具有以下有益效果：第一，使用时间序列上的级联方式来进行语义分割，将分支一未学习充分的部分传到分支二进行学习，学习任务分配更加明确，极大减少了性能损耗。第二，分支一在第一时间段t1得出学习结果：完成区和未完成区之后，在第二时间段t2中，分支一进程不再学习，只有分支二进程学习；区分时间段对相同任务的不同部分进行交叉学习，且在同一时间段对不同部分进行学习、验证的平行进行，降低了系统性能的损耗。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1显示为本专利技术基于级联的语义分割流程图。具体实施方式以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本专利技术可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本专利技术所能产生的功效及所能达成的目的下，均应仍落在本专利技术所揭示的
技术实现思路
得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本专利技术可实施的范围，其相对关系的改变或调整，在无实质变更
技术实现思路
下，当亦视为本专利技术可实施的范畴。参见图1，一种基于时间序列级联的语义分割方法，包括以下步骤：S01：获取捕获图像，将捕获图像经过前端编译处理得到特征图I；S02：复制给特征图I的特征点，成为完全相同的两份特征图I，分别标记为分支一和分支二，并建立学习器；S03：将分支一和分支二的处理时间分为两本文档来自技高网...

【技术保护点】
1.一种基于时间序列级联的语义分割方法，其特征在于，包括以下步骤：S01：获取捕获图像，将捕获图像经过前端编译处理得到特征图I；S02：复制给特征图I的特征点，成为完全相同的两份特征图I，分别标记为分支一和分支二，并建立学习器；S03：将分支一和分支二的处理时间分为两段：第一时间段t1和第二时间段t2，第一时间段t1学习器做学习能力检测，学习器输出学习成果，该学习成果分为两部分：完成区和未完成区，完成区划分至分支一，未完成区划分至分支二；S04：在第二时间段t2中，分支二继续学习未完成区，分支一的完成区停止学习并检测学习成果是否遗忘；S05：在第二时间段t2的下一时刻若分支二的未完成区学习完成，则结束学习；若分支二的未完成区仍未完成，则将仍未完成的部分再次执行步骤S03至步骤S06的循环，直至未完成的部分完成，才结束学习；S06：输出学习结果后端译码还原为语义分割图。

【技术特征摘要】
1.一种基于时间序列级联的语义分割方法，其特征在于，包括以下步骤：S01：获取捕获图像，将捕获图像经过前端编译处理得到特征图I；S02：复制给特征图I的特征点，成为完全相同的两份特征图I，分别标记为分支一和分支二，并建立学习器；S03：将分支一和分支二的处理时间分为两段：第一时间段t1和第二时间段t2，第一时间段t1学习器做学习能力检测，学习器输出学习成果，该学习成果分为两部分：完成区和未完成区，完成区划分至分支一，未完成区划分至分支二；S04：在第二时间段t2中，分支二继续学习未完成区，分支一的完成区停止学习并检测学习成果是否遗忘；S05：在第二时间段t2的下一时刻若分支二的未完成区学习完成，则结束学习；若分支二的未完成区仍未完成，则将仍未完成的部分再次执行步骤S03至步骤S06的循环，直至未完成的部分完成，才结束学习；S06：输出学习结果后端译码还原为语义分割图。2.根据权利要求1所述的基于时间序列级联的语义分割方法，其特征在于，所述步骤S01中的前端编译处理包括卷积和线性修正，还包括池化、上采样、融合中的一种或几种。3.根据权利要求1所述的基于时间序列级联的语义分割方法，其特征在于，所述步骤S01中的前端编译处理中卷积的次数为至少一次，卷积的网络结构为全卷积网络结构或膨胀卷积网络结构。4.根据权利要求1所述的基于时间序列级联的语义分割方法，其特征在于，所述所述步骤S03中检测学习能力的具体步骤是：S031：将数据集分为测试集、验证集和训练集；S032：用训练集训练学习器，训练好的学习器处理特征图I，得到处理结果；S033：将处理结果与真实结果对比；S034：处理结果与真实结果一致的部分，作为完成区；处理结果与真实结果不一致的部分，作为未完成区。5.根据权利要求4所述的基于时间序列级联的语义分割方法，其特征在于，所述测试集用于评估学习器的网络模型的学习精度，选择最优化的学习器网络模型；所述验证集用于挑选超参数，即用来确定网络结构或者控制模型复杂程度的参数；所述数据集中的测试集和验证集中数据互斥，所述数据集中的训练集包含验证集。6.根据权利要求1所述的基于时间序列级联的语义分割方法，其特征在于...

【专利技术属性】
技术研发人员：李坤仑，吴子章，王凡，唐锐，
申请(专利权)人：北京纵目安驰智能科技有限公司，
类型：发明
国别省市：北京,11