图像语义分割方法、装置、设备和可读存储介质制造方法及图纸

本申请实施例公开了一种图像语义分割方法、装置、设备和可读存储介质，涉及人工智能、图像处理和深度学习技术领域。具体实现方案为：获取当前视频帧；提取所述当前视频帧中目标对象的第一轮廓；对所述目标对象的第一轮廓与所述当前视频帧的历史视频帧中所述目标对象的第二轮廓进行轮廓匹配，得到所述当前视频帧中的匹配一致轮廓；对所述匹配一致轮廓与所述当前视频帧中目标对象的语义分割结果进行融合，得到最终的语义分割结果。本申请实施例能够提高图像分割精度。

【技术实现步骤摘要】
图像语义分割方法、装置、设备和可读存储介质
本申请涉及计算机技术，尤其涉及人工智能、图像处理和深度学习

技术介绍
语义分割算法是根据图像中各物体的统计特征，将不同的类别物体所占有的区域进行划分。在实际应用中，大量场景中存在临近物体纹理或颜色相似的情况，这使得物体间的边界处难以区分，加大了语义分割算法进行区域划分的难度，使得边界处极易出现误分割问题。目前，一般采用数据增强类方法解决误分割的问题，具体通过采集或模拟生成目标场景相近的数据，让算法模型适应此类分割问题的数据特征分割来改善误分割问题。但是数据增强类算法需要采集大量与问题场景相近的图片数据并进行标注，耗费时间长、标注成本昂贵，且适用性有限，当问题场景改变时又需要进行新的数据采集、标注、模型训练，无法从根本上解决误分割问题；而且精度有限。
技术实现思路
本申请实施例提供了一种图像语义分割方法、装置、设备和可读存储介质。第一方面，本申请实施例提供了一种图像语义分割方法，包括：获取当前视频帧；提取所述当前视频帧中目标对象的第一轮廓；对所述目标对象的第一轮廓与所述当前视频帧的历史视频帧中所述目标对象的第二轮廓进行轮廓匹配，得到所述当前视频帧中的匹配一致轮廓；对所述匹配一致轮廓与所述当前视频帧中目标对象的语义分割结果进行融合，得到最终的语义分割结果。第二方面，本申请实施例还提供了一种图像语义分割装置，包括：获取模块，用于获取当前视频帧；提取模块，用于提取所述当前视频帧中目标对象的第一轮廓；匹配模块，用于对所述目标对象的第一轮廓与所述当前视频帧的历史视频帧中所述目标对象的第二轮廓进行轮廓匹配，得到所述当前视频帧中的匹配一致轮廓；融合模块，用于对所述匹配一致轮廓与所述当前视频帧中目标对象的语义分割结果进行融合，得到最终的语义分割结果。第三方面，本申请实施例提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行任一实施例所提供的一种图像语义分割方法。第四方面，本申请实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行任一实施例所提供的一种图像语义分割方法。本申请实施例提高图像分割精度。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本申请的限定。其中：图1是本申请实施例中的第一种图像语义分割方法的流程图；图2是本申请实施例中的第二种图像语义分割方法的流程图；图3a是本申请实施例中的第三种图像语义分割方法的流程图；图3b是本申请实施例中的图像语义分割的整体流程图；图3c是本申请实施例中的当前视频帧中目标对象分割结果的融合示意图；图4是本申请实施例中的图像语义分割装置的结构图图5是本申请实施例中的电子设备的结构图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。根据本申请的实施例，图1是本申请实施例中的第一种图像语义分割方法的流程图，本申请实施例适用于对视频帧进行图像语义分割的情况。该方法通过图像语义分割装置执行，该装置采用软件和/或硬件实现，并具体配置于具备一定数据运算能力的电子设备中。本实施例提供的方法属于图像语义分割中的帧间信息辅助类方法，该类方法借助视频临近帧中对象的相似性或运动的一致性来提升分割效果。通俗来讲，由于视频的临近帧中同一对象的轮廓形状具有相似性，将历史视频帧中目标对象的轮廓应用到当前帧的目标对象上，以此提高当前帧中目标对象的语义分割精度。如图1所示的图像语义分割方法，包括：S110、获取当前视频帧。当前视频帧是视频中首个视频帧之后的任一视频帧。S120、提取当前视频帧中目标对象的第一轮廓。目标对象可以是当前视频帧中的任一对象，例如人或物体等。可选的，对当前视频帧进行语义分割和轮廓提取，得到目标对象的第一轮廓。首先，将当前视频帧输入至基于深度学习的神经网络语义分割模型，输出当前视频帧中各对象的分割结果，分割结果用来表征各对象在视频帧中的所占区域。为了区别不同对象的分割结果，分割结果为与当前视频帧等大的图像，采用不同参数代表对象所占区域，例如不同数字或不同像素亮度。在目标对象所占区域的基础上进行轮廓提取，具体提取目标对象所占区域的边缘像素点，构成第一轮廓。S130、对目标对象的第一轮廓与当前视频帧的历史视频帧中目标对象的第二轮廓进行轮廓匹配，得到当前视频帧中的匹配一致轮廓。当前视频帧的历史视频帧为当前视频帧的时间戳之前的视频帧，历史视频帧与当前视频帧均显示有目标对象，由于历史视频帧与当前视频帧具有时间关联性，其中的目标对象的形状或轮廓具有一致性。将第一轮廓与第二轮廓进行匹配，寻找相重合的部分轮廓或全部轮廓作为匹配一致轮廓，可见，匹配一致轮廓是第一轮廓或第二轮廓的子集。匹配一致轮廓可以应用到当前帧的目标对象上，以此提高当前帧中目标对象的语义分割精度。S140、对匹配一致轮廓与当前视频帧中目标对象的语义分割结果进行融合，得到最终的语义分割结果。当前视频帧中目标对象的语义分割结果可采用S120中神经网络语义分割模型的输出结果表示。由于临近对象纹理或颜色可能相似，这使得单凭语义分割模型得到的语义分割结果会存在对象间的边界混淆，难以区分的情况。由于当前视频帧和历史视频帧中同一目标对象的轮廓的相似性，所以正确的分割结果中同一目标对象的轮廓能够匹配上，而错误的分割结果中同一目标对象的轮廓无法进行匹配。故而可以用轮廓匹配的方式实现帧间信息的传递，结合了当前视频帧和历史视频帧中同一目标对象的轮廓，能够一定程度上区分纹理或颜色相似的临近对象。然而，匹配一致轮廓是目标对象所占区域的一部分，且其本身也具有一定的误差。本实施例通过匹配一致轮廓对当前帧的误分割进行修正，保持分割结果的一致性。因此，对匹配一致轮廓与当前视频帧中目标对象的语义分割结果进行融合，剔除精度较低的轮廓而保留精度较高的轮廓；并将保留的轮廓与语义分割结果中除第一轮廓之外的部分结合，得到最终的语义分割结果。本申请实施例中，通过对目标对象的第一轮廓与当前视频帧的历史视频帧中目标对象的第二轮廓进行轮廓匹配，得到当前视频帧中的匹配一致轮廓，匹配一致轮廓可以应用到当前帧的目标对象上，本文档来自技高网...

【技术保护点】
1.一种图像语义分割方法，包括：/n获取当前视频帧；/n提取所述当前视频帧中目标对象的第一轮廓；/n对所述目标对象的第一轮廓与所述当前视频帧的历史视频帧中所述目标对象的第二轮廓进行轮廓匹配，得到所述当前视频帧中的匹配一致轮廓；/n对所述匹配一致轮廓与所述当前视频帧中目标对象的语义分割结果进行融合，得到最终的语义分割结果。/n

【技术特征摘要】
1.一种图像语义分割方法，包括：
获取当前视频帧；
提取所述当前视频帧中目标对象的第一轮廓；
对所述目标对象的第一轮廓与所述当前视频帧的历史视频帧中所述目标对象的第二轮廓进行轮廓匹配，得到所述当前视频帧中的匹配一致轮廓；
对所述匹配一致轮廓与所述当前视频帧中目标对象的语义分割结果进行融合，得到最终的语义分割结果。


2.根据权利要求1所述的方法，其中，所述对所述目标对象的第一轮廓与所述当前视频帧的历史视频帧中所述目标对象的第二轮廓进行轮廓匹配，得到所述当前视频帧中匹配一致轮廓，包括：
离散化所述第一轮廓和所述第二轮廓，分别得到第一点序列和第二点序列；
采用第二点序列对所述第一点序列进行点集配准，得到所述第一点序列中匹配一致的点序列，作为所述匹配一致轮廓。


3.根据权利要求2所述的方法，其中，所述采用第二点序列对所述第一点序列进行点集配准，得到所述第一点序列中匹配一致的点序列，作为所述匹配一致轮廓，包括：
对所述第二点序列进行仿射变换，得到估计点序列；
采用混合高斯模型的概率密度函数描述所述估计点序列与所述第一点序列的配准程度；
最大化所述概率密度函数，得到所述第一点序列中与所述估计点序列匹配一致的点序列，作为所述匹配一致轮廓。


4.根据权利要求1所述的方法，其中，所述对所述匹配一致轮廓与所述当前视频帧中目标对象的语义分割结果进行融合，得到最终的语义分割结果，包括：
基于所述语义分割结果，获取所述匹配一致轮廓上的点属于所述目标对象的原始置信度；
基于所述轮廓匹配，确定所述匹配一致轮廓上的点属于所述目标对象的匹配置信度；
综合所述原始置信度和所述匹配置信度，筛选出所述匹配一致轮廓上属于所述目标对象的目标点集；
汇总所述目标对象语义分割结果中除所述匹配一致轮廓外的剩余点集与所述目标点集，得到最终的语义分割结果。


5.根据权利要求1所述的方法，在所述对所述目标对象的第一轮廓与所述当前视频帧的历史视频帧中所述目标对象的第二轮廓进行轮廓匹配，得到所述当前视频帧中的匹配一致轮廓之前，还包括：
对所述历史视频帧进行语义分割和轮廓提取，得到所述目标对象的第二轮廓；或者，
对所述历史视频帧中的匹配一致轮廓与所述历史视频帧中目标对象的语义分割结果进行融合，得到所述目标对象的第二轮廓。


6.根据权利要求1-5任一项所述的方法，其中，所述历史视频帧为所述当前视频帧的前一帧。


7.一种图像语义分割装置，包括：
获取模块，用于获取当前视频帧；
提取模块，用于提取所述当前视频帧中目标对象的第一轮廓；
匹配模块，用于对所述目标对象的第一轮廓与所述当前视频帧的历史视频...

【专利技术属性】
技术研发人员：郭汉奇，洪智滨，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11