用于图像分割的处理方法、装置、产品、存储介质及设备制造方法及图纸

本发明专利技术实施例提供一种用于图像分割的处理方法、装置、存储介质、程序产品和电子设备，涉及计算机视觉技术领域。其中，所述方法包括：获取视频帧序列中当前视频帧的至少一个像素点的分割数据；基于所述至少一个像素点中每个像素点的分割数据，确定所述至少一个像素点中每个像素点的分割数据判断结果；基于所述至少一个像素点中每个像素点的分割数据判断结果，确定所述至少一个像素点中每个像素点的分割结果。通过本发明专利技术实施例，能够基于视频帧序列中当前视频帧的至少一个像素点中每个像素点的分割数据判断结果，确定当前视频帧的至少一个像素点中每个像素点的分割结果，减少了视频帧序列中连续视频帧之间的分割结果的不稳定性，从而提升用户体验。

Processing method, device, product, storage medium and equipment for image segmentation

The embodiment of the present invention provides a processing method, device, storage medium, program product and electronic device for image segmentation, and relates to the technical field of computer vision. The method includes: acquiring the segmentation data of at least one pixel of the current video frame in the video frame sequence; determining the segmentation data judgment result of each pixel in the at least one pixel point based on the segmentation data of each pixel in the at least one pixel point; and determining the segmentation data judgment result of each pixel in the at least one pixel point based on the segmentation data of the at least one pixel point. The segmentation data judgment result of each pixel determines the segmentation result of each pixel in the at least one pixel point. According to an embodiment of the present invention, the segmentation result of each pixel in at least one pixel of the current video frame in the video frame sequence can be determined based on the segmentation data judgment result of each pixel in at least one pixel of the current video frame, thereby reducing the instability of the segmentation result between consecutive video frames in the video frame sequence. Qualitative, so as to enhance user experience.

【技术实现步骤摘要】
用于图像分割的处理方法、装置、产品、存储介质及设备
本专利技术实施例涉及计算机视觉
，尤其涉及一种用于图像分割的处理方法、装置、存储介质、程序产品和电子设备。
技术介绍
图像分割是计算机视觉领域的基本问题，旨在将图像空域上相似的像素进行聚类分析，而视频分割是图像分割在时域上的扩展，这种分割能保持图像分割在时域上的一致性和连贯性，可用于更高级别的视觉任务，例如物体识别、目标跟踪、基于内容的检索等。最简单的视频分割方法是对视频帧序列中的视频帧分别进行图像语义分割，这种方法简单高效。其中，图像语义分割的目的为预测输入图像中每一个像素点的物体类别，实现精确、稠密的图像像素级别理解。实际应用中，视频帧序列的图像语义分割在互联网娱乐和增强现实技术中是一个很重要的基础性功能。现有技术中，视频帧序列的图像语义分割一般是针对视频帧序列中的每个视频帧独立地进行目标区域的分割。由于语义分割模型不保证对于有相同语义类别的视频帧具有在时域上一致性或连贯性的分割结果，视频帧序列中的连续视频帧之间会随机产生时域上不具有一致性或连贯性的分割结果，从而导致了视频帧序列中连续视频帧之间的分割结果的不稳定性，在视觉上体现为视频帧序列中连续视频帧之间的分割结果的抖动，进而影响用户体验。
技术实现思路
本专利技术实施例的目的在于，提供一种用于图像分割的处理的技术方案。根据本专利技术实施例的第一方面，提供了一种用于图像分割的处理方法。所述方法包括：获取视频帧序列中当前视频帧的至少一个像素点的分割数据；基于所述至少一个像素点中每个像素点的分割数据，确定所述至少一个像素点中每个像素点的分割数据判断结果；基于所述至少一个像素点中每个像素点的分割数据判断结果，确定所述至少一个像素点中每个像素点的分割结果。可选地，所述基于所述至少一个像素点中每个像素点的分割数据，确定所述至少一个像素点中每个像素点的分割数据判断结果，包括：基于所述至少一个像素点中每个像素点属于多个分割结果中的每个分割结果的概率，确定所述至少一个像素点中每个像素点的分割置信度。可选地，所述基于所述至少一个像素点中每个像素点属于多个分割结果中的每个分割结果的概率，确定所述至少一个像素点中每个像素点的分割置信度，包括：基于所述至少一个像素点中每个像素点属于多个分割结果中的每个分割结果的概率中的最大概率，确定所述至少一个像素点中每个像素点的分割置信度。可选地，所述基于所述至少一个像素点中每个像素点的分割数据判断结果，确定所述至少一个像素点中每个像素点的分割结果，包括：针对所述至少一个像素点中的每个像素点，当像素点的分割置信度小于或等于预设阈值时，确定所述像素点的分割结果为所述视频帧序列中在前视频帧的相应像素点的分割结果；针对所述至少一个像素点中的每个像素点，当所述像素点的分割置信度大于所述预设阈值时，根据所述像素点的分割数据确定所述像素点的分割结果。可选地，所述获取视频帧序列中当前视频帧的至少一个像素点的分割数据，包括：通过语义分割模型，获取视频帧序列中当前视频帧的至少一个像素点的分割数据。可选地，所述分割数据包括像素点属于多个分割结果中每个分割结果的概率。根据本专利技术实施例的第二方面，提供了一种用于图像分割的处理装置。所述装置包括：获取模块，用于获取视频帧序列中当前视频帧的至少一个像素点的分割数据；第一确定模块，用于基于所述至少一个像素点中每个像素点的分割数据，确定所述至少一个像素点中每个像素点的分割数据判断结果；第二确定模块，用于基于所述至少一个像素点中每个像素点的分割数据判断结果，确定所述至少一个像素点中每个像素点的分割结果。可选地，所述第一确定模块，包括：第一确定子模块，用于基于所述至少一个像素点中每个像素点属于多个分割结果中的每个分割结果的概率，确定所述至少一个像素点中每个像素点的分割置信度。可选地，所述第一确定子模块，具体用于：基于所述至少一个像素点中每个像素点属于多个分割结果中的每个分割结果的概率中的最大概率，确定所述至少一个像素点中每个像素点的分割置信度。可选地，所述第二确定模块，包括：第二确定子模块，用于针对所述至少一个像素点中的每个像素点，当像素点的分割置信度小于或等于预设阈值时，确定所述像素点的分割结果为所述视频帧序列中在前视频帧的相应像素点的分割结果；第三确定子模块，用于针对所述至少一个像素点中的每个像素点，当所述像素点的分割置信度大于所述预设阈值时，根据所述像素点的分割数据确定所述像素点的分割结果。可选地，所述获取模块，具体用于：通过语义分割模型，获取视频帧序列中当前视频帧的至少一个像素点的分割数据。可选地，所述分割数据包括像素点属于多个分割结果中每个分割结果的概率。根据本专利技术实施例的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述程序指令被处理器执行时实现本专利技术实施例第一方面所述的用于图像分割的处理方法的步骤。根据本专利技术实施例的第四方面，提供了一种计算机程序产品，其包括有计算机程序指令，其中，所述程序指令被处理器执行时实现本专利技术实施例第一方面所述的用于图像分割的处理方法的步骤。根据本专利技术实施例的第五方面，提供了一种电子设备，包括：处理器和存储器，所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如本专利技术实施例第一方面所述的用于图像分割的处理方法。根据本专利技术实施例提供的技术方案，基于视频帧序列中当前视频帧的至少一个像素点中每个像素点的分割数据，确定当前视频帧的至少一个像素点中每个像素点的分割数据判断结果，再基于当前视频帧的至少一个像素点中每个像素点的分割数据判断结果，确定当前视频帧的至少一个像素点中每个像素点的分割结果，与现有技术相比，能够基于视频帧序列中当前视频帧的至少一个像素点中每个像素点的分割数据判断结果，确定当前视频帧的至少一个像素点中每个像素点的分割结果，减少了视频帧序列中连续视频帧之间的分割结果的不稳定性，从而提升用户体验。附图说明图1是根据本专利技术实施例一的用于图像分割的处理方法的流程图；图2是根据本专利技术实施例二的用于图像分割的处理方法的流程图；图3是根据本专利技术实施例三的用于图像分割的处理装置的结构框图；图4是根据本专利技术实施例四的用于图像分割的处理装置的结构框图；图5是根据本专利技术实施例五的电子设备的结构框图。具体实施方式下面结合附图(若干附图中相同的标号表示相同的元素)和实施例，对本专利技术实施例的具体实施方式作进一步详细说明。以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。本领域技术人员可以理解，本专利技术实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。实施例一图1是根据本专利技术实施例一的用于图像分割的处理方法的流程图。如图1所示，本实施例提供的用于图像分割的处理方法包括以下步骤：在步骤S101中，获取视频帧序列中当前视频帧的至少一个像素点的分割数据。在本实施例中，可获取视频帧序列中当前视频帧的所有像素点的分割数据。其中，像素点的分割数据包括像素点属于多个分割结果中每个分割结果的概率。举例来说，当视频帧序列中当前视频帧的内容包括人物、狗和背景，并且当前的分割任务为提取出人物所在的区域图像和狗所在的区域图像时，当前视频帧中的像素点的分割概率包本文档来自技高网...

【技术保护点】
1.一种用于图像分割的处理方法，其特征在于，所述方法包括：获取视频帧序列中当前视频帧的至少一个像素点的分割数据；基于所述至少一个像素点中每个像素点的分割数据，确定所述至少一个像素点中每个像素点的分割数据判断结果；基于所述至少一个像素点中每个像素点的分割数据判断结果，确定所述至少一个像素点中每个像素点的分割结果。

【技术特征摘要】
1.一种用于图像分割的处理方法，其特征在于，所述方法包括：获取视频帧序列中当前视频帧的至少一个像素点的分割数据；基于所述至少一个像素点中每个像素点的分割数据，确定所述至少一个像素点中每个像素点的分割数据判断结果；基于所述至少一个像素点中每个像素点的分割数据判断结果，确定所述至少一个像素点中每个像素点的分割结果。2.根据权利要求1所述的方法，其特征在于，所述基于所述至少一个像素点中每个像素点的分割数据，确定所述至少一个像素点中每个像素点的分割数据判断结果，包括：基于所述至少一个像素点中每个像素点属于多个分割结果中的每个分割结果的概率，确定所述至少一个像素点中每个像素点的分割置信度。3.根据权利要求2所述的方法，其特征在于，所述基于所述至少一个像素点中每个像素点属于多个分割结果中的每个分割结果的概率，确定所述至少一个像素点中每个像素点的分割置信度，包括：基于所述至少一个像素点中每个像素点属于多个分割结果中的每个分割结果的概率中的最大概率，确定所述至少一个像素点中每个像素点的分割置信度。4.根据权利要求1～3中任意一项权利要求所述的方法，其特征在于，所述基于所述至少一个像素点中每个像素点的分割数据判断结果，确定所述至少一个像素点中每个像素点的分割结果，包括：针对所述至少一个像素点中的每个像素点，当像素点的分割置信度小于或等于预设阈值时，确定所述像素点的分割结果为所述视频帧序列中在前视频帧的相应像素点的分割结果；针对所述至少一个像素点中的每个像素点，...

【专利技术属性】
技术研发人员：王嘉，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11