一种图像区域的分割方法、装置及电子设备制造方法及图纸

本公开关于一种图像区域的分割方法、装置、电子设备及存储介质。该方法应用于：电子设备，该方法包括：获取图像采集设备所采集到的待分割图像；利用预设的地面分割算法，对所述待分割图像中的目标地面区域进行分割，得到初始分割结果；基于所述初始分割结果和当前累积地图，确定所述待分割图像的地面分割结果；其中，所述当前累积地图为：待分割图像的上一帧图像的地面分割结果。与现有技术相比，应用本公开实施例提供的一种图像区域的分割方法，可以减少地面分割结果中，分割得到的待添加虚拟世界中的物品的目标地面区域与其他区域的交界处所存在的抖动，提高地面分割结果的稳定性，进而，提高地面分割结果的效果。

An image region segmentation method, device and electronic equipment

【技术实现步骤摘要】
一种图像区域的分割方法、装置及电子设备
本公开涉及图像处理
，尤其涉及一种图像区域的分割方法、装置及电子设备。
技术介绍
随着移动互联网技术的不断发展，移动设备所能提供使用功能越来越多，从而，移动设备在用户的生产生活中所占据的重要性也越来越大。其中，在移动设备所提供的多种功能中，拍摄功能已经成为用户日常使用的一项基本功能。当前，为了提供用户体验，增加拍摄的趣味性和生动性，一些基于拍摄功能的客户端开发商将AR(AugmentedReality，增强现实)技术与移动设备的拍摄功能相结合，从而，使得用户拍摄图像或者视频时，可以在所拍摄得到的真实世界中添加虚拟世界中的物品。在相关技术中，虚拟世界中的物品通常是添加至所拍摄到的真实世界中的某个区域中的，因此，需要首先对所拍摄得到的图像进行图像区域分割，得到区域分割结果，该区域分割结果即为待添加虚拟世界中的物品的区域，进而，对该区域进行AR渲染，得到添加虚拟世界中的物品后的图像。例如，如图1(a)-图1(c)所示，分别在拍摄得到视频图像时，对该视频图像中的地面区域进行分割，得到视频图像中的地面区域，进而，将虚拟的花的图像添加至该地面区域中，从而，使得所拍摄得到的视频更具有趣味性。然而，在上述相关技术中，对图像中地面区域的分割是基于预设的地面分割算法实现的，然而，由于所采集到的各帧图像所包括的真实世界存在差异，因此，利用预设的地面分割算法得到的地面分割结果中，分割得到的待添加虚拟世界中的物品的地面区域与其他区域的交界处会存在抖动，从而，导致所得到的地面分割结果的效果较差。
技术实现思路
本公开提供一种图像区域的分割方法、装置、电子设备及存储介质，以至少解决相关技术中地面分割结果效果较差的问题。本公开的技术方案如下：根据本公开实施例的第一方面，提供一种图像区域的分割方法，应用于电子设备，包括：获取图像采集设备所采集到的待分割图像；利用预设的地面分割算法，对所述待分割图像中的目标地面区域进行分割，得到初始分割结果；基于所述初始分割结果和当前累积地图，确定所述待分割图像的地面分割结果；其中，所述当前累积地图为：待分割图像的上一帧图像的地面分割结果。可选的，一种具体实现方式中，所述基于所述初始分割结果和当前累积地图，确定所述待分割图像的地面分割结果的步骤，包括：利用预设的3D渲染引擎和与所述3D渲染引擎对应的3D虚拟场景，基于所述初始分割结果和当前累积地图，确定所述待分割图像的地面分割结果。可选的，一种具体实现方式中，所述3D虚拟场景包括：主相机、地图相机、第一平面模型和第二平面模型；其中，所述第一平面模型和所述第二平面模型水平放置在所述3D虚拟场景中；所述主相机对应的第一相机坐标系与所述图像采集设备的第三相机坐标系同步，用于对所述第二平面模型进行渲染；所述地图相机为：位置与所述主相机同步，且摄像头朝向所述3D虚拟场景的水平面的相机，用于对所述第一平面模型进行渲染。可选的，一种具体实现方式中，所述利用预设的3D渲染引擎和与所述3D渲染引擎对应的3D虚拟场景，基于所述初始分割结果和当前累积地图，确定所述待分割图像的地面分割结果的步骤，包括：将所述第一平面模型、所述第二平面模型与所述地图相机移动至与所述主相机垂直对齐的位置；确定所述当前累积地图在所述地图相机对应的第二相机坐标系中的第一俯视地图；基于所述初始分割结果和所述第一俯视地图，对所述第一平面模型进行渲染，得到所述初始分割结果在所述第二相机坐标系中的第二俯视地图；基于所述初始分割结果和所述第二俯视地图，对所述第二平面模型进行渲染，得到所述待分割图像的地面分割结果。可选的，一种具体实现方式中，所述基于所述初始分割结果和所述第一俯视地图，对所述第一平面模型进行渲染，得到所述初始分割结果在所述第二相机坐标系中的第二俯视地图的步骤，包括：获取所述初始分割结果在预设的世界坐标系中的世界区域坐标；计算所述世界区域坐标在所述第一俯视地图中的俯视区域坐标和所述世界区域坐标在所述主相机对应的第一相机坐标系中的主相机空间坐标；从所述当前累积地图中采样得到所述俯视区域坐标对应的像素点的第一地面概率值和倒计时值；其中，所述当前累积地图中，各个像素点的倒计时值用于表征继续保留该像素点的第一地面概率值的帧数；从所述初始分割结果中采集得到所述主相机空间坐标对应的像素点的第二平面概率值；针对所述世界区域坐标对应的每一像素点，当该像素点的倒计时值大于零时，将该像素点对应的第一地面概率值和第二地面概率中的最大值确定为该像素点的目标地面概率值；针对所述世界区域坐标对应的每一像素点，当该像素点的倒计时值等于零时，将该像素点对应的第二地面概率确定为该像素点的目标地面概率值；基于所述世界区域坐标对应的各个像素点的目标地面概率值，确定所述初始分割结果在所述第二相机坐标系中的第二俯视地图。可选的，一种具体实现方式中，所述基于所述初始分割结果和所述第二俯视地图，对所述第二平面模型进行渲染，得到所述待分割图像的地面分割结果的步骤，包括：采样得到所述初始分割结果中的各个像素点的第三地面概率值；计算所述世界区域坐标中的每个像素点在所述第二俯视地图中的俯视像素点坐标，当所述俯视像素点坐标位于预设范围内时，采样得到该像素点在所述第二俯视地图中的第四地面概率值；针对具有第四地面概率值的每个像素点，将该像素点的第三地面概率值和第四地面概率值中的最大值，确定为该像素点的最终地面概率值；针对不具有第四地面概率值的每个像素点，将该像素点的第三地面概率值确定为该像素点的最终地面概率值；基于所述初始分割结果中的各个像素点的最终地面概率值，确定所述待分割图像的地面分割结果。根据本公开实施例的第二方面，提供一种图像区域的分割装置，应用于电子设备，包括：图像获取模块，用于获取图像采集设备所采集到的待分割图像；初始分割模块，用于利用预设的地面分割算法，对所述待分割图像中的目标地面区域进行分割，得到初始分割结果；最终分割模块，用于基于所述初始分割结果和当前累积地图，确定所述待分割图像的地面分割结果；其中，所述当前累积地图为：待分割图像的上一帧图像的地面分割结果。可选的，一种具体实现方式中，所述最终分割模块具体用于：利用预设的3D渲染引擎和与所述3D渲染引擎对应的3D虚拟场景，基于所述初始分割结果和当前累积地图，确定所述待分割图像的地面分割结果。可选的，一种具体实现方式中，所述3D虚拟场景包括：主相机、地图相机、第一平面模型和第二平面模型；其中，所述第一平面模型和所述第二平面模型水平放置在所述3D虚拟场景中；所述主相机对应的第一相机坐标系与所述图像采集设备的第三相机坐标系同步，用于对所述第二平面模型进行渲染；所述地图相机为：位置与所述主相机同步，且摄像头朝向所述3D虚拟场景的水平面的相机，用本文档来自技高网...

【技术保护点】
1.一种图像区域的分割方法，其特征在于，应用于电子设备，包括：/n获取图像采集设备所采集到的待分割图像；/n利用预设的地面分割算法，对所述待分割图像中的目标地面区域进行分割，得到初始分割结果；/n基于所述初始分割结果和当前累积地图，确定所述待分割图像的地面分割结果；其中，所述当前累积地图为：待分割图像的上一帧图像的地面分割结果。/n

【技术特征摘要】
1.一种图像区域的分割方法，其特征在于，应用于电子设备，包括：
获取图像采集设备所采集到的待分割图像；
利用预设的地面分割算法，对所述待分割图像中的目标地面区域进行分割，得到初始分割结果；
基于所述初始分割结果和当前累积地图，确定所述待分割图像的地面分割结果；其中，所述当前累积地图为：待分割图像的上一帧图像的地面分割结果。


2.根据权利要求1所述的方法，其特征在于，所述基于所述初始分割结果和当前累积地图，确定所述待分割图像的地面分割结果的步骤，包括：
利用预设的3D渲染引擎和与所述3D渲染引擎对应的3D虚拟场景，基于所述初始分割结果和当前累积地图，确定所述待分割图像的地面分割结果。


3.根据权利要求2所述的方法，其特征在于，所述3D虚拟场景包括：主相机、地图相机、第一平面模型和第二平面模型；
其中，所述第一平面模型和所述第二平面模型水平放置在所述3D虚拟场景中；
所述主相机对应的第一相机坐标系与所述图像采集设备的第三相机坐标系同步，用于对所述第二平面模型进行渲染；
所述地图相机为：位置与所述主相机同步，且摄像头朝向所述3D虚拟场景的水平面的相机，用于对所述第一平面模型进行渲染。


4.根据权利要求3所述的方法，其特征在于，所述利用预设的3D渲染引擎和与所述3D渲染引擎对应的3D虚拟场景，基于所述初始分割结果和当前累积地图，确定所述待分割图像的地面分割结果的步骤，包括：
将所述第一平面模型、所述第二平面模型与所述地图相机移动至与所述主相机垂直对齐的位置；
确定所述当前累积地图在所述地图相机对应的第二相机坐标系中的第一俯视地图；
基于所述初始分割结果和所述第一俯视地图，对所述第一平面模型进行渲染，得到所述初始分割结果在所述第二相机坐标系中的第二俯视地图；
基于所述初始分割结果和所述第二俯视地图，对所述第二平面模型进行渲染，得到所述待分割图像的地面分割结果。


5.根据权利要求4所述的方法，其特征在于，所述基于所述初始分割结果和所述第一俯视地图，对所述第一平面模型进行渲染，得到所述初始分割结果在所述第二相机坐标系中的第二俯视地图的步骤，包括：
获取所述初始分割结果在预设的世界坐标系中的世界区域坐标；
计算所述世界区域坐标在所述第一俯视地图中的俯视区域坐标和所述世界区域坐标在所述主相机对应的第一相机坐标系中的主相机空间坐标；
从所述当前累积地图中采样得到所述俯视区域坐标对应的像素点的第一地面概率值和倒计时值；其中，所述当前累积地图中，各个像素点的倒计时值用于表征继续保留该像素点的第一地面概率值的...

【专利技术属性】
技术研发人员：武珊珊，帕哈尔丁·帕力万，姚鹤斌，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京;11