建立语义图像分割的个性化知识库的方法及系统技术方案

本发明专利技术公开了一种建立语义图像分割的个性化知识库的方法及系统，所述方法包括：从用户中获得查询图像；执行一交互式分割处理以确定所述查询图像中一感兴趣对象的至少一个轮廓；确定在地图图像中与所述感兴趣对象的至少一个轮廓有最大重叠区域的路线；生成一输出图像，所述输出图像包括所述感兴趣对象和与所述感兴趣对象的所述轮廓有最大重叠区域的路线；及将所述输出图像推荐给所述用户，并在一社交网络平台上共享所述输出图像。

Method and system for building personalized knowledge base of semantic image segmentation

The present invention discloses a method and system for establishing a personalized knowledge base of semantic image segmentation. The method includes: obtaining a query image from a user, executing an interactive segmentation process to determine at least one of the contours of an interested object in the query image, and determining the object of interest in the map image. At least one line has the maximum overlap area; an output image is generated, the output image includes the route of the maximum overlap area between the interested object and the described contours of the interested object; and recommends the output image to the user and shares the output image on a social network platform.

【技术实现步骤摘要】
建立语义图像分割的个性化知识库的方法及系统
本专利技术涉及计算机视觉
，尤其涉及通过条件随机场来建立语义图像分割的个性化知识库的方法及系统。
技术介绍
语义图像分割是一种将图像分成有意义、无重叠区域的像素级标签任务。在复杂的图像中，图像分割是否有意义取决于用户的意图，即，用户到底要想从图像中获得什么。如果可能，正如人们期望的那样，设计一种通用的方法来尽可能准确地分割图像，这是非常具有挑战性的。这会产生高度不适定的问题，因此用户交互是必不可少的，从而增加了用户的交互工作量。最新的技术方法公开了利用深度学习技术进行图像识别，从而，处理像素级标签任务。这种技术方法的一个核心问题是深度学习技术描绘视觉对象的能力有限，这样通常会导致语义分割任务中出现边界模糊和斑点。卷积神经网络(CNN)无法提供促进相似像素之间标签一致性以及标签输出空间表征连续性的平滑约束。通过建立密集条件随机场(CRF)的平均场近似推理，可将平滑约束纳入循环神经网络(RNN)，这样在训练间将误差导数反向传播到所述CNN时，可优化前一步运算中传统循环神经网络的粗糙输出。然而，在不考虑任何用户交互的情况下，这样的深度神经网络(DNN)大多能完善基准数据库。本专利技术所公开的方法和系统旨在解决上述至少一个问题以及其他问题。
技术实现思路
本专利技术公开的实施例一方面提供了一种建立语义图像分割的个性化知识库的方法。所述方法包括：从用户中获得查询图像；执行一交互式分割处理以确定所述查询图像中一感兴趣对象的至少一个轮廓；确定在地图图像上与所述感兴趣对象的至少一个轮廓有最大重叠区域的路线；生成输出图像，所述输出图像包括所述感兴趣对象和与所述感兴趣对象的至少一个轮廓有最大重叠区域的所述路线；将所述输出图像推荐给所述用户，并在社交网络平台上共享所述输出图像。任选地，执行一交互式分割处理以确定所述查询图像中所述感兴趣对象的至少一个轮廓，还包括：基于个性化知识库，通过全连接卷积网络和用来推理隐藏单元条件随机场的卷积神经网络信息估计器以连接所述查询图像；持续性反向传播带有更新的地面实况的误差导数，所述更新的地面实况由未知图像的不满意分割结果所触发；以及优化语义分割并学习超像素筛选标准，以构建所述个性化知识库。任选地，给定一组观测值x和参数θ，分割标签s的条件可能性公式建模如下：其中所述参数θ最大化估计为边缘分布的计算如下：其中，Zn是一个正规化子：本专利技术公开的实施例另一方面公开了一种建立语义图像分割的个性化知识库的系统。所述系统包括：交互式分割模块，用于从用户中获得查询图像，并执行交互式分割处理以确定所述查询图像中感兴趣对象的至少一个轮廓；路线搜索模块，用于确定在地图图像上与所述感兴趣对象的至少一个轮廓有最大重叠区域的路线；以及路线推荐模块，用于生成输出图像，所述输出图像包括所述感兴趣对象和与所述感兴趣对象的至少一个轮廓有最大重叠区域的所述路线；及将所述输出图像推荐给所述用户，并在社交网络平台上共享所述输出图像。任选地，所述交互式分割模块包括：图像筛选单元，用于允许所述用户筛选所述查询图像；图像编辑单元，用于允许所述用户通过提供前景与背景限制，编辑与所述查询图像重叠的超像素轮廓；图像处理单元，用于通过所述语义图像分割，处理所述查询图像，以生成至少一个所述超像素轮廓；个性化知识库单元，用于自适应学习所述用户的偏好或未知环境中语境线索的筛选标准，以减少编辑所述用户图像的精力并最终取代所述用户交互。任选地，所述图像处理单元还从所述用户的图像编辑中提取并发送反馈给所述个性化知识库单元；通过条件随机场方法执行所述语义图像分割。任选地，所述图像处理单元还包括全卷积网络和超像素筛选器。任选地，所述路线搜索模块运用MorphSnakes算法在谷歌地图上搜索路线。任选地，所述路线推荐模块向所述用户推荐与所述超像素轮廓有最大重叠区域的所述路线，所述超像素轮廓由所述交互式分割模块生成。本专利技术公开的实施例另一方面公开了拥有计算机程序的非瞬时性计算机可读介质，当处理器执行时，执行推荐基于图像的路线的方法。所述方法包括：从用户中获得查询图像；执行交互式分割处理以确定所述查询图像中感兴趣对象的至少一个轮廓；确定在地图图像上与所述感兴趣对象的至少一个轮廓有最大重叠区域的路线；生成输出图像，所述输出图像包括所述感兴趣对象和与所述感兴趣对象的所述轮廓有最大重叠区域的所述路线；以及将所述输出图像推荐给所述用户，并在社交网络平台上共享所述输出图像。本领域技术人员根据本专利技术公开的说明书、权利要求书、以及说明书附图的指引，能够理解本专利技术公开的其他的方面。附图说明为了便于理解本专利技术，下面将参照相关附图对本专利技术进行更全面的描述。以下附图仅仅用于解释本专利技术，并不限制本专利技术的范围。图1为本专利技术具体实施方式的工作环境示意图；图2为本专利技术具体实施方式的计算系统框图；图3为本专利技术具体实施方式的超像素条件随机场的代表性因子示意图条件随机场；图4为本专利技术具体实施方式的用于推荐和共享定制多媒体路线规划方法流程图；图5为本专利技术具体实施方式的用于推荐和共享定制多媒体路线规划的系统原理图；图6为本专利技术具体实施方式的另一用于推荐与共享定制多媒体路线的系统原理图；图7为本专利技术具体实施方式的交互式分割模块的原理图；图8为本专利技术具体实施方式的另一交互式分割模块的原理图。具体实施方式为了使得本领域技术人员更好地理解本专利技术，下面将结合本专利技术实施例的附图，对本专利技术实施例的技术方案进行清楚、完整地描述。除非另外指出，在各附图中相同的参考数字表示相同的部件。应当理解的是，这里所述的实施例只用于解释本专利技术，但不限于本专利技术。本领域普通技术人员在无需创造性劳动的前提下获得所有基于本专利技术的其他实施例，都属于本专利技术保护的范围。本专利技术提供一种通过条件随机场方法来建立语义图像分割的个性化知识库的方法和系统。具体地，本专利技术公开的所述方法和系统可以用于推荐和共享基于图像的定制路线。在一些实施例中，所述方法和系统可包括有指定对象边界框的查询图像，用户地理位置，地图比例和预期路线长度，和/或其他信息。在给定任何一张查询图像的情况下，交互式分割可确保所述查询图像中感兴趣对象的精准分割。基于匹配算法，在地图上搜索路线，以生成所述感兴趣对象的轮廓。当曲线轮廓接近所述预期路线时，根据轮廓变化的稳定性，可用度量来估算其轮廓变化的集合，从而自然地得出候选路线。此外，可以通过收缩最小化过程最小化每一候选路线和用户指定轮廓之间的失真误差，据此，渲染输出后，完成作为给所述客户最佳推荐的匹配路线。图1为本专利技术具体实施方式的工作环境100。如图1所示，所述工作环境100可包括：终端102、服务器106、用户108和网络110。所述终端102(同时也可以叫做终端设备)指的是任何合适的具有计算功能的用户终端，如个人电脑(PC)，电脑工作站，电脑服务器，掌上计算设备(平板电脑)，智能手机或移动电话，或任何其他用户端计算设备。在一些实施例中，所述终端102可以作为移动终端设备，例如智能手机，平板电脑，或者移动电话等。所述终端102可以在任何适当类型的运算平台上使用。任何用户108都可使用所述终端102连接所述网络110，并且向所述服务器106发出请求。所述每一用户108可以使用至少一个所述终端102本文档来自技高网...

【技术保护点】
1.一种建立语义图像分割的个性化知识库的方法，其特征在于，包括以下步骤：从用户中获得查询图像；执行交互式分割处理以确定所述查询图像中感兴趣对象的至少一个轮廓；确定在地图图像上与所述感兴趣对象的至少一个轮廓有最大重叠区域的路线；生成输出图像，所述输出图像包括所述感兴趣对象和与所述感兴趣对象的至少一个轮廓有最大重叠区域的所述路线；将所述输出图像推荐给所述用户，并在社交网络平台上共享所述输出图像。

【技术特征摘要】
2017.01.06 US 15/400,2331.一种建立语义图像分割的个性化知识库的方法，其特征在于，包括以下步骤：从用户中获得查询图像；执行交互式分割处理以确定所述查询图像中感兴趣对象的至少一个轮廓；确定在地图图像上与所述感兴趣对象的至少一个轮廓有最大重叠区域的路线；生成输出图像，所述输出图像包括所述感兴趣对象和与所述感兴趣对象的至少一个轮廓有最大重叠区域的所述路线；将所述输出图像推荐给所述用户，并在社交网络平台上共享所述输出图像。2.根据权利要求1所述的建立语义图像分割的个性化知识库的方法，其特征在于，所述执行交互式分割处理以确定所述查询图像中感兴趣对象的至少一个轮廓，还包括：基于个性化知识库，通过全连接卷积网络和用来推理隐藏单元条件随机场的卷积神经网络信息估计器以连接所述查询图像；持续性反向传播带有更新的地面实况的误差导数，所述更新的地面实况由未知图像的不满意分割结果所触发；以及优化语义分割并学习超像素筛选标准，以构建所述个性化知识库。3.根据权利要求2所述的建立语义图像分割的个性化知识库的方法，其特征在于：给定一组观测值x和参数θ，分割标签s的条件可能性公式建模如下：其中所述参数θ最大化估计为:且边缘分布的计算如下：其中，Zn是一个正规化子:4.一种建立语义图像分割的个性化知识库的系统，其特征在于，包括：交互式分割模块，用于从用户中获得查询图像，并执行交互式分割处理以确定所述查询图像中感兴趣对象的至少一个轮廓；路线搜索模块，用于确定在地图图像上与所述感兴趣对象的至少一个轮廓有最大重叠区域的路线；以及路线推荐模块，用于生成输出图像，所述输出图像包括所述感兴趣对象和与所述感兴趣对象的至少一个轮廓有最大重叠区域的所述路线；及将所述输出图像推荐给所述用户，并在社交网络平台上共享所述输出图像。5.根据权利要求4所述的建立语义图像分割的个性化知识库的系统，其特征在于，所述交互式分割模块包括：图像筛选单元，用于允许所述用户筛选所述查询图像；图像编辑单元，用于允许所述用户通过提供前景与背景限制，编辑与所述查询图像重叠的超像素轮廓；图像处理单元，用于通过所述语义图像分割，处理所述查询图像，以生成至少一...

【专利技术属性】
技术研发人员：廖鑫鹏，任小波，汪灏泓，
申请(专利权)人：TCL集团股份有限公司，
类型：发明
国别省市：广东,44