使用马尔可夫随机场优化来产生分割图像制造技术

一种产生场景的分割图像的计算机实现的方法包括提供场景的多个图像，每个图像对应于物理信号的相应采集，所述多个图像包括对应于不同物理信号的至少两个图像，以及通过确定使在马尔可夫随机场(MRF)上定义的能量最小化的标签的分布，基于所述多个图像来生成分割图像。这改善了计算机视觉领域。

【技术实现步骤摘要】
使用马尔可夫随机场优化来产生分割图像
本专利技术涉及计算机视觉领域，并且更具体地涉及与基于物理信号数据的图像采集来生成场景的分割图像有关的方法、系统和程序。
技术介绍
市场上提供了用于对象的设计、工程和制造的许多系统和程序。CAD是计算机辅助设计的首字母缩略词，例如它涉及用于设计对象的软件解决方案。CAE是计算机辅助工程的缩写，例如它涉及用于模拟未来产品的物理行为的软件解决方案。CAM是计算机辅助制造的首字母缩略词，例如它涉及用于定义制造过程和操作的软件解决方案。在这种计算机辅助设计系统中，图形用户界面在技术效率方面起着重要的作用。这些技术可能嵌入在产品生命周期管理(PLM)系统中。PLM指的是一种商业战略，其帮助企业共享产品数据、应用公共流程，并利用企业知识进行跨越扩展企业概念从概念到产品生命尽头的产品开发。达索系统(DassaultSystèmes)(以CATIA、ENOVIA和DELMIA为商标)提供的PLM解决方案提供了组织产品工程知识的工程中心、管理制造工程知识的制造中心以及使企业集成和连接到工程和制造中心的企业中心。整个系统提供了开放的对象模型，其连接产品、流程和资源以实现动态的、基于知识的产品创建和决策支持，这驱动优化的产品定义、制造准备、生产和服务。三维(3D)形状可以表示为基于表面的和体积式的。在基于表面的表示中，3D几何结构由封闭或开放表面定义。曲面可以由顶点为三维点的三角形组成。基于表面的表示在CAD/CAM和计算机信息中是常见的。在体积表示中，3D形状在3D空间上由存储在体素网格中的值或者连续地或者分段地定义的函数f(x,y,z)定义。然后将3D几何结构进一步定义为满足函数的某个值的空间区域。通常，如果f(x,y,z)是标量值，则形状被定义为f(x,y,z)<s(orf(x,y,z)>s)，其中s是适当的阈值。体积表示法在医学应用中是常见的，特别是计算机断层摄影术中。作为特殊情况，该区域可以被定义为在下限和上限之间的窄带，在这种情况下，对于以s为中心的宽度为2w的窄带，定义可以是s-w<f(x,y,z)<s+w。图像分割使图像的区域分开，所述图像例如二维(2D)图像或诸如3D虚拟对象的3D图像。例如，在室内拍摄的对象的2D图像中，图像分割可以包括识别表示地板的图像部分，并将该部分与图像的其他特征(例如家具、墙壁等)隔离。在表示人的3D虚拟对象中，分割可包括将衣服与裸露的皮肤区分开，或将手臂与躯干区分开。分割可以用在许多图像分析任务中。例如，对于交通控制系统，耦合到路边相机的计算机可以采用分割来识别和计数经过的车辆。类似地，在监控系统中，图像分割可以识别图像中的人物形象并定位关节和肢体，这可以便于识别入侵者。例如，当重建包括识别对象的语义上重要的部分时，根据图像来重建3D形状也可以采用分割。在大多数现有解决方案中，对包含颜色(例如，红-绿-蓝(RGB))数据以及可选的深度数据的图像数据执行分割。深度数据表示对于每个像素，与传感器的距离。深度数据可以使用可用的装置捕获，例如MicrosoftAsusXtionTM或GoogleTangoTM。在这种上下文中，仍然需要改进计算机视觉，并且特别是图像分割。
技术实现思路
因此提供了一种产生场景的分割图像的计算机实现的方法。分割的图像包括像素，每个像素均分配给片段的集合中的相应一个。该方法包括提供场景的多个图像。每个图像对应于物理信号的相应采集。多个图像包括对应于不同物理信号的至少两个图像。该方法还包括基于多个图像来生成分割图像。对分割图像的生成是通过确定使马尔可夫随机场(MRF)图上定义的能量最小化的标签的分布来执行的。MRF图包含节点和边。每个节点对应于相应的像素并且与相应的标签相关联。每个边对应于具有低于预定阈值的距离的相应像素对。这些标签对应于像素到片段的集合中相应的一个的所有不同分配。能量包括平滑项，该平滑项对将与边对应的像素对到不同的片段的分配进行惩罚。对于任何给定对的惩罚随着给定对的像素之间的距离的增加而减小。对于给定对的惩罚随着与给定对的像素对应的物理信号矢量之间的差异增加而进一步减小。该方法可以包括以下的任何一个或任何组合：-该方法构成场景中的计算机视觉的方法，该场景包括一个或多个透明对象和/或一个或多个反射对象；-所述多个图像包括红外图像以及RGB图像和深度图像中的一者或两者；-红外图像是热图像；-场景是建筑物内部场景或建筑外部场景；-场景包括至少一个生物实体；-所述方法包括迭代地提供多个图像并生成场景的分割图像以生成场景的多个分割图像，所述方法还包括基于多个分割图像的对应片段来重建场景的3D模型；-执行所述场景的3D模型的重建所基于的所述多个分割图像的对应片段全部对应于非生物实体；-通过提供场景的多个视频来执行迭代地提供多个图像，每个视频对应于物理信号的相应视频采集；-利用其上安装有多个传感器的相机来执行每个视频采集，每个传感器对应于相应的物理信号；-相机在场景中移动并同时执行相应的物理信号中的每一个多个视频采集；-记为S的平滑项为的类型，其中，m和n是像素索引，C是马尔可夫随机场图的边的集合，lm是与像素m关联的标签，ln是与像素n关联的标签，是指示函数，当标记lm和ln不相等时，等于1，否则等于0；dist(m,n)-1是像素m与像素n之间的距离的倒数，xm是与像素m对应的相应的物理信号矢量，而xn是与像素n对应的物理信号矢量，‖xm-xn‖是物理信号矢量xm与物理信号矢量xn之间的距离，而pen()是递减函数。-pen()的类型是exp(-β‖xm-xn‖)，其中β是正数；-能量进一步包括数据项，该数据项惩罚每个像素到任何片段的分配，所述惩罚针对每个像素基于相应的概率分布，所述概率分布针对所述片段的集合中的每一个提供所述像素与其它像素无关地属于所述片段的相应的概率，随着相应于给定像素的概率分布所提供的概率减小，针对任何给定像素的惩罚增加，基于像素的聚类来学习概率分布；-数据项的类型为U＝∑n-logP(ln)，其中n是像素索引，ln是像素n的标签，而P(ln)是针对与标签ln相对应的片段由相应于像素n的概率分布所提供的概率；-该方法经由谱聚类，然后对片段进行迭代融合来聚类，迭代结束时达到的片段数量对应于标签；-概率分布形成高斯混合；-通过期望最大化算法来学习高斯混合；和/或-能量是E(l)＝U(l)+λS(l)的类型，其中λ是一个重要因素，而l是标签的分布。进一步提供了一种包括用于执行该方法的指令的计算机程序。进一步提供了一种其上记录有计算机程序的计算机可读存储介质。进一步提供了一种包括耦合到存储器的处理器的系统，所述存储器上记录有所述计算机程序。在示例中，该系统可以包括以下的任何一个或任何组合：-所述系统还包括图形用户界面，所述处理器耦合到所述图形用户界面；-图形用户界面被配置用于显示场景的分割图像和/或场景的3D重建的表示；-该系统还包括一个或多个传感器，其被配置用于采集场景的多个图像；-每个传感器被配置用于对场景的多个图像中的相应一个图像所对应的物理信号的相应采集；-所述一个或多个传感器包括材料性质传感器以及RGB传感器和深度传感器中的一者或两本文档来自技高网...

【技术保护点】
1.一种产生场景的分割图像的计算机实现的方法，所述分割图像包括像素，所述像素的每一个被分配给片段的集合中的相应一个片段，所述方法包括：提供所述场景的多个图像，每个图像对应于物理信号的相应采集，所述多个图像包括对应于不同物理信号的至少两个图像；以及通过确定使包括节点和边的马尔可夫随机场(MRF)图上定义的能量最小化的标签的分布来基于所述多个图像生成所述分割图像，每个节点对应于相应像素并且与相应标签相关联，每个边对应于具有低于预定阈值的距离的相应像素对，所述标签对应于像素到所述片段的集合中的相应一个片段的所有不同分配，所述能量包括平滑项，所述平滑项惩罚与边对应的像素对到不同片段的分配，针对任何给定对的所述惩罚随着所述给定对的像素之间的距离的增加而减小，针对所述给定对的所述惩罚进一步随着与所述给定对的像素对应的物理信号矢量之间的差异增加而减小。

【技术特征摘要】
2016.12.30 EP 16306861.2;2016.12.30 EP 16306860.41.一种产生场景的分割图像的计算机实现的方法，所述分割图像包括像素，所述像素的每一个被分配给片段的集合中的相应一个片段，所述方法包括：提供所述场景的多个图像，每个图像对应于物理信号的相应采集，所述多个图像包括对应于不同物理信号的至少两个图像；以及通过确定使包括节点和边的马尔可夫随机场(MRF)图上定义的能量最小化的标签的分布来基于所述多个图像生成所述分割图像，每个节点对应于相应像素并且与相应标签相关联，每个边对应于具有低于预定阈值的距离的相应像素对，所述标签对应于像素到所述片段的集合中的相应一个片段的所有不同分配，所述能量包括平滑项，所述平滑项惩罚与边对应的像素对到不同片段的分配，针对任何给定对的所述惩罚随着所述给定对的像素之间的距离的增加而减小，针对所述给定对的所述惩罚进一步随着与所述给定对的像素对应的物理信号矢量之间的差异增加而减小。2.如权利要求1所述的方法，其中，标记为S的平滑项具有以下类型其中：m和n是像素索引，C是所述马尔可夫随机场图的边的集合，lm是与像素m关联的标签，而ln是与像素n关联的标签，是指示函数，所述指示函数当标签lm和ln不同时等于1，而在其它情况下等于0，dist(m,n)-1是像素m和像素n之间的距离的倒数，xm是对应于像素m的相应物理信号矢量，而xn是对应于像素n的相应物理信号矢量，‖xm-xn‖是物理信号矢量xm与物...

【专利技术属性】
技术研发人员：E·梅尔，
申请(专利权)人：达索系统公司，
类型：发明
国别省市：法国,FR