【技术实现步骤摘要】
用于高效数字对象分割的深度突出内容神经网络
技术介绍
近年来,已经看到在客户端计算设备上对数字视觉媒体的使用急剧增加。实际上,个体和企业越来越多地将膝上型计算机、平板计算机、智能手机、手持设备和其他移动技术用于涉及数字视觉媒体的各种任务。例如,个体和企业越来越多地利用智能手机来捕获、查看和修改数字视觉媒体,诸如肖像图像、“自拍”或数字视频。尽管传统的数字视觉媒体系统允许用户捕获和修改数字视觉媒体,但是它们也具有许多显著的缺点。例如,传统的数字视觉媒体系统可以利用相机来捕获数字视觉媒体,但是不能容易、快速或高效地从数字视觉媒体中描绘的其他像素中选择或分离个体对象。一些传统的数字视觉媒体系统通过手动跟踪个体周围的边界线来辅助用户分离在数字图像中描绘的对象。然而,依赖于手动跟踪的传统系统在准确性、速度和效率方面具有显著的缺点。实际上,应用这种传统系统通常需要大量时间并且仍然导致不准确的对象分割。其他传统的数字图像编辑系统通过应用机器学习分类模型来选择数字图像中的对象。具体地,传统的数字编辑系统可以应用分类模型,该分类模型将在数字图像中描绘的对象分类为多个对象类别中的一个,并且然后基于所确定的对象类别来对对象进行分割。不幸的是,这些传统工具也有许多缺点。作为初始问题,利用分类模型的传统系统是严格的并且在应用性方面受到限制。例如,利用分类模型的传统系统通常利用有限数量(例如,20或80)的分类类别。这些有限的数目远远不足以涵盖个体或企业在数字视觉媒体中经常遇到的各种对象。另外,利用分类模型的传统数字视觉媒体系统具有高计算性能要求,其使得它们不可能在移动设备上操作。实际上, ...
【技术保护点】
1.一种非暂态计算机可读介质,在其上存储有指令,所述指令在由至少一个处理器执行时,使得计算机系统:由移动设备接收描绘一个或多个突出对象的数字图像;访问所述移动设备上的突出内容神经网络,其中所述突出内容神经网络通过以下项而被训练:利用所述突出内容神经网络来预测训练数字图像的前景像素,并将所述训练数字图像的真相前景像素与所述训练数字图像的经预测的所述前景像素进行比较;通过将所述突出内容神经网络应用于所述数字图像,由所述移动设备标识在所述数字图像中被描绘的所述一个或多个突出对象;以及基于在所述数字图像中被描绘的、经标识的所述一个或多个突出对象来生成经修改的数字图像。
【技术特征摘要】
2017.10.31 US 15/799,3951.一种非暂态计算机可读介质,在其上存储有指令,所述指令在由至少一个处理器执行时,使得计算机系统:由移动设备接收描绘一个或多个突出对象的数字图像;访问所述移动设备上的突出内容神经网络,其中所述突出内容神经网络通过以下项而被训练:利用所述突出内容神经网络来预测训练数字图像的前景像素,并将所述训练数字图像的真相前景像素与所述训练数字图像的经预测的所述前景像素进行比较;通过将所述突出内容神经网络应用于所述数字图像,由所述移动设备标识在所述数字图像中被描绘的所述一个或多个突出对象;以及基于在所述数字图像中被描绘的、经标识的所述一个或多个突出对象来生成经修改的数字图像。2.根据权利要求1所述的非暂态计算机可读介质,其中所述数字图像是实时数字视觉媒体馈送的一部分。3.根据权利要求2所述的非暂态计算机可读介质,还包括指令,所述指令在由至少一个处理器执行时,使得所述计算机系统:访问所述移动设备上的第二突出内容神经网络,其中所述第二突出内容神经网络通过以下项而被训练:利用所述第二突出内容神经网络来预测第二训练数字图像的前景像素,并且将所述第二训练数字图像的真相前景像素与所述第二训练数字图像的经预测的所述前景像素进行比较;将所述第二突出内容神经网络应用于所述实时数字视觉媒体馈送,以标识在所述实时数字视觉媒体馈送中被描绘的所述一个或多个突出对象;以及基于在所述实时数字视觉媒体馈送中被描绘的、经标识的所述一个或多个突出对象来生成经修改的数字视觉媒体馈送。4.根据权利要求3所述的非暂态计算机可读介质,还包括指令,所述指令在由所述至少一个处理器执行时,使得所述计算机系统通过以下项来生成所述经修改的数字视觉媒体馈送:对所述实时数字视觉媒体馈送的背景像素和所述实时数字视觉媒体馈送中被描绘的、经标识的所述一个或多个突出对象进行分离;以及修改所述实时数字视觉媒体馈送的所述背景像素或者在所述实时数字视觉媒体馈送中被描绘的、经标识的所述一个或多个突出对象中的至少一个。5.根据权利要求3所述的非暂态计算机可读介质,其中所述第二突出内容神经网络具有比所述突出内容神经网络更快的处理速度。6.根据权利要求4所述的非态计算机可读介质,还包括指令,所述指令在由至少一个处理器执行时使得所述计算机系统:从所述实时数字视觉媒体馈送中捕获所述数字图像;将所述数字图像存储在所述移动设备上;以及通过将所述突出内容神经网络应用于来自所述实时数字视觉媒体馈送的、被存储在所述移动设备上的所述数字图像,来标识在所述数字图像中被描绘的所述一个或多个突出对象。7.根据权利要求1所述的非暂态计算机可读介质,还包括指令,所述指令在由所述至少一个处理器执行时使得所述计算机系统通过以下项生成所述经修改的数字图像:将所述数字图像的背景像素与所述数字图像中被描绘的、经标识的所述一个或多个突出对象进行分离。8.根据权利要求7所述的非暂态计算机可读介质,还包括指令,所述指令在由所述至少一个处理器执行时使得所述计算机系统:通过修改所述数字图像的所述背景像素或者经标识的所述一个或多个突出对象中的至少一个来生成所述经修改的数字图像。9.一种用于训练神经网络以标识数字视觉媒体内的对象的系统,包括:至少一个处理器;以及至少一个非暂态计算机可读存储介质,在其上存储有指令,所述指令在由所述至少一个处理器执行时,使得所述系统:通过利用所述第一突出内容神经网络来生成第一训练数字图像的经预测的前景像素、并且将所述第一训练数字图像的真相前景像素与所述第一训练数字图像的所述经预测的前景像素进行比较,来训练第一突出内容神经网络;通过利用所述第二突出内容神经网络来生...
【专利技术属性】
技术研发人员:卢昕,林哲,沈晓辉,杨济美,张健明,JC·J·陈,刘晨曦,
申请(专利权)人:奥多比公司,
类型:发明
国别省市:美国,US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。