一种用于基于源图像的选定区域来修改目标图像的选定区域的方法。在一个实施例中，从来自网络相机的视频图像中检测面部特征。选择所述面部特征中的一个或一个以上面部特征并将其叠加在所述目标图像上。使用重新调整尺寸和α混合技术来将源部分混合到目标图像中。举例来说，这可产生娱乐效果，例如移动蒙娜丽莎的图像的眼睛和嘴唇。
【技术实现步骤摘要】
本专利技术涉及实时修改图像，特定来说涉及通过移动嘴唇和眼睛来改变人的图像的特征。
技术介绍
用于修改图像(例如人的面部)的软件已存在一定的时间。第5,825,941号美国专利是允许病人在建议的整形手术之前看见其效果的软件的实例。其它软件允许用户(例如)通过改变面部的特征或将两个面部变形合在一起来修改可保存和打印的静态图片。第20050026685号美国公开申请案展示了用于变形视频游戏人物的系统。第20040201666号美国公开申请案展示了使用用户语音或其它输入来修改虚拟人物。有多种应用旨在修改与即时消息传递一起使用的化身(avatar)。这些应用允许用户将代表用户的化身图像个性化。举例来说，第20030043153号美国公开申请案展示了根据网络相机视频馈送来确定面部表情并将那些表情映射到化身。将动画向量映射到目标混合向量。Jay Leno完成了一个程式，其中他的嘴在一位名人的图像上移动。这是通过将Jay在说话的视频与所述图像对准并将两者混合以将他的嘴唇叠加到图像上来完成的。Jay坐在相机前方的适当位置来实现此过程。第6,580,811号美国专利描述检测现场视频中的面部特征并使用那些面部特征来使化身活动。活动的面部图像可基于人的真实照片模型、卡通人物或与用户完全无关的面部。如12-13列中所述，使用许多常用技术中的一种来使化身活动(1)关键帧和几何插值，(2)直接参数化，(3)假肌肉模型，(4)基于肌肉的模型，(5)2D和3D变形和(6)控制点和有限元模型。Seiko Epson的第5,850,463号专利描述通过变化坐标值以略微移动一个或一个以上特征区域中的特定点(例如，眼睛、鼻子、眉毛或嘴)，来改变合成面部图像的表情。可通过界定描述面部图像中的哪些点移动且在什么方向上移动的表情数据(见17列，20-33行)来改变表情。Taarna Studios的第6,163,322号专利描述一种使用基本姿势的数据库来使合成身体部分活动的方法。
技术实现思路
本专利技术提供一种基于源图像的选定区域来修改目标图像的选定区域的方法。在一个实施例中，在来自网络相机的视频图像中检测面部特征。选择所述面部特征中的一个或一个以上面部特征并将其叠加在目标图像上。使用重新调整尺寸和α混合技术来将源部分混合到目标图像中。举例来说，这可产生娱乐效果，例如移动蒙娜丽莎的图像的眼睛和嘴唇。在一个实施例中，通过相机驱动程序将来自网络相机的视频馈送(例如USB视频馈送)提供到特征识别软件。定位视频中人的图像(源图像)，且接着定位选定的特征。特征识别软件还定位目标图像中的特征。将两个图像的特征的位置提供到单独的特征替换软件模块。特征替换软件模块执行重新调整尺寸和α混合，接着通过将对应于特征的一组像素从源图像替代到目标图像中来执行特征替换。附图说明图1是说明并入有本专利技术的特征替换部件的系统的实施例中软件的系统层和用户层的图。图2是并入有本专利技术的特征替换部件的系统的实施例的方框图。图3A和3B是本专利技术一个实施例中的悬停对话框和下拉菜单的图。图4是用于选择特征替换的用户界面屏幕的实施例的图。图5是并入有本专利技术的面部特征替换部件的即时消息发送器应用程序的实施例的屏幕快照。图6A-6D是说明根据本专利技术实施例的对蒙娜丽莎的眼睛和嘴的修改的屏幕快照。图7是本专利技术实施例的流程图。具体实施例方式系统图1说明本专利技术一个实施例的操作。将传入的视频100提供到视频管102，其由本专利技术的特征替换引擎104接收。可将视频管直接提供到应用程序106，如箭头108指示，或可提供到特征替换引擎。特征替换引擎将经修改的视频管提供到应用程序，如箭头110指示。在一个实施例中，经修改的视频管110实际上是静止图像(又称为“背景图像”或“目标图像”)，其中某些特征是移动的，例如眼睛和嘴。举例来说，可提供蒙娜丽莎的背景图像。接着可用从USB网络相机(所述网络相机将指向任意说话者的面部)获得的视频流(又称为“前景视频”或“源视频”)中自动检索出来的蒙娜丽莎某些面部特征(例如眼睛和嘴)的移动对应部分来替换这些面部特征。在另一实施例中，经修改的视频管110实际上是含有从任意源传入的一个或多个面部的视频(又称为“背景视频”或“目标视频”)，其中所述背景视频上的某些面部特征由从不同源(例如，USB网络相机)传入的视频(也含有面部)的对应部分(也是移动的)替换。后一种视频又称为“前景视频”。接着自动地局部化背景和前景视频中的面部特征。一旦完成这一步骤，就用来自前景视频的面部特征替换背景视频中的面部特征。举例来说，用户正观看关于James Bond的DVD电影。用户将网络相机指向其面部。用户可自由移动(当特征跟踪引擎跟踪视场中的特征时，不要求保持静止在某一位置)。在DVD视频帧上局部化的James Bond的面部特征由用户的面部特征替换(后者是从网络相机视频流中自动检索出来的)。将用户的面部特征适当改变尺寸、旋转和α混合以提供真实和可信的结果。在另一实施例中，可用来自前景视频的面部替换来自背景图像或背景视频的整个面部。任何使用图像输入的应用程序均可使用经修改的视频管。这包括即时消息传递应用程序(MSN Messenger、Yahoo Messenger、AOL messenger等)以及视频捕获应用程序(当(例如)艺术家正将视频捕获到磁盘上时)。这意味着可在将视频捕获到磁盘上并存储之前或在将其发送到通信通道另一侧的对话者之前应用特征替换。这是因为特征替换引擎集成在软件的系统级部分中，这使其对于位于系统层以上在用户层处的使用视频流的应用程序来说是透明的。由此，本专利技术是一般性的，即，其可与任何视频应用程序共存且根据快速助手(quick assistant)上的设置来修改其输入。图2是并入有本专利技术的特征替换的系统实施例的方框图。网络相机10通过USB总线12连接到计算机14。USB总线12充当从相机到计算机的视频馈送。或者，可提供无线USB馈送，或可使用其它任何总线或接口来提供视频。另外，除网络相机以外还可使用相机。计算机14包括相机驱动程序16，其接收现场视频并将其提供到特征识别软件模块18。特征识别模块18可为任何从视频图像中提取关于面部特征的信息的软件，例如NevenVision(在California的Santa Monica有办事处的机器视觉技术公司)出品的软件。将检测到的关于面部特征的信息提供到特征替换模块20。特征替换模块响应于用户输入来选择面部特征、确定特征替换的类型并应用特征替换。用户输入可通过任何外围设备来提供，例如具有相关的键盘驱动程序26和鼠标驱动程序28的键盘22或鼠标24。在应用特征替换之后，将视频馈送或图像提供到应用程序软件30。所述应用程序软件可为即时消息发送器应用程序、视频会议应用程序或其它任何使用视频或图像的应用程序。在一个实施例中，由使用特征识别和特征替换软件导致的延迟小于一个视频帧。特征替换模块含有尺寸改变模块和α混合模块。尺寸改变模块将用相机捕获的用户特征(源图像)的尺寸调整为目标图像中将被替换的相应特征的尺寸。接着对图像进行α混合以将源图像块边缘附近像素的颜色调整成目标图像上将被替换的特征周围的像素。此α混合技术对于所属领域的技术人员来说是众所周知的。另外本文档来自技高网...
【技术保护点】
一种用于修改图像的方法，其包含：接收人的面部的源图像；从所述源图像中检测至少第一面部特征；从所述源图像中提取所述第一面部特征；将所述第一面部特征应用于目标图像的一部分，以产生经修改的目标图像；和将所述经修改的目标图像提供到应用程序。
【技术特征摘要】
...
【专利技术属性】
技术研发人员：保罗麦卡尔平，拉维普纳蒂，肯埃尔贝斯，
申请(专利权)人：罗技欧洲公司，
类型：发明
国别省市：CH[瑞士]
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。