允许在图像记录或显示之前进行场景相关图像修改的即时场景识别制造技术

本发明专利技术提供一种用于处理时间图像序列的装置，所述装置适于从存储器中检索来自所述时间图像序列的图像，对所述检索到的图像执行即时场景识别，并且基于所述场景识别的结果，对所述图像执行实时动作。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种用于处理时间图像序列的装置、一种成像系统、一种图像显示系统、以及一种用于处理时间图像序列的方法。
技术介绍
过去十年里，发展了数字图像的捕捉、处理、显示和滤波。目前，大多数装置允许在高分辨率下捕捉数字图像，在高帧率下捕捉和显示高清数字视频。大多数装置包括图像捕捉或存储，并且包括允许预处理图像的图像处理器，所述预处理比如执行噪声减少、色彩调节、白平衡、图象编码和解码以及其它基本预处理。实际上，可以在正进行图像记录时或在正进行图像显示时对图像完成此图像处理。举例来说，US2007/297641(琳达·克里德尔(Linda Criddle)等人)描述了使可视内容模糊不清的图像滤波。所述内容已经预先记录并存储。为了应用滤波，通过服务器而不是通过显示器自身执行内容的查阅和分析。因此，关于滤波的正确性，显示器依赖于服务器以及与服务器的通信。摄影滤波器修改所记录的图像。有时它们用于仅对图像进行细微的改变；其它时候图像将根本离不开它们。色彩滤波器影响不同色彩的相对亮度；使用不同滤波器可以将红色唇膏显示为从几乎白色到几乎黑色的任何色彩。其它改变图像的色彩平衡，使得白炽灯照明下的相片展示如它们被感知的色彩，而不是微有淡红色。存在这样的滤波器，其以所要方式扭曲图像，漫射原本清晰的图像、添加闪光效果、模糊或掩蔽图像等。如今随着比如Instagram、Camera+、EyeEm、Hipstamatic、Aviary等流行应用程序提供摄影滤波器，摄影滤波器已为人们众所周知。这些摄影滤波器典型地局部或全局调节图像的强度、色调、饱和度、对比度、每红色、绿色或蓝色通道的色彩曲线；应用色彩查找表；叠加一或多个掩蔽过滤器，例如渐晕光栏(较暗边缘和角落)；裁剪图像以调节宽度和高度；对图像添加边框从而产生例如宝丽来(Polaroid)效果；及其组合。最好针对不同类型的图像应用不同的滤波器以便获得美观的图片；举例来说，如在http://mashable.com/2012/07/19/instagram-filters/所公布的。由例如Instagram应用程序提供的摄影滤波器的熟知实例为以下滤波器：用于人的特写拍摄的Rise滤波器；用于建筑物的户外照片的Hudson滤波器；用于自然户外拍摄的Sierra滤波器；用于食物拍摄的Lo-Fi滤波器；用于夏季活动、夜晚外出、烧烤、野餐的照片的Sutro滤波器；当图像具有浓重阴影情况下使用的Brannan滤波器；当光影在图像中突出的情况下使用的Inkwell滤波器；当图像具有鲜艳色彩(彩虹)情况下使用的Hefe滤波器，等等。一旦用户已经捕捉了图像，摄影滤波器操作或其组合就可以交互模式应用于图像，其中用户手动地选择产生最佳美学效果的滤波器。举例来说，从欧洲专利申请EP1695548和US2006/0023077(本杰明·N·奥尔顿0023077Benjamin N.Alton)等人)中能了解对捕捉到的照片的编辑。
技术实现思路
本专利技术的一个方面提供数字图像捕捉和/或显示的新的和/或更增强的使用。本专利技术进一步或以组合方式允许即时防止非所需类型的图像的记录和/或显示，例如显示酷刑或性交、儿童色情内容、机密军事对象的场景，并且本专利技术允许捕捉和/或美观地显示图片。本专利技术提供一种用于处理时间图像序列的装置，所述装置适于从存储器中检索来自所述时间图像序列的图像，对所述检索到的图像执行场景识别，并且基于所述场景识别的结果，在记录图像之前对所述图像执行动作。在一个实施例中，所述动作包括图像修改，包括调适所述图像的至少部分。在一个实施例中，所述动作包括将所述图像修改成经修改图像。在一个实施例中，所述动作包括阻止所述图像的存储。在一个实施例中，所述动作包括阻止所述图像的显示。在一个实施例中，所述动作包括从所述存储器擦除所述图像。在一个实施例中，所述动作包括对所述图像加密。这些动作可以组合。每一动作可以具有其优点或应用或用途。通过了解场景，包含识别场景内的对象，还包含识别场景中的事件，可以防止显示或甚至记录非所需的场景和/或对象和/或事件。例如，配备有本专利技术的显示装置(例如屏幕、监视器等)将不能够展示儿童色情内容，即使其可能接收了含有这些图像的输入信号。同样地，指向儿童色情场景的相机装置(例如数码相机)将不能够记录所述图像。此外，其允许图像改善和/或滤波的自动化。在本申请中，图像是指数字图像。通常，此类图像由像素组成，每一像素具有表示一定量的光的数字值。图像可以由图片或照片表示。其可以是连续图像集合的一部分。在本申请中，当正捕捉图像时，尚未记录图像。仅在捕捉并处理图像之后记录图像。通过调适机器学习方法和软件编译技术，本专利技术允许将场景识别嵌入包括软件代码部分的计算机程序内，所述软件代码部分能够在数据处理器上运行。因此所述处理器可以拟合例如但不限于相机、(智能)电话和数字平板电脑等便携式装置的尺寸。通过调谐场景识别的性能，可以比人眼能够察觉更快地捕捉和处理图像。因此，可以实时地调适和阻止经处理图像。根据本专利技术的应用包括基于图像内容的了解的图像自动增强和图像滤波。本专利技术的另一优点是，通过了解场景，能让用户减轻当用户不得不手动选择摄影滤波器来产生美观上改善的图像或视频录制时的负担。场景识别包括不同类型的图像或视频的识别。这使用计算机视觉和/或机器学习算法成为可能。已知的算法例如：-计算图像的唯一数字签名且接着匹配所述签名与其它照片的签名[对于具体实施例，见2009年12月的微软PhotoDNA资料单，或西奥(Heo)等人在2012年计算机视觉图案识别会议中的“球哈希算法(Spherical hashing)”]；-鉴别性特征挖掘[对于具体实施例，见Bangpeng Yao、Khoshla、Li Fei-Fie在2011年计算机视觉图案识别会议中的“细粒度图像分类的组合随机化和鉴别(Combining randomization and discrimination for fine-grained image categorisation)”]，或基于轮廓的形状描述符[对于具体实施例，见Hu、Jia、Ling、Huang的“用于快速植物叶片识别的多刻度距离矩阵(Multiscale Distance Matrix for Fast Plant Leaf Recognition)”，IEEE图像处理汇刊(IEEE Trans.on Image Processing(T-IP))，21(11)：4667-4672，2012年]，-深度Fisher网络[对于具体实施例，见西蒙尼扬(Simonyan)、维达尔第(Vedaldi)、西塞曼(Zisserman)在2013年神经信息处理系统进展大会中的“用于大型图像分类的Deep Fisher网络(Deep Fisher Networks for Large-Scale Image Classification)”]，-词袋模型/支持向量机[对于具体实施例，见斯诺克(Snoek)等人在2012年美国盖瑟斯堡的第10次TRECVID研讨会会议记录中的“2012MediaMill TRECVID语义视频搜索引擎(The MediaMill T本文档来自技高网...

【技术保护点】
一种用于处理时间图像序列的装置，所述装置适于：从存储器中检索来自所述时间图像序列的图像；对所述检索到的图像执行即时场景识别，以及基于所述场景识别的结果，对所述图像执行实时动作。

【技术特征摘要】
【国外来华专利技术】2014.02.07 EP PCT/EP2014/052471;2014.02.10 EP PCT/1.一种用于处理时间图像序列的装置，所述装置适于：从存储器中检索来自所述时间图像序列的图像；对所述检索到的图像执行即时场景识别，以及基于所述场景识别的结果，对所述图像执行实时动作。2.根据权利要求1所述的装置，其中所述动作选自由以下组成的群组：包括调适所述图像的至少部分的图像修改；将所述图像修改成经修改图像；阻止所述图像的存储；阻止所述图像的显示；从所述存储器擦除所述图像；对所述图像加密；以及其组合。3.根据前述权利要求中任一权利要求所述的装置，其中所述动作包括对来自所述时间图像序列的图像子集的动作，所述子集包含所述图像。4.根据前述权利要求中任一权利要求所述的装置，其中所述装置适于对所述时间图像序列的至少一个子集执行场景识别。5.根据前述权利要求中任一权利要求所述的装置，其中所述装置适于：基于所述场景识别的所述结果提供标识符，以及如果所述标识符匹配预定义标识符，那么基于所述标识符，对所述图像执行动作，所述动作选自由以下组成的群组：包括调适所述图像的至少部分的图像修改；将所述图像修改成经修改图像；阻止所述图像的存储；从所述存储器擦除所述图像；对所述图像加密；以及其组合。6.根据前述权利要求中任一权利要求所述的装置，其中所述时间图像序列选自即时图像序列和形成视频影片的图像序列的群组。7.根据前述权利要求中任一权利要求所述的装置，其中所述场景识别包括应用选自由以下组成的群组的算法：计算图像的唯一数字签名且接着匹配所述签名与其它照片的签名；鉴别性特征挖掘；基于轮廓的形状描述符；深度Fisher网络；词袋模型；支持向量机；深度学习；面部检测；基于特性形状和对象色彩的模板匹配，以及其组合。8.根据前述权利要求中任一权利要求所述的装置，其中所述修改所述图像包括使所述图像的至少一部分模糊。9.根据前述权利要求中任一权利要求所述的装置，其中所述动作是通过应用至少一个摄影滤波器进行图像处理。10.根据前述权利要求中任一权利要求所述的装置，其中所述装置包括适于捕捉图像、具体地说、捕捉所述形成影片的一连串图像的图像传感器，其中对所述图像执行所述场景识别，并且具体地说在检索下一个图像之前对所述所捕捉图像执行所述动作。11.根据前述权利要求中任一权利要求所述的装置，其中所述装置包括数据存储器，其中所述装置适于在将所述图像存储于所述数据存储器中之前执行所述动作。12.根据前述权利要求中任一权利要求所述的装置，其中所述装置包括用于显示所述图像的显示器，其中所述装置适于在显示所述图像之前执行所述动作。1...

【专利技术属性】
技术研发人员：H·M·G·斯托克曼，
申请(专利权)人：高通科技公司，
类型：发明
国别省市：美国;US