多图像场景中的元数据制造技术

确定物理空间的第一区域的第一图像和该物理空间的第二区域的第二图像之间的空间关系；以及由此将第一图像和第二图像拼接在一起成为包括分别从第一图像和第二图像导出的第一区块和第二区块的合成图像。此外，检测嵌入的信号，所述嵌入的信号在第一图像的捕获时已经被嵌入照射物理空间的所述第一区域的至少一部分的光中，所述嵌入的信号传达与所述物理空间的至少一部分有关的元数据。基于检测到的元数据，将效果应用于所述合成图像的所述第一区块的至少一部分，并且还基于检测到的元数据以及基于所确定的第一图像和第二图像之间的空间关系，将效果应用于延伸超出所述第一区块的、该合成图像的第二区块的至少一部分。

【技术实现步骤摘要】
【国外来华专利技术】多图像场景中的元数据
本公开涉及将元数据包括在场景的图像中，并且特别是将之包括在使用图像处理技术从拼接在一起的多个单独捕获的图像创建的合成图像中。
技术介绍
街景服务是捕获公共道路等周围的风景的图像以便使这些图像在线可用的服务。这些服务为用户提供了遍历真实世界的虚拟化视图的能力。典型地，安装在小汽车和诸如自行车等的潜在其他行进方式上的图像捕获设备被用于系统地收集贯穿世界某个部分——诸如给定的城镇、城市、县郡、州或甚至整个国家——的道路周围的风景的多个图像。为构建虚拟化视图，使用已知的全景图像处理技术将所收集的图像中相邻的图像“拼接”在一起。典型地，使这种虚拟化视图（经由互联网）在线可用。例如，由街景服务的图像收集车捕获的每个图像典型地与记录该图像被捕获处的定位的相应定位数据（例如，在GPS坐标方面）相联系，并且该定位数据可以进而与在线地图绘制服务的地图相联系。这允许使该虚拟化视图通过地图绘制服务作为前端可访问。然后，用户可以通过在他或她的智能电话、平板电脑、膝上型计算机或台式计算机等上运行的浏览器或专用app访问地图绘制服务来访问虚拟化视图。例如用户可以将图标拖放到在线地图上显示的街道上的具体位置上，并且作为响应，在线服务然后向用户呈现从所选择的位置开始的周围环境的可导航虚拟视图。此外，定位数据允许在虚拟化视图中添加附加信息，例如作为覆盖图像。当前这被用于向用户显示拍摄图像处的坐标，以及显示图像中可见的建筑物的街道地址或名称。在各种管辖中，应用了隐私或其他规定，要求对例如牌照和面部的图像进行模糊化。因此，为符合这样的管辖中的各种隐私规定，对图像进行处理以自动检测牌照和面部并使这些模糊。另外，由于国家安全和其他原因，某些建筑物或细节将不会被捕获或将基于人工请求而在稍后阶段被删除。此外，用户可以请求虚拟化视图中的元素被审查或移除。一个示例将是其尸体在街景服务中可见的被谋杀孩子的父母，或者在从齐眼高度（eyelevel）不可见、但被图像收集车上的高架摄像机等捕获的在其装有大门的后院中的日光浴者等。为移除或模糊化街景服务的虚拟化视图中的对象，可以自动分析图像以检测某些预定类型的对象，诸如牌照和人脸。此外，可以人工核查和审查图像，或者可以基于比如定位的元数据（例如，基于所捕获的GPS坐标）将图像标记为被审查的，使得服务自动遮蔽或移除与相关元数据相关联的任何图像。
技术实现思路
然而，这些方法中的每一种方法都具有一个或多个缺点，诸如资金成本、成功率（误报和/或漏报）、对产品的影响、对当地规则的遵守等。例如，当前的被用于使牌照和面部模糊化的自动图像处理工具并不完美。因未能遵守而导致的可能的罚款以及对用户请求的人工处理的成本是不期望的。因此，现有技术是低效、易于出错和/或非用户友好的。然而，对隐私越来越多的需求驱使公民要求更多的隐私保护。同时，街景服务的附加价值是明显的，并且越来越多数量的人利用这些服务。对于企业，这些服务提供了向（潜在）客户提供信息的有价值的替代方案。因此，期望提供用于处理在公共空间等中捕获的图像数据的更先进的方法。根据本文公开的一个方面，提供了包括拼接模块的图像处理设备（例如服务器），其中拼接模块被配置为接收物理空间的第一区域的第一图像和所述物理空间的第二区域的第二图像，并确定第一图像和第二图像之间的空间关系，并由此将第一图像和第二图像拼接在一起成为包括从第一图像导出的第一区块和从第二图像导出的第二区块的合成图像（注：第一区块和第二区块通常将部分重叠）。该图像处理设备还包括信号检测模块，其被配置为检测嵌入的信号，所述嵌入的信号在第一图像的捕获时已经被嵌入到照亮所述物理空间的所述第一区域的至少一部分的光中，所述嵌入的信号传达与所述物理空间的至少一部分有关的元数据。优选地，信号检测模块通过从第一图像本身检测嵌入的信号（即，在第一图像中捕获该信号并从中提取该信号）来做到这一点，但是替代地可以通过使用与第一图像的捕获相关联地操作的单独光传感器来检测该信号。用任意方式，信号检测模块被配置为：基于检测到的元数据，将效果应用于合成图像的第一区块的至少一部分，并且还基于检测到的元数据以及基于所确定的第一图像和第二图像之间确定的空间关系，将效果应用于延伸超出第一区块的、该合成图像的第二区块的至少一部分（即，不与第一区块重叠的部分）。因此，本专利技术提供了一种用户友好的方式用于提供与由图像处理设备捕获的物理空间相关的元数据，其允许一个或多个优点，诸如更有效的数据处理、用户的更强大的控制和/或更低的应用元数据时的故障率。该系统使用诸如编码光的光通信技术来传送与物理空间有关的元数据。这可以因多个原因中的一个或多个而是有益的。例如，相比于使用射频信标（例如，蓝牙、Wi-Fi、RFID等）它可以是有益的，因为它导致更少的RF污染，并且相比于使用公开（overtly）的可见标记（例如，QR码）它也可以是有益的，因为它可以要求较低分辨率的图像捕获和/或可以较少地依赖于可见标记对于图像捕获设备的位置。此外，在实施例中，编码光可以由被用来捕获图像的相同摄像机捕获，避免了对附加传感器的需要。在实施例中，基于元数据而应用的效果可以包括移除或遮蔽（例如模糊化）合成图像的第一区块和第二区块的这些部分。可替换地，所述效果可以包括：如果合成图像包含第一区块和第二区块的所述部分中的任何一个，则防止存储、转移或复制合成图像。作为另一替代方案，该效果不需要用于隐私，而是向观看者提供信息或以其他方式增强合成图像。因此，所述效果可以包括将图形元素覆盖在合成图像的第一区块和第二区块的所述部分上，和/或与第一区块和第二区块的所述部分相关联地将图形元素覆盖在合成图像上。例如该效果可以包括覆盖在合成图像的相关区块上方或附近的诸如“出售”标志或企业名称之类的消息，和/或可以包括突出显示所讨论的区块。在实施例中，信号检测模块可以被配置为检测生成所述光的光源的位置，并基于所检测到的光源的位置、以及基于所确定的第一图像和第二图像之间的空间关系，确定元数据在合成图像内应用至哪个范围，并由此确定第一区块和第二区块的所述部分。例如，元数据可以指定图像处理模块要遮蔽或移除显示所述物理空间内距离所述光源的位置在指定半径内的任何东西的该合成图像的部分（例如使光源位置的10m或20m半径内的全部对象和其他景色模糊化）。在这种情况下，图像处理模块被配置为将合成图像中的所述范围（即，元数据所应用的范围）确定为对应于所述物理空间内距离光源位置的指定半径的范围。在实施例中，拼接模块被配置为基于物理空间的第一区域和第二区域之间的空间关系来确定所述第一图像和第二图像之间的所述空间关系。例如，拼接模块可以被配置为基于在第一图像和第二图像被捕获时由定位系统检测到的第一图像和第二图像被捕获处的位置（例如，基于由摄像机或搭载摄像机的车辆所捕获的GPS坐标）来确定物理空间的第一区域和第二区域之间的空间关系。可替换地或附加地，拼接模块可以被配置为基于应用到第一图像和第二图像的图像识别（即，通过将第一图像和第二图像中的可识别对象的部分彼此匹配）来确定第一图像和第二图像之间的所述空间关系。在特别优选的应用中，图像处理设备可以被布置为使得包括所述效果的合成图像作为街景服务的一部分在线可用。在另外的实施例中，本文档来自技高网...

【技术保护点】
一种图像处理设备（106），包括：拼接模块（108），其被配置为接收物理空间（100）的第一区域的第一图像（200a）和所述物理空间的第二区域的第二图像（200b），并确定第一图像和第二图像之间的空间关系，并由此将第一图像和第二图像拼接在一起成为包括从第一图像导出的第一区块（300a）和从第二图像导出的第二区块（300b）的合成图像（300）；以及信号检测模块（110），其被配置为检测嵌入的信号，所述嵌入的信号在第一图像的捕获时已经被嵌入到照亮所述物理空间的所述第一区域的至少一部分的光中，所述嵌入的信号传达与所述物理空间的至少一部分有关的元数据；其中所述信号检测模块被配置为基于检测到的元数据，将效果（401）应用于所述合成图像的第一区块的至少一部分，并且还基于检测到的元数据以及基于所确定的第一图像和第二图像之间确定的空间关系，将所述效果应用于延伸超出所述第一区块的、所述合成图像的第二区块的至少一部分。

【技术特征摘要】
【国外来华专利技术】2015.04.28 EP 15165358.11.一种图像处理设备（106），包括：拼接模块（108），其被配置为接收物理空间（100）的第一区域的第一图像（200a）和所述物理空间的第二区域的第二图像（200b），并确定第一图像和第二图像之间的空间关系，并由此将第一图像和第二图像拼接在一起成为包括从第一图像导出的第一区块（300a）和从第二图像导出的第二区块（300b）的合成图像（300）；以及信号检测模块（110），其被配置为检测嵌入的信号，所述嵌入的信号在第一图像的捕获时已经被嵌入到照亮所述物理空间的所述第一区域的至少一部分的光中，所述嵌入的信号传达与所述物理空间的至少一部分有关的元数据；其中所述信号检测模块被配置为基于检测到的元数据，将效果（401）应用于所述合成图像的第一区块的至少一部分，并且还基于检测到的元数据以及基于所确定的第一图像和第二图像之间确定的空间关系，将所述效果应用于延伸超出所述第一区块的、所述合成图像的第二区块的至少一部分。2.根据权利要求1所述的图像处理设备，其中信号检测模块（110）被配置为从第一图像（200a）检测所述嵌入的信号。3.根据权利要求1或2所述的图像处理设备，其中信号检测模块（110）被配置为检测生成所述光的光源（102）的位置，并基于所检测到的所述光源的位置、以及基于所确定的第一图像（200a）和第二图像（200b）之间的空间关系，确定元数据在合成图像（300）内应用至哪个范围，并由此确定第一区块和第二区块（300a、300b）的所述部分。4.根据任一前述权利要求所述的图像处理设备，其中所述效果（401）包括遮蔽或移除所述合成图像（300）的所述第一区块和第二区块（300a、300b）的所述部分。5.根据权利要求4所述的图像处理设备，其中所述效果包括：通过使所述部分模糊来遮蔽所述合成图像（300）的所述第一区块和第二区块（300a、300b）的所述部分。6.根据权利要求3和权利要求4或5所述的图像处理设备，其中元数据指定图像处理模块（110）要遮蔽或移除所述合成图像的、显示所述物理空间（100）内距离所述光源（102）的位置在指定半径内的任何东西的部分，并且其中图像处理模块被配置为将合成图像（300）中的所述范围确定为对应于所述物理空间内距离光源位置的指定半径的范围。7.根据权利要求1至3中任一项所述的图像处理模块，其中所述效果包括如果合成图像（300）包含第一区块和第二区块（300a、300b）的所述部分中的任何一个，则防止所述合成图像（300）被存储、转移或复制。8.根据权利要求1至3中任一项所述的图像处理设备，其中所述效果（401）包括将图形元素重叠在合成图像（300）的第一区块和第二区块（300a、300b）的所述部分上，和/或将图形元素与第一区域和第二区域（300a、300b）的所述部分相关联地重叠在合成图像...

【专利技术属性】
技术研发人员：AHW范伊尤维克，RMH塔克肯，H范登维恩加尔特，HUON范德拉亚肖特，
申请(专利权)人：飞利浦照明控股有限公司，
类型：发明
国别省市：荷兰,NL