用于显示图像的方法和装置制造方法及图纸

本发明专利技术涉及一种用于显示图像(104)的方法。所述方法包括：将第一初始摄像头图像(120)和至少一个另外的初始摄像头图像(122、124、126)成像到三维结构上的步骤，以获得由所述初始摄像头图像(120、122、124、126)合成的经成像的摄像头图像(140)；将所述经成像的摄像头图像(140)变形到平面的步骤，以获得平面摄像头图像(144)；以及提供所述平面摄像头图像(144)到显示设备(136)的接口的步骤，以显示所述图像(104)。

【技术实现步骤摘要】
用于显示图像的方法和装置
本专利技术涉及用于显示图像的装置或方法。计算机程序也是本专利技术的主题。
技术介绍
特别是从CE世界中已知增强现实(AR)应用，例如在所谓的智能电话或所谓的平板(计算机)中。在此，为了在设备的显示部或显示器上显示，利用人造对象来丰富真实场景。一个更常见的使用情况是在周围环境中显示所谓的兴趣点(POI)，即，用户特别感兴趣或可能感兴趣的点，也可以考虑其他应用，例如在打开包装前在自己家中显示家具或显示乐高模型。同样在车辆中已知AR应用，既作为组合仪表中或中央显示器中的视频图像的显示，也作为抬头显示器中的显示。这些应用在这里由行驶相关的信息控制，例如显示用于沿着行驶路线、街道名称或ACC(自动巡航控制)目标对象的导航或目的地引导提示，以及兴趣点，如停车场、公共交通和其它“传统”的兴趣点。例如在DE102013016244A1中描述了这样的应用。
技术实现思路
在这个背景下，在此提出一种用于显示图像的方法，另外提出了一种使用这种方法的装置，以及最后提出了相应的计算机程序。有利地，将多个摄像头图像合成一个具有大视角的图像，其实现了在图像中可以插入附加虚拟内容。用于显示图像的方法包括以下步骤：将第一初始摄像头图像和至少一个另外的初始摄像头图像成像到三维结构上，以获得由初始摄像头图像合成的经成像的摄像头图像；将经成像的摄像头图像变形到平面，以获得平面摄像头图像；提供平面摄像头图像到显示设备的接口，以显示图像。该方法可以例如用于车辆中。因此，例如初始摄像头图像可以是由例如采集车辆的周围区域的车辆摄像头提供的图像数据。可以使用合适的变换规则来执行成像步骤，通过该变换规则使得初始摄像头图像的像点被成像到三维结构上。因此，不需要将图像成像到物理存在的三维结构上，而是可以使用变换规则，即，通过计算技术手段来变形图像，这类似于通过成像到物理存在的三维结构上。相应地，可以使用另外的变换规则来执行变形步骤，通过该变换规则使得经成像的摄像头图像的像点被成像到平面中。在提供步骤中，可以提供代表平面摄像头图像的图像数据，该图像数据适合于使用显示设备来显示图像。因此，根据一个实施方式，该方法可以包括使用车辆的至少一个摄像头来采集初始摄像头图像的步骤。如果使用多个摄像头，那么它们可以具有不同的视角。在这种情况下，摄像头的采集区域可以直接彼此邻接或彼此重叠，使得可以从初始摄像头图像中无缝地确定合成的经成像的摄像头图像。该方法可以进一步包括使用显示设备显示图像的步骤。显示设备可以例如是布置在车辆中的显示屏。以这种方式，例如为车辆的驾驶员实现全景视图。在成像步骤中，虚拟对象也可以成像到三维结构上。以这种方式，图像可以被补充虚拟内容。通过将虚拟对象成像到三维结构上，虚拟对象可以与代表合成的经成像的摄像头图像的图像数据一起被进一步处理，使得虚拟对象可以尽可能不失真地嵌入到可使用显示设备显示的图像中。在成像步骤中，初始摄像头图像可以被成像到作为三维结构的球体、柱体或碗体上。这样的结构适合于生成全景图像。该方法可以包括在平面中移动平面摄像头图像的步骤。从而可以获得移位的摄像头图像。在提供步骤中，可以将移位的摄像头图像提供给接口，以从经改变的视线方向显示图像。以这种方式，如果图像的观看者期望其它视角，则可以改变图像的显示。根据一个实施方式，在变形步骤中，沿着切割线切割经成像的摄像头图像，以使经成像的摄像头图像变形到平面。这实现将经成像的摄像头图像展开到平面中。在这里以及上述提到的用于改变一个或多个图像的步骤中，优选地可以使用计算技术手段(优选利用计算器或计算机执行)进行该改变。在此可以在变形步骤中，通过使用视线方向信号来选择切割线的位置，视线方向信号定义了被设置用于图像的视线方向。以这种方式，可以生成可以由显示设备显示的图像，使得图像对应于观看者期望的视线方向。例如在成像步骤中可以将四个初始摄像头图像成像到三维结构上。从初始摄像头图像中，可以获得360°显示作为合成的经成像的摄像头图像。这可以应用在已经具有四个摄像头的车辆中，这些摄像头具有向前、向后和向侧部的视角。这样的方法能够例如以软件或硬件或以软件和硬件的混合形式例如在控制器中实施。这里所提出的方案还提供一种装置，该装置被构造成在相应的设备中执行、操控或者说实施这里所提出的方法的变体方案的步骤。同样通过本专利技术的这种以装置的形式的实施变体方案能够快速和高效地解决本专利技术所针对的任务。对此，该装置能够具有：用于处理信号或数据的至少一个计算单元；用于存储信号或数据的至少一个存储单元；至少一个接口，其通往传感器或致动器，以便从所述传感器读取传感器信号或者用于输出数据信号或控制信号至致动器；和/或至少一个用于读取或输出数据的被嵌入通信协议中的通信接口。计算单元能够例如是信号处理器、微控制器等，其中存储单元能够是闪存、EEPROM或磁存储单元。通信接口能够构造成无线和/或有线地读取或输出数据，其中能够读取或输出有线的数据的通信接口将这些数据例如电气或光学地从相应的数据传输线路中读取或输出到相应的数据传输线路中。在本文中，能够将装置理解为电仪器，该电仪器处理传感器信号且依据此发出控制信号和/或数据信号。所述装置能够具有这样的接口，该接口能够以硬件和/或软件的方式构造。在一种以硬件方式的构造中，所述接口能够例如是包含了所述装置的各种功能的所谓的系统ASIC的一部分。但是也可行的是，接口是固有的、集成的电路或至少部分地包括分立的结构元件。在一种以软件形式的构造中，接口能够是软件模块，例如在微控制器上除了其它软件模块之外还存在该软件模块。也有利的是一种计算机程序产品或有程序代码的计算机程序，程序代码能够被储存在能够机读的载体或存储介质、如半导体存储器、硬盘存储器或光学的存储器上，并且被用来执行、实施和/或操控按前述实施方式之一所述的方法的步骤，尤其是当该程序产品或程序在计算机上或在装置上运行时。附图说明在附图中展示了并且在后面的说明中更加详细地阐释这里所提出的方案的实施例。其中：图1是根据一个实施例的具有用于显示图像的装置的车辆的示意图；图2是根据一个实施例的用于显示图像的方法的流程图；图3是根据一个实施例的360°AR图示；图4是根据一个实施例的在球体上的图3中示出的图像的成像；图5是根据一个实施例的在柱体上的图3中示出的图像的成像；图6是根据一个实施例的具有90°张角的图示；图7是根据一个实施例的具有150°张角的图示；图8是根据一个实施例的图3中所示的图像在以已经部分展开到平面中的形式的三维结构上的图示；图9是根据一个实施例的图8中所示的图像以已经进一步展开到平面中的形式的图示；图10是根据一个实施例的图9中所示的图像以已经进一步展开到平面中的形式的图示；图11是根据一个实施例的图10中所示的图像以已经近似展开到平面中的形式的图示；图12是根据一个实施例的图11中所示的图像以已经展开到平面中的形式的图示；图13是根据一个实施例的图12中示出的图像的移位图示；图14是根据一个实施例的在初始情况下的虚拟对象和视频投影面的图示；图15是根据一个实施例的图14中示出的虚拟对象和视频投影面在投影中的图示；图16是根据一个实施例的图15中示出的虚拟对象和视频投影面作为虚拟对象的变形的图示；图17是根据本文档来自技高网...

【技术保护点】
1.一种用于显示图像(104)的方法，其中所述方法包括下述步骤：将第一初始摄像头图像(120)和至少一个另外的初始摄像头图像(122、124、126)成像(201)到三维结构上，以获得由初始摄像头图像(120、122、124、126)合成的经成像的摄像头图像(140)；将所述经成像的摄像头图像(140)变形(203)到平面，以获得平面摄像头图像(144)；提供(205)所述平面摄像头图像(144)到显示设备(136)的接口，以显示所述图像(104)。

【技术特征摘要】
2017.03.20 DE 102017204589.21.一种用于显示图像(104)的方法，其中所述方法包括下述步骤：将第一初始摄像头图像(120)和至少一个另外的初始摄像头图像(122、124、126)成像(201)到三维结构上，以获得由初始摄像头图像(120、122、124、126)合成的经成像的摄像头图像(140)；将所述经成像的摄像头图像(140)变形(203)到平面，以获得平面摄像头图像(144)；提供(205)所述平面摄像头图像(144)到显示设备(136)的接口，以显示所述图像(104)。2.根据权利要求1所述的方法，具有使用车辆(100)的至少一个摄像头(110、112、114、116)采集所述初始摄像头图像(120、122、124、126)的步骤(201)，和/或具有使用所述显示设备(136)显示所述图像(104)的步骤(209)。3.根据前述权利要求中任一项所述的方法，其中在所述成像的步骤(201)中，还将虚拟对象(150)成像到所述三维结构上。4.根据前述权利要求中任一项所述的方法，其中在所述成像的步骤(201)中，将所述初始摄像头图像(120、122、124、126)成像到作为三维结构的球体、柱体或碗体上。5.根据前述权利要求中任...

【专利技术属性】
技术研发人员：A·欣里希，G·德伯尔，M·朗根贝格，
申请(专利权)人：罗伯特·博世有限公司，
类型：发明
国别省市：德国,DE