图像生成装置以及程序制造方法及图纸

图像生成部(S9)使用图像获取部获取到的拍摄车辆的周边的图像来生成从在车辆的外部设定的虚拟视点观察车辆以及周边的图像。轨迹预测部(S5)基于车辆的驾驶状态来预测车辆的行驶轨迹。图像合成部(S11)将图像生成部生成的图像中的车辆的图像以及预测出的行驶轨迹的图像中的任意一方设为具有透过性的图像，并从上方叠加在另一方的图像以及图像生成部生成的图像中的周边的图像上。

Image Generator and Program

The image generation unit (S9) uses the image acquired by the image acquisition unit to capture the surrounding image of the vehicle to generate the image of the vehicle and its surrounding from the virtual viewpoint set outside the vehicle. The trajectory prediction unit (S5) predicts the trajectory of a vehicle based on its driving state. The image synthesis unit (S11) sets either image of the vehicle in the image generated by the image generation unit or the image of the predicted trajectory as a transparent image, and superimposes it on the image of the other party and the surrounding image of the image generated by the image generation unit.

【技术实现步骤摘要】
【国外来华专利技术】图像生成装置以及程序相关申请的交叉引用本国际申请主张基于2016年6月13日向日本专利厅申请的日本专利申请第2016－117010号的优先权，并在本国际申请中通过参照引用日本专利申请第2016－117010号的全部内容。
本公开涉及生成车辆以及与该车辆的周边对应的图像的技术。
技术介绍
在下述专利文献1中记载了基于经由搭载在车辆上的相机拍摄该车辆的周边而成的图像和预先准备的该车辆的车顶等的图像来生成从在该车辆的外部设定的虚拟视点观察该车辆以及该车辆的周边的图像的技术。上述虚拟视点是虚拟地设定的视点，例如若设定为包括上述车辆整体的三维空间中的车辆的斜上方等，则能够把握车辆和其周边的状况的关系。专利文献1:国际公开00/07373号另一方面，也已知一种在车辆后退时等，将根据转向角等所预测的该车辆的行驶轨迹叠加在拍摄车辆的后方周边而成的图像上并进行显示的技术。然而，专利技术人的详细研究的结果是发现了在专利文献1所记载的技术中，将从虚拟视点观察车辆以及该车辆的周边的图像(以下，也称为3D视图)单纯地叠加在上述行驶轨迹上并进行显示的话，成为不易明白的图像这个课题。
技术实现思路
本公开的一个方面希望能够识别从虚拟视点观察车辆以及该车辆的周边的图像和预测的车辆的行驶轨迹这两方。本公开的一个方面是具备图像获取部、图像生成部、轨迹预测部、图像合成部的图像生成装置。图像获取部构成为获取拍摄车辆的周边而成的图像。图像生成部构成为使用上述图像获取部获取到的图像来生成从在上述车辆的外部设定的虚拟视点观察上述车辆以及上述周边的图像。轨迹预测部构成为基于上述车辆的驾驶状态来预测上述车辆的行驶轨迹。图像合成部构成为生成将上述图像生成部生成的图像中的上述车辆的图像以及上述轨迹预测部预测出的行驶轨迹的图像中的任意一方设为具有透过性的图像，并从上方叠加在另一方的图像上，并进一步将这些图像从上方叠加在上述图像生成部生成的图像中的上述周边的图像上而成的图像作为输出图像。根据这样的结构，将从上述虚拟视点观察上述车辆以及上述周边的图像中的表示上述车辆的图像以及上述预测出的车辆的行驶轨迹的图像中的任意一方设为具有透过性的图像，并从上方叠加在另一方的图像上。而且，由于这些图像从上方叠加到上述周边的图像上，所以能够识别从虚拟视点观察车辆以及该车辆的周边的图像和预测的车辆的行驶轨迹这两方。其结果为，车辆和周边的状况的关系、以及针对该车辆所预测的行驶轨迹和周边的状况的关系都能够良好地把握。另外，对于本公开的另一方面而言，上述图像生成部构成为使用上述图像获取部获取到的图像和根据上述车辆而预先准备的具有透过性的上述车辆的图像(B、T)来生成从在上述车辆的外部设定的虚拟视点(V)观察上述周边以及被赋予透过性的上述车辆的图像。上述图像生成部构成为生成将上述图像生成部生成的图像中的上述车辆的图像从上方叠加在上述轨迹预测部预测出的行驶轨迹的图像(K)上，并进一步将这些图像从上方叠加在上述图像生成部生成的图像中的上述周边的图像(H)上而成的图像作为输出图像。该情况下，由于将具有透过性的车辆的图像从上方叠加在轨迹的图像上而成的图像被从上方叠加在周边的图像上，所以能够识别从虚拟视点观察车辆以及该车辆的周边的图像和预测的车辆的行驶轨迹这两方。其结果为，车辆和周边的状况的关系、以及针对该车辆所预测的行驶轨迹和周边的状况的关系都能够良好地把握。此外，权利要求书所记载的括号内的符号示出与作为一个方式后述的实施方式所记载的具体单元的对应关系，并不对本公开的技术范围进行限定。附图说明图1是表示第一实施方式的图像生成装置的结构的框图。图2是示意性地表示该图像生成装置的相机的配置的说明图。图3是表示由该图像生成装置进行的显示处理的流程图。图4是表示该显示处理的显示结果的一个例子的说明图。图5是表示第二实施方式的图像生成装置的结构的框图。图6是表示该图像生成装置中的显示状态的一个例子的说明图。图7是表示由该图像生成装置进行的显示处理的流程图。图8是表示该显示处理中的虚拟视点的变更例子的说明图。图9是表示该显示处理中的虚拟视点的其它变更例子的说明图。图10是表示各实施方式中的行驶轨迹显示的变形例的说明图。图11是表示各实施方式中的行驶轨迹显示的其它变形例的说明图。具体实施方式以下，参照附图，对一个实施方式进行说明。此外，在本说明书中，具有透过性的图像意味该图像的一部分被透明化，或该图像的一部分或者全部被半透明化的图像，不包括该图像的整体被透明化而无法识别该图像的图像。[1.第一实施方式][1－1.结构]图1所示的第一实施方式的图像生成装置100具备相机3A－3D、显示装置5和ECU10。此外，如图1所示，相机3A是指前相机3A，相机3B是指右相机3B，相机3C是指左相机3C，相机3D是指后相机3D。该图像生成装置100是图2所示的搭载在车辆1上的相机，前相机3A被设置在车辆1的前方，右相机3B被设置在车辆1的右方，左相机3C被设置在车辆1的左方，后相机3D被设置在车辆1的后方。前相机3A例如可以配置在车辆1的机罩的前端中央。后相机3D例如可以配置在车辆1的后方的车牌号码上方。右相机3B以及左相机3C例如分别配置在左右车外后视镜上方。相机3A－3D也可以都是广角相机。作为显示装置5，可以利用利用液晶的显示装置、利用有机EL元件的显示装置等各种显示装置。另外，显示装置5可以是单色的显示装置，也可以是彩色的显示装置。另外，显示装置5也可以通过在表面具备压电元件等而构成为触摸面板。另外，显示装置5也可以兼作车辆导航装置、音频设备等为了其它车载设备而设置的显示装置。ECU10以具备图示省略的CPU、和RAM、ROM、闪存等半导体存储器(以下，存储器20)的公知的微型计算机为中心而构成。ECU10的各种功能通过CPU执行储存在非迁移的实体的记录介质中的程序来实现。在该例子中，存储器20符合储存有程序的非迁移的实体的记录介质。另外，通过执行该程序来执行与程序对应的方法。此外，构成ECU10的微型计算机的数量可以是一个，也可以是多个。另外，ECU10具备用于维持存储器20中的RAM的存储或驱动CPU的电源30。ECU10具备相机影像输入处理部(以下，输入处理部)11、图像处理部13、影像输出信号处理部(以下，输出处理部)15和车辆信息信号处理部(以下，信息处理部)19作为CPU执行程序而实现的功能的构成。实现构成ECU10的这些的要素的方法并不限于软件，也可以使用组合了逻辑电路、模拟电路等的硬件来实现其一部分或者全部的要素。输入处理部11从相机3A－3D输入与相机3A－3D拍摄到的影像对应的信号，并将该信号变换为能够在ECU10中作为图像数据而处理的信号。图像处理部13对从输入处理部11输入的信号实施后述那样的加工处理(以下，称为显示处理)，并向输出处理部15输出。输出处理部15根据从图像处理部13输入的信号来生成显示装置5的驱动信号，并向该显示装置5输出。信息处理部19经由图示省略的车内LAN等来获取车辆1的换挡位置、车速、转向角等数据(以下，也称为车辆信息)，并向图像处理部13输出。此外，车辆的驾驶状态是指由车辆信息表示的车辆的状态。存储器20除了上述程序之外还储存表示车辆1的车顶等外形等的内部参本文档来自技高网...

【技术保护点】
1.一种图像生成装置，该图像生成装置(100)具备：图像获取部(3A、3B、3C、3D)，构成为获取拍摄车辆(1)的周边而成的图像；图像生成部(10、S9、S9A、S1、S1A)，构成为使用上述图像获取部获取到的图像来生成从在上述车辆的外部设定的虚拟视点(V)观察上述车辆以及上述周边的图像；轨迹预测部(10、S5、S5A)，构成为基于上述车辆的驾驶状态来预测上述车辆的行驶轨迹；以及图像合成部(10、S11)，构成为生成将上述图像生成部生成的图像中的上述车辆的图像(B、T)以及上述轨迹预测部预测出的行驶轨迹的图像(K)中的任意一方设为具有透过性的图像，并从上方叠加在另一方的图像上，并进一步将这些图像从上方叠加在上述图像生成部生成的图像中的上述周边的图像(H)上而成的图像作为输出图像。

【技术特征摘要】
【国外来华专利技术】2016.06.13 JP 2016-1170101.一种图像生成装置，该图像生成装置(100)具备：图像获取部(3A、3B、3C、3D)，构成为获取拍摄车辆(1)的周边而成的图像；图像生成部(10、S9、S9A、S1、S1A)，构成为使用上述图像获取部获取到的图像来生成从在上述车辆的外部设定的虚拟视点(V)观察上述车辆以及上述周边的图像；轨迹预测部(10、S5、S5A)，构成为基于上述车辆的驾驶状态来预测上述车辆的行驶轨迹；以及图像合成部(10、S11)，构成为生成将上述图像生成部生成的图像中的上述车辆的图像(B、T)以及上述轨迹预测部预测出的行驶轨迹的图像(K)中的任意一方设为具有透过性的图像，并从上方叠加在另一方的图像上，并进一步将这些图像从上方叠加在上述图像生成部生成的图像中的上述周边的图像(H)上而成的图像作为输出图像。2.一种图像生成装置，该图像生成装置(100)具备：图像获取部(3A、3B、3C、3D)，构成为获取拍摄车辆(1)的周边而成的图像；图像生成部(10、S9、S9A、S1、S1A)，构成为使用上述图像获取部获取到的图像和根据上述车辆而预先准备的具有透过性的上述车辆的图像(B、T)来生成从在上述车辆的外部设定的虚拟视点(V)观察上述周边以及被赋予透过性的上述车辆的图像；轨迹预测部(10、S5、S5A)，构成为基于上述车辆的驾驶状态来预测上述车辆的行驶轨迹；以及图像合成部(10、S11)，构成为生成将上述图像生成部生成的图像中的上述车辆的图像从上方叠加在上述轨迹预测部预测出的行驶轨迹的图像(K)上，并进一步将这些图像从上方叠加在上述图像生成部生成的图像中的上述周边的图像(H)上而成的图像作为输出图像。3.根据权利要求1或者2所述的图像生成装置，其中，上述图像生成部构成为生成从在上述车辆的斜上方设定的虚拟视点观察上述车辆的整体以及上述车辆周边的图像。4.根据权利要求1～3中的任意一项所述的图像生成装置，其中，通过上述图像合成部从上方叠加在上述周边的图像上的上述车辆的图像是在上述车辆的各车轮的图...

【专利技术属性】
技术研发人员：雨谷匡之，松本宗昭，横田昇幸，
申请(专利权)人：株式会社电装，
类型：发明
国别省市：日本,JP