行车辅助方法及装置制造方法及图纸

一种行车辅助方法及装置。此方法计算车辆行进时车轮于车辆周围的行进轨迹，并利用配置于车辆上的多个相机拍摄车辆周围多个透视视野的影像，进而转换为俯视视野的影像。之后，根据透视视野及俯视视野的影像产生车辆周围的合成影像，最后则将合成影像及行进轨迹映射并结合至车辆周围的三维模型，而使用三维模型在车辆倒车时提供视角为由车辆的上后方往下前方观看的包含行进轨迹的行进影像。本发明专利技术可辅助使用者在行车时可清楚看到行进轨迹与周围景物或物体的变化，从而适当地调整行进操作。

【技术实现步骤摘要】
行车辅助方法及装置
本专利技术是有关于一种影像处理方法及装置，且特别是有关于一种行车辅助方法及装置。
技术介绍
现今的倒车显影系统是利用配置于车辆后方的相机撷取车辆后方影像(包含地面及景物)，并根据方向盘转角估测车辆倒车时后轮的移动轨迹，从而将此移动轨迹绘制于所撷取的影像中。而通过在倒车时显示由前方往后方看包含后轮移动轨迹的后方影像，可辅助驾驶确认目前方向盘所打的角度是否适合并进行调整，最终可准确地将车辆倒车至所欲停放的位置。然而，由于相机的视野有限，即便使用视野较广的广角或鱼眼镜头来拍摄影像，由前方往后方看的传统倒车显影系统仍旧只能显示有限视野的影像，无法完整或清楚显示出车辆周围的景物或其他物体。结果，使用者在基于由前方往后方看的传统倒车显影系统所显示的倒车轨迹进行倒车的过程中，仍得小心提防周遭景物或物体进入倒车区域。
技术实现思路
本专利技术提供一种行车辅助方法及装置，通过计算车辆行进轨迹并绘制于视角为车辆上后方往下前方观看的影像中，借此可辅助驾驶了解车辆行进路线与周围地面及景物的关系。本专利技术的行车辅助方法适用于配置于车辆上的电子装置。此电子装置连接配置于车辆上的多个相机。此方法计算车辆行进时车轮于车辆周围的行进轨迹。接着，利用相机拍摄车辆周围多个透视视野(perspectiveview)的影像，并分别将这些影像的视野由透视视野转换为俯视视野(topview)。之后，根据透视视野及俯视视野的影像产生车辆周围的合成影像。最后，将合成影像及行进轨迹映射(map)并结合至车辆周围的物件空间的三维模型，而使用三维模型在车辆倒车时提供视角为由车辆的上后方往下前方观看的包含行进轨迹的行进影像。本专利技术的行车辅助装置包括连接装置、储存装置及处理器。其中，连接装置用以耦接配置于车辆上的多个相机。储存装置用以储存多个模块。处理器耦接连接装置及储存装置，用以载入并执行储存装置中的模块，这些模块包括轨迹计算模块、影像拍摄模块、视野转换模块、影像拼接模块及三维模型模块。其中，轨迹计算模块用以计算车辆行进时车轮于车辆周围的行进轨迹。影像拍摄模块利用相机拍摄车辆周围多个透视视野的影像。视野转换模块用以将透视视野的影像分别转换为俯视视野的影像。影像拼接模块用以根据透视视野及俯视视野的影像产生车辆周围的合成影像。三维模型模块用以将合成影像及行进轨迹映射并结合至车辆周围的三维模型，并使用三维模型在车辆倒车时提供视角为由车辆的上后方往下前方观看的包含行进轨迹的行进影像。基于上述，本专利技术的行车辅助方法及装置通过计算车辆行进时车轮于车辆周围的行进轨迹，并将此行进轨迹与车辆环境影像映射并结合至三维模型，之后再利用此三维模型在车辆倒车时提供视角为由车辆的上后方往下前方观看的包含行进轨迹的行进影像。借此，可辅助使用者在行车时可清楚看到行进轨迹与周围景物或物体的变化，从而适当地调整行进操作。为让本专利技术的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。附图说明图1是依照本专利技术一实施例所绘示的行车辅助装置的方块图。图2是依照本专利技术一实施例所绘示的行车辅助方法的流程图。图3是本专利技术一实施例所绘示的拍摄车辆周围影像的范例。图4是本专利技术一实施例所绘示的鱼眼校正的范例。图5是依照本专利技术一实施例所绘示的车辆周围影像处理方法的范例。图6是依照本专利技术一实施例所绘示的拼接不同视野影像以获得车辆周围合成影像的方法流程图。图7是依照本专利技术一实施例所绘示的合并透视视野的墙面侧影像及俯视视野的地面侧影像的范例。图8A及图8B是依照本专利技术一实施例所绘示的调整墙面侧影像的范例。图9是依照本专利技术一实施例所绘示的调整墙面侧影像高度的范例。图10是依照本专利技术一实施例所绘示的拼接合并影像的范例。图11是依照本专利技术一实施例所绘示的建立三维模型的范例。图12是依照本专利技术一实施例所绘示的使用三维模型提供包含行进轨迹的行进影像的范例。图13A及图13B是依照本专利技术一实施例所绘示的将行进轨迹由物件空间转换至鱼眼空间的范例。具体实施方式本专利技术根据方向盘转角计算车辆的行进轨迹，并将此行进轨迹应用在车辆环境系统所建构的环境影像。其中，本专利技术通过将行车轨迹经转换融入环境影像后再将环境影像映射于车辆周围空间的三维模型，或是直接将行车轨迹与环境影像一同映射于三维模型，最后再利用三维模型在倒车时提供视角为由车辆上后方往下前方观看的包含行进轨迹的行进影像(本专利技术中所称的前方与后方分别对应车辆的车头与车尾)。借此，可辅助使用者在行车过程中可清楚看到车辆周围景物的位置或变化，从而调整行车操作。图1是依照本专利技术一实施例所绘示的行车辅助装置的方块图。本实施例的行车辅助装置10例如是车用电脑，或是具备运算功能的手机、平板电脑或个人电脑或其他装置，其中至少包括连接装置12、储存装置14及处理器16，其功能分述如下：连接装置12例如是通用串行总线(UniversalSerialBus，USB)、RS232、蓝芽、无线相容认证(Wirelessfidelity，Wi-Fi)等有线或无线的传输接口，其可用以耦接配置于车辆上的相机，从而接收相机所拍摄的影像。储存装置14例如是任何型态的固定式或可移动式随机存取存储器(randomaccessmemory，RAM)、只读存储器(read-onlymemory，ROM)、快闪存储器(flashmemory)或类似元件或上述元件的组合。在本实施例中，储存装置14用以记录轨迹计算模块141、影像拍摄模块142、视野转换模块143、影像拼接模块144及三维模型模块145。处理器16例如是中央处理单元(CentralProcessingUnit，CPU)，或是其他可程序化的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(DigitalSignalProcessor，DSP)、可程序化控制器、专用集成电路(ApplicationSpecificIntegratedCircuits，ASIC)、可程序化逻辑装置(ProgrammableLogicDevice，PLD)或其他类似装置或这些装置的组合，其与连接装置12及储存装置14耦接。在本实施例中，储存在储存装置14中的模块例如是电脑程序，而可由处理器16载入，据以执行本实施例的行车辅助方法。以下即举实施例说明此方法的详细步骤。图2是依照本专利技术一实施例所绘示的行车辅助方法的流程图。请同时参照图1及图2，本实施例的方法适用于上述图1的行车辅助装置10，以下即搭配图1中行车辅助装置10的各项装置，说明本实施例行车辅助方法的详细步骤：首先，由处理器16执行轨迹计算模块141以计算车辆行进时车轮于该车辆周围的行进轨迹(步骤S202)。详言之，轨迹计算模块141例如是利用转角传感器侦测车辆的方向盘转角，并查询方向盘转角与车轮转向角度的对应表，以找出方向盘转角所对应的车轮转向角度，从而依据此转向角度以及车辆的车轮配置，估测车辆的行进轨迹。上述的方向盘转角与车轮转向角度的对应表例如是由轨迹计算模块141预先建立并记录在储存装置14中，以便在实际计算行进轨迹时可查询使用。举例来说，车辆倒车时，左轮轨迹(xrL,yrL)及右轮轨迹(xrR,yrR)例如可利用下列公式计算：左轮：右轮：其中，l为前后轮轴距、w为本文档来自技高网...

【技术保护点】
一种行车辅助方法，其特征在于，适用于配置于车辆上的电子装置，该电子装置耦接配置于该车辆上的多个相机，该方法包括下列步骤：计算该车辆行进时车轮于该车辆周围的行进轨迹；利用所述相机拍摄该车辆周围多个透视视野的影像，并分别将所述影像的该视野由该透视视野转换为俯视视野；根据该透视视野及该俯视视野的所述影像产生该车辆周围的合成影像；映射并结合该合成影像及该行进轨迹至该车辆周围的三维模型；以及使用该三维模型在该车辆倒车时提供视角为由该车辆的上后方往下前方观看的包含该行进轨迹的行进影像。

【技术特征摘要】
2016.05.05 TW 105113922;2017.01.23 TW 1061023481.一种行车辅助方法，其特征在于，适用于配置于车辆上的电子装置，该电子装置耦接配置于该车辆上的多个相机，该方法包括下列步骤：计算该车辆行进时车轮于该车辆周围的行进轨迹；利用所述相机拍摄该车辆周围多个透视视野的影像，并分别将所述影像的该视野由该透视视野转换为俯视视野；根据该透视视野及该俯视视野的所述影像产生该车辆周围的合成影像；映射并结合该合成影像及该行进轨迹至该车辆周围的三维模型；以及使用该三维模型在该车辆倒车时提供视角为由该车辆的上后方往下前方观看的包含该行进轨迹的行进影像。2.根据权利要求1所述的车辅助方法，其特征在于，使用该三维模型在该车辆倒车时提供该视角为由该车辆的该上后方往该下前方观看的包含该行进轨迹的该行进影像的步骤包括：取该三维模型中位于该车辆的该上后方的像素点作为眼点，取该三维模型中位于该车辆的该下前方的像素点作为视线参考点，据以建立视角转换矩阵；以及将该视角转换矩阵乘上映射至该三维模型的该合成影像及该行进轨迹的顶点坐标，以获得该视角为由该车辆的该上后方往该下前方观看的包含该行进轨迹的该行进影像。3.根据权利要求2所述的车辅助方法，其特征在于，该行进轨迹及该俯视视野的所述影像结合以产生包含该行进轨迹的该车辆周围的该合成影像后，包含该行进轨迹的该合成影像映射至该三维模型以获得包含该行进轨迹的该行进影像。4.根据权利要求2所述的车辅助方法，其特征在于，该行进轨迹及该合成影像分别映射至该三维模型后，映射至该三维模型的该行进轨迹及映射至该三维模型的该合成影像结合以获得包含该行进轨迹的该行进影像。5.根据权利要求1所述的车辅助方法，其特征在于，根据该透视视野及该俯视视野的所述影像产生该车辆周围的该合成影像的步骤包括：切割该透视视野及该俯视视野的所述影像为地面侧影像及墙面侧影像；以及拼接切割后的所述地面侧影像及所述墙面侧影像，以产生该车辆周围的该合成影像。6.根据权利要求5所述的车辅助方法，其特征在于，切割该透视视野及该俯视视野的所述影像为该地面侧影像及该墙面侧影像的步骤包括：在转换后该俯视视野的各所述影像的其中一行像素中，找出由至少预设数目的连续多个空洞像素构成的区间，而根据该区间在该影像中的高度，切割该透视视野及该俯视视野的所述影像为地面侧影像及墙面侧影像。7.根据权利要求1所述的车辅助方法，其特征在于，计算该车辆行进时该车轮于该车辆周围的该行进轨迹的步骤包括：侦测该车辆的方向盘转角；以及查询该方向盘转角所对应的该车轮的转向角度，并依据该转向角度以及该车辆的车速，估测该车辆的该行进轨迹。8.根据权利要求1所述的车辅助方法，其特征在于，该行进轨迹更新计算的频率低于该行进影像的画面更新频率。9.根据权利要求1所述的车辅助方法，其特征在于，所述方法还包括：使用该三维模型在车辆前进时提供视角为由该车辆的上前方往下后方观看的包含该行进轨迹的行进影像。10.根据权利要求9所述的车辅助方法，其特征在于，使用该三维模型在车辆前进时提供该视角为由该车辆的该上前方往该下后方观看的包含该行进轨迹的该行进影像的步骤包括：取该三维模型中位于该车辆的该上前方的像素点作为眼点，取该三维模型中位于该车辆的该下后方的像素点作为视线参考点，据...

【专利技术属性】
技术研发人员：吴旻璋，林冠延，
申请(专利权)人：威盛电子股份有限公司，
类型：发明
国别省市：中国台湾,71