车辆周围影像处理方法及装置制造方法及图纸

一种车辆周围影像处理方法及装置。此方法利用配置于车辆上的多个相机拍摄车辆周围多个透视视野的影像，并分别将这些透视视野的影像转换为俯视视野的影像，然后在转换后的俯视视野的各个影像的其中一行像素中，找出由至少一个预设数目的连续多个空洞像素构成的区间，进而根据此区间在影像中的高度，将透视视野及俯视视野的影像切割为地面侧影像及墙面侧影像，最后则将切割后的地面侧影像及墙面侧影像拼接，以产生车辆周围的合成影像。本发明专利技术能够获得可清楚显露车辆周围地面及景物的合成影像。

【技术实现步骤摘要】

本专利技术是有关于一种影像处理方法及装置，且特别是有关于一种车辆周围影像处理方法及装置。
技术介绍
汽车360度环景显示系统主要是利用装载于车身前、后、左、右的四个相机撷取车辆周围四个不同方向上的影像，通过对影像进行转换、合成、拼贴等处理，而可获得以车辆上方俯视车身视野呈现的车辆周围实景影像。此360度环景影像可协助车辆驾驶在停车或行驶于狭小巷弄时，能够清楚地判断车身与停车格或其他障碍物之间的相对位置，以避免发生碰撞意外。然而，目前的环景显示系统只能提供车辆四周(包含车身及周围景物或障碍物)一定距离内的俯视影像，但此俯视影像并不能反映出景物或障碍物的真实样貌，也与驾驶实际观看到的景像不符。据此，有必要提供一种影像处理方法，除了提供车辆的俯视影像外，也能够提供更清楚的周围景物影像，以协助驾驶精准地判断车身与周围景物的相对位置。
技术实现思路
本专利技术提供一种车辆周围影像处理方法及装置，通过将车辆周围影像及俯视影像适当地裁切为地面侧影像及墙面侧影像，并进行适当地合并及拼接，借此产生可清楚显露车辆周围景物的影像。本专利技术的车辆周围影像处理方法适用于配置于车辆上的电子装置。此电子装置连接配置于车辆上的多个相机。此方法包括利用相机拍摄车辆周围多个透视视野(perspective view)的影像，并分别将这些透视视野的影像转换为俯视视野(top view)的影像。然后，在转换后的俯视视野的各个影像的其中一行像素中，找出由至少一个预设数目的连续多个空洞像素构成的区间，进而根据此区间在影像中的高度，将透视视野及俯视视野的影像切割为地面侧影像及墙面侧影像，最后则将切割后的地面侧影像及墙面侧影像拼接，产生车辆周围的合成影像。本专利技术的车辆周围影像处理装置包括连接装置、储存装置及处理器。其中，连接装置用以连接配置于车辆上的多个相机。储存装置用以储存多个模块。处理器耦接连接装置及储存装置，用以载入并执行储存装置中的模块，这些模块包括影像拍摄模块、视野转换模块、影像切割模块及影像拼接模块。影像拍摄模块利用相机拍摄车辆周围多个透视视野的影像；视野转换模块分别将这些透视视野的影像转换为俯视视野的影像；影像切割模块是在转换后的俯视视野的各个影像的其中一行像素中，找出由至少一个预设数目的连续多个空洞像素构成的区间，进而根据此区间在影像中的高度，将透视视野及俯视视野的影像切割为地面侧影像及墙面侧影像；影像拼接模块会将切割后的地面侧影像及墙面侧影像拼接，以产生车辆周围的合成影像。基于上述，本专利技术的车辆周围影像处理方法及装置通过将以多个不同透视视野拍摄的车辆周围影像转换为俯视视野影像，并找出转换后影像在纵向上的连续空洞像素的区间，而据以裁切、合并及拼接影像，借此可获得经适当处理的可清楚显露车辆周围景物的合成影像。为让本专利技术的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。附图说明图1是依照本专利技术一实施例所绘示的车辆周围影像处理装置的方块图。图2是依照本专利技术一实施例所绘示的车辆周围影像处理方法的流程图。图3是本专利技术一实施例所绘示的拍摄车辆周围影像的范例。图4是本专利技术一实施例所绘示的鱼眼校正的范例。图5是依照本专利技术一实施例所绘示的车辆周围影像处理方法的范例。图6是依照本专利技术一实施例所绘示的拼接不同视野影像以获得车辆周围合成影像的方法流程图。图7是依照本专利技术一实施例所绘示的合并透视视野的墙面侧影像及俯视视野的地面侧影像的范例。图8A及图8B是依照本专利技术一实施例所绘示的调整墙面侧影像的范例。图9是依照本专利技术一实施例所绘示的调整墙面侧影像高度的范例。图10是依照本专利技术一实施例所绘示的拼接合并影像的范例。图11是依照本专利技术一实施例所绘示的建立三维模型的范例。图12A至图12G是依照本专利技术一实施例所绘示的显示车辆周围影像的范例。其中，附图中符号的简单说明如下：10：电子装置12：连接装置14：储存装置142：影像拍摄模块144：视野转换模块146：影像切割模块148：影像拼接模块16：处理器30：车辆32、34、36、38：相机32a、34a、36a、38a：透视视野影像42：鱼眼影像44：去鱼眼影像52、54、80、92、94、110：影像56：一行像素58：区间72：俯视视野影像74：透视视野影像76、102、104、106、108：合并影像722、742、762：墙面侧影像724、744、764：地面侧影像80a、80b：转换后影像82、84、86、88：区域92a、94a：调整后影像100：合成影像112：三维模型122、124、126、128、130、132、134：车辆周围影像S202～S208：本专利技术一实施例的车辆周围影像处理方法的方法步骤S602～S606：本专利技术一实施例的拼接不同视野影像以获得车辆周围合成影像的方法步骤。具体实施方式针对车辆环景系统相机所拍摄的透视视野(perspective view)影像，本专利技术的装置除了将其转换为可辅助停车的俯视视野(top view)影像外，还利用转换后影像中的空洞分布，决定一个可切割出清晰地面侧影像的分割线。通过此分割线对转换前后的影像进行分割，并将俯视视野影像中的地面侧影像与透视视野影像中的墙面侧影像合并，可获得地面侧与墙面侧影像皆清晰的合并影像。最后，将各个视野的合并影像拼接，从而获得可清楚显露车辆周围地面及景物的合成影像。此外，通过将上述合成影像映射于车辆周围空间的三维模型，使得本专利技术的装置还可依使用者的观看需求或是车辆的作动方式，提供适于使用者当下观看的影像。图1是依照本专利技术一实施例所绘示的车辆周围影像处理装置的方块图。本实施例的车辆周围影像处理装置是以图1中的电子装置10为例，其例如是车用计算机，或是具备运算功能的手机、平板计算机或个人计算机或其他装置，其中至少包括连接装置12、储存装置14及处理器16，其功能分述如下：连接装置12例如是通用串行总线(Universal Serial Bus，USB)、RS232、蓝芽、无线保真(Wireless fidelity，Wi-Fi)等有线或无线的传输介面，其可用以连接配置于车辆上的相机，从而接收相机所拍摄的影像。储存装置14例如是任何型态的固定式或可移动式随机存取存储器(random access memory，RAM)、只读存储器(read-only memory，ROM)、快闪存储器(flash memory)或类似元件或上述元件的组合。在本实施例中，储存装置14用以记录影像拍摄模块142、视野转换模块144、影像切割模块146及影像拼接模块148。处理器16例如是中央处理单元(Central Processing Unit，CPU)，或是其他可程序化的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor，DSP)、可程序化控制器、特殊应用集成电路(Application Specific Integrated Circuits，ASIC)、可程序化逻辑装置(Programmable Logic Device，PLD)或其他类似装置或这些装置的组合，其与连接装置12及储存装置14连接。在本实施例中，储存在储存装置14中的模块例如是计算本文档来自技高网...

【技术保护点】
一种车辆周围影像处理方法，其特征在于，适用于配置于车辆上的电子装置，该电子装置耦接配置于该车辆上的多个相机，该方法包括下列步骤：利用所述相机拍摄该车辆周围多个透视视野的影像；分别转换所述透视视野的所述影像为俯视视野的影像；在转换后的该俯视视野的各所述影像的其中一行像素中，找出由至少一预设数目的连续多个空洞像素构成的区间，进而根据该区间在该影像中的高度，切割该透视视野及该俯视视野的所述影像为地面侧影像及墙面侧影像；以及拼接切割后的所述地面侧影像及所述墙面侧影像，以产生该车辆周围的合成影像。

【技术特征摘要】
2016.05.05 TW 1051139221.一种车辆周围影像处理方法，其特征在于，适用于配置于车辆上的电子装置，该电子装置耦接配置于该车辆上的多个相机，该方法包括下列步骤：利用所述相机拍摄该车辆周围多个透视视野的影像；分别转换所述透视视野的所述影像为俯视视野的影像；在转换后的该俯视视野的各所述影像的其中一行像素中，找出由至少一预设数目的连续多个空洞像素构成的区间，进而根据该区间在该影像中的高度，切割该透视视野及该俯视视野的所述影像为地面侧影像及墙面侧影像；以及拼接切割后的所述地面侧影像及所述墙面侧影像，以产生该车辆周围的合成影像。2.根据权利要求1所述的车辆周围影像处理方法，其特征在于，所述相机使用鱼眼镜头拍摄所述影像，该方法还包括：分别依据该鱼眼镜头的镜头参数，执行鱼眼校正于所述影像，从所述影像的中心开始向外校正所述影像。3.根据权利要求2所述的车辆周围影像处理方法，其特征在于，还包括：分别依据该鱼眼镜头的该镜头参数，裁切所述影像，以将该鱼眼镜头的中心移动至所述影像的中心。4.根据权利要求1所述的车辆周围影像处理方法，其特征在于，分别将所述影像的该视野由该透视视野转换为该俯视视野的步骤包括：通过转换矩阵分别将该透视视野的所述影像的多个像素的位置转换至该俯视视野的该影像中的对应位置。5.根据权利要求4所述的车辆周围影像处理方法，其特征在于，在通过该转换矩阵分别将该透视视野的所述影像的所述像素的位置转换至该俯视视野的该影像中的该对应位置的步骤之前，还包括：分别使用所述相机拍摄包括参考物件在内的该透视视野的第一影像；使用配置于该参考物件上方的相机拍摄包括该参考物件在内的该俯视视野的第二影像；以及撷取该第一影像中该参考物件的多个像素的位置作为目标位置，并撷取该第二影像中该参考物件的多个对应像素的位置作为来源位置，以解出该转换矩阵。6.根据权利要求1所述的车辆周围影像处理方法，其特征在于，拼接切割后的所述地面侧影像及所述墙面侧影像，以产生该车辆周围的该合成影像的步骤包括：针对各所述透视视野的该影像及其对应的该俯视视野的该影像，合并切割后的该透视视野的该墙面侧影像及切割后的该俯视视野的该地面侧影像，以产生该透视视野的合并影像；以及根据相邻所述透视视野的所述合并影像中的多个对应特征，拼接所述合并影像，以产生该合成影像。7.根据权利要求6所述的车辆周围影像处理方法，其特征在于，拼接切割后的所述地面侧影像及所述墙面侧影像，以产生该车辆周围的该合成影像的步骤还包括：针对相邻所述透视视野的所述合并影像，调整所述合并影像中的所述墙面侧影像的高度，使得所述合并影像中的所述墙面侧影像的高度一致。8.根据权利要求1所述的车辆周围影像处理方法，其特征在于，还包括：分别校正所述墙面侧影像，使得校正后所述墙面侧影像中的物件对齐所述墙面侧影像的轴线方向。9.根据权利要求1所述的车辆周围影像处理方法，其特征在于，还包括：映射该合成影像至该车辆周围空间的三维模型；以及接收对于车辆周围影像的观看需求，以根据该观看需求中的观看角度，使用该三维模型提供该观看角度上的合成影像。10.根据权利要求9所述的车辆周围影像处理方法，其特征在于，接收对于该车辆周围影像的该观看需求，以根据该观看需求中的该观看角度，使用该三维模型提供该观...

【专利技术属性】
技术研发人员：林冠廷，吴怡正，
申请(专利权)人：威盛电子股份有限公司，
类型：发明
国别省市：中国台湾;71