一种图像处理方法及相关终端装置制造方法及图纸

本申请实施例公开了一种图像处理方法及相关终端装置，其中，一种图像处理方法，可包括：确定目标终端上的M个摄像头的位姿改变量，M为大于1的整数；根据所述M个摄像头的位姿改变量，更新所述M个摄像头的相机参数，所述相机参数包括对应的摄像头所拍摄的图像的坐标系与世界坐标系之间的映射关系；基于更新后的所述M个摄像头的相机参数，拼接所述M个摄像头拍摄的图像，获得所述世界坐标系对应的视角超过预设视角阈值的目标图像。实施本申请实施例，可以精准拼接出终端周边的环境图像，保证终端的行车安全。

【技术实现步骤摘要】
【国外来华专利技术】一种图像处理方法及相关终端装置
本申请涉及终端
，尤其涉及一种图像处理方法及相关终端装置。
技术介绍
随着电子技术、计算机技术、传感器技术和新材料等的发展，终端在移动时的安全和体验越来越被大家所重视。与其他众多传感器相比，摄像机系统可以通过视觉信息，为用户提供提供更直观和准确的终端在移动过程中的周边环境信息，并可以通过视角的变换将原来的图像变为鸟瞰图，看到终端周边的环境信息。例如：在智能车辆领域，全景环视系统在汽车周围安装具有较大视场的广角摄像头，在同一时刻可以采集车辆周围360度的环境图片，通过投影视角变换，拼接得到车身周围360度无死角的周边环境图像(如：俯视图、侧视图、全景图等)，并显示在屏幕上，让驾驶员可以清楚观察车辆周围是否存在障碍物及其距离和方向，辅助驾驶员安全驾驶，消除驾驶盲区，提高驾驶安全性和驾驶乐趣。在未来驾驶场景下，通过环视系统的俯视图像还可以进行障碍物检测，可以防止发生碰撞危险。现阶段基于环视标定的方法，可以实现360度环视图像拼接，但是在实际终端行驶途中，因为终端上负载的载重改变、路面情况、转弯离心力等原因，图像不能很好的进行拼接，会导致拼接完成的周边环境图像出现图像错位、断裂、大幅度鬼影等现象，导致图像不易辨识，降低行驶体验的同时也可能造成行驶安全隐患。因此如何避免拼接图像时出现图像错位、断裂、大幅度鬼影等现象，精准拼接出终端周边的环境图像，是亟待解决的问题。
技术实现思路
本申请实施例提供一种图像处理方法及相关终端装置，可以精准拼接出终端周边的环境图像，保证终端的行驶安全。本申请提供的图像处理方法可以由电子装置等执行。电子装置是指能够被抽象为计算机系统，其中，支持图像处理功能的电子装置，也可称为图像处理装置。图像处理装置可以是该电子装置的整机，也可以是该电子装置中的部分器件，例如：图像处理功能相关的芯片，如系统芯片或图像芯片。其中，系统芯片也称为片上系统，或称为SoC芯片。具体地，图像处理装置可以是诸如智能车辆中车载电脑、车机等这样的终端装置，也可以是能够被设置在智能终端的计算机系统或环视系统中的系统芯片或图像处理芯片。第一方面，本申请实施例提供了一种图像处理方法，可包括：确定目标终端上的M个摄像头的位姿改变量，M为大于1的整数；根据所述M个摄像头的位姿改变量，更新所述M个摄像头的相机参数，所述相机参数包括对应的摄像头所拍摄的图像的坐标系与世界坐标系之间的映射关系；基于更新后的所述M个摄像头的相机参数，拼接所述M个摄像头拍摄的图像，获得所述世界坐标系对应的视角超过预设视角阈值的目标图像。现有技术中，在拼接终端周边的环境图像时，若终端在移动时处于转弯或路面不平的情况下，此时会导致终端视觉系统中摄像头对应的相机外参相对于终端所处的坐标系有所改变，进而导致环境图像的拼接处会产生明显的差异。因此，针对在终端上变负载、动态路线下行驶转弯、路面不平颠簸、在路肩上停车等情况下，终端上视觉系统拼接鸟瞰图和其他视角图像时出现图像错位、断裂、鬼影等现象。本申请实施例，在终端移动过程中，通过确定所述目标终端上摄像头的位姿改变量，重新更新摄像头的相机参数；根据该更新后的相机参数拼接获取终端周边的环境图像，其中，该终端周边的环境图像对应的视角超过预设视角阈值。这种依据目标终端上摄像头的位姿，对相机参数进行修正，减小拼缝误差的图像处理方法，可以优化环视拼接效果。例如，当终端为车辆时，摄像头可以为车载摄像头，车辆可根据拼接后的图像移动，避开路面不平颠簸的情况，提高驾驶员的驾驶体验。同时如果后续基于终端周边的环境图像进行障碍物检测时，还可以提高检测准确度，防止发生碰撞危险，提高行驶安全性。在一种可能实现的方式中，所述确定所述目标终端上的M个摄像头的位姿改变量，包括：根据所述M个摄像头拍摄的在多个重叠区域的图像，计算所述多个重叠区域分别对应的图像差异，其中，所述重叠区域为所述M个摄像头在同一时刻拍摄的图像对应的摄像覆盖区域之间重合区域；在所述多个重叠区域中存在至少一个重叠区域对应的图像差异超过预设阈值时，确定所述M个摄像头的位姿改变量。实施本申请实施例，在图像差异不超过预设阈值时，最后获得的目标图像存在图像错位、断裂、大幅度鬼影等现象的几率大大降低，不需要重复更新相机参数。而在图像差异超过预设阈值时，才会确定M个摄像头各自的位姿改变量，以更新相机参数，减少获得的目标图像存在图像错位、断裂、大幅度鬼影等现象，不仅提高了行驶安全，也大大节省了计算资源。在一种可能实现的方式中，所述图像差异包括像素值差异；所述根据所述M个摄像头分别拍摄的在多个重叠区域的图像，计算所述多个重叠区域分别对应的图像差异，包括：获取所述M个摄像头分别拍摄的所述多个重叠区域的图像的像素值；根据所述图像的像素值，计算所述多个重叠区域分别对应的像素值差异。实施本申请实施例，根据像素值确定图像差异，可以高效分辨多个重叠区域对应图像差异，大大的提高了拼接目标图像的效率。在一种可能实现的方式中，所述位姿改变量包括位置改变量和角度改变量中的一个或多个；所述确定所述目标终端上的M个摄像头各自的位姿改变量，包括：获取所述目标终端的姿态改变量，所述姿态改变量包括终端高度改变量和终端与地面之间夹角改变量中的一个或多个；根据所述终端与地面之间夹角改变量，确定所述地面与所述M个摄像头的相对位置关系；根据所述终端高度改变量和所述相对位置关系，确定所述M个摄像头各自的所述位置改变量和所述角度改变量中的一个或多个。实施本申请实施例，由于M个摄像头都是安装在终端上的，所以当终端的姿态发生变化时，会导致M个摄像头各自的位姿也随之发生变化。因此，可以根据终端的姿态变化量确定目标终端上的M个摄像头各自的位姿改变量。在一种可能实现的方式中，所述相机参数包括相机内参和相机外参中的一个或多个，所述相机内参包括所述摄像头所拍摄的图像的坐标系与摄像头坐标系之间的关系，所述相机外参包括所述摄像头坐标系与所述世界坐标系之间的关系；所述根据所述M个摄像头的位姿改变量，更新所述M个摄像头的相机参数，包括：根据所述M个摄像头的位姿改变量，计算所述M个摄像头各自对应的相机调整参数；基于所述M个摄像头对应的相机调整参数，调整并获取对应摄像头的相机内参和相机外参中的一个或多个。实施本申请实施例，通过获取相机调整参数以更新对应摄像头的相机参数，可以高效精准的拼接目标图像，减少拼接图像时出现图像错位、断裂、大幅度鬼影等现象，保障终端行驶安全。在一种可能实现的方式中，所述确定目标终端上的M个摄像头的位姿改变量，包括：判断所述目标终端的姿态是否发生变化；在所述目标终端的姿态发生变化时，确定所述目标终端上的M个摄像头的位姿改变量。实施本申请实施例，由于M个摄像头都是安装在终端上的，所以当终端的姿态发生变化时，会导致M个摄像头各自的位姿也随之发生变化。因此，可以通过判断终端的姿态是否发生变化，再确定目标终端上的M个摄像头各自的位姿改变量，大大的提高了拼接目标图像的效率。在一种可能实现的方式中，所述M个摄像头中任意一个摄像头的摄像覆盖区域与所述本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n确定目标终端上的M个摄像头的位姿改变量，M为大于1的整数；/n根据所述M个摄像头的位姿改变量，更新所述M个摄像头的相机参数，所述相机参数包括对应的摄像头所拍摄的图像的坐标系与世界坐标系之间的映射关系；/n基于更新后的所述M个摄像头的相机参数，拼接所述M个摄像头拍摄的图像，获得所述世界坐标系对应的视角超过预设视角阈值的目标图像。/n

【技术特征摘要】
【国外来华专利技术】1.一种图像处理方法，其特征在于，包括：
确定目标终端上的M个摄像头的位姿改变量，M为大于1的整数；
根据所述M个摄像头的位姿改变量，更新所述M个摄像头的相机参数，所述相机参数包括对应的摄像头所拍摄的图像的坐标系与世界坐标系之间的映射关系；
基于更新后的所述M个摄像头的相机参数，拼接所述M个摄像头拍摄的图像，获得所述世界坐标系对应的视角超过预设视角阈值的目标图像。


2.根据权利要求1所述方法，其特征在于，所述确定目标终端上的M个摄像头的位姿改变量，包括：
根据所述M个摄像头拍摄的在多个重叠区域的图像，计算所述多个重叠区域分别对应的图像差异，其中，所述重叠区域为所述M个摄像头在同一时刻拍摄的图像对应的摄像覆盖区域之间重合区域；
在所述多个重叠区域中存在至少一个重叠区域对应的图像差异超过预设阈值时，确定所述M个摄像头的位姿改变量。


3.根据权利要求2所述方法，其特征在于，所述图像差异包括像素值差异；所述根据所述M个摄像头分别拍摄的在多个重叠区域的图像，计算所述多个重叠区域分别对应的图像差异，包括：
获取所述M个摄像头分别拍摄的所述多个重叠区域的图像的像素值；
根据所述图像的像素值，计算所述多个重叠区域分别对应的像素值差异。


4.根据权利要求1-3所述任意一项方法，其特征在于，所述位姿改变量包括位置改变量和角度改变量中的一个或多个；所述确定所述目标终端上的M个摄像头各自的位姿改变量，包括：
获取所述目标终端的姿态改变量，所述姿态改变量包括终端高度改变量和终端与地面之间夹角改变量中的一个或多个；
根据所述终端与地面之间夹角改变量，确定所述地面与所述M个摄像头的相对位置关系；
根据所述终端高度改变量和所述相对位置关系，确定所述M个摄像头各自的所述位置改变量和所述角度改变量中的一个或多个。


5.根据权利要求1-4所述任意一项方法，其特征在于，所述相机参数包括相机内参和相机外参中的一个或多个，所述相机内参包括所述摄像头所拍摄的图像的坐标系与摄像头坐标系之间的关系，所述相机外参包括所述摄像头坐标系与所述世界坐标系之间的关系；
所述根据所述M个摄像头的位姿改变量，更新所述M个摄像头的相机参数，包括：
根据所述M个摄像头的位姿改变量，计算所述M个摄像头各自对应的相机调整参数；
基于所述M个摄像头对应的相机调整参数，调整对应摄像头的相机内参和相机外参中的一个或多个。


6.根据权利要求1-5所述任意一项方法，其特征在于，所述确定所述目标终端上的M个摄像头的位姿改变量，包括：
判断所述目标终端的姿态是否发生变化；
在所述目标终端的姿态发生变化时，确定所述目标终端上的M个摄像头的位姿改变量。


7.根据权利要求1-6所述任意一项方法，其特征在于，所述M个摄像头中任意一个摄像头的摄像覆盖区域与所述M个摄像头中至少一个摄像头的摄像覆盖区域之间存在有重叠区域。


8.根据权利要求1-7所述任意一项方法，其特征在于，所述M个摄像头为四个鱼眼摄像头，其中，所述四个鱼眼摄像头分别用于拍摄所述目标终端的终端前图像、终端后图像、终端左图像以及终端右图像。


9.一种图像处理装置，其特征在于，包括：
确定单元，用于在目标终端行驶过程中，确定所述目标终端上的M个摄像头各自的位姿改变量，M为大于1的整数；
更新单元，用于根据所述M个摄像头的位姿改变量，更新所述M个摄像头的相机参数，所述相机参数包括对应的摄像头所拍摄的图像的坐标系与世界坐标系之间的映射关系；
图像单元，用于基于更新后的所述M个摄像头的相机参数，拼接所述M个摄像头拍摄的图像，获得所述世界坐标系对应的视角超过预设视角阈值的目标图像。


10.根据权利要求9所述装置，其特征在于，所述确定单元，具体用于：
根据所述M个摄像头拍摄的在多个重叠区域的图像，计算所述多个重叠区域分别对应的图像差异，其中，所述重叠区域为所述M个摄像头在同一时刻拍摄的图像对应的摄像覆盖区域之间重合区域；
在所述多个重叠区域中存在至少一个重叠区域对应的图像差异超过预设阈值时，确定所述M个摄像头的位姿改变量。


11.根据权利要求10所述装置，其特征在于，所述图像差异包括像素值差异；所述确定单元，具体用于：
获取所述M个摄像头分别拍摄的所述多个重叠区域的图像的像素值；
根据所述图像的像素值，计算所述多个重叠区域分别对应的像素值差异。


12.根据权利要求9-11所述任意一项装置，其特征在于，所述位姿改变量包括位置改变量和角度改变量中的一个或多个；所述确定单元，具体用于：
获取所述目标终端的姿态改变量，所述姿态改变量包括终端高度改变量和终端与地面之间夹角改变量中的一个或多个；
根据所述终端与地面之间夹角改变量，确定所述地面与所述M个摄像头的相对位置关系；
根据所述终端高度改变量和所述相对位置关系，确定所述M个摄像头各自的所述位置改变量和所述角度改变量中的一个或多个。


13.根据权利要求9-12所述任意一项装置，其特征在于，所述相机参数包括相机内参和相机外参中的一个或多个，所述相机内参包括所述摄像头所拍摄的图像的坐标系与摄像头坐标系之间的关系，所述相机外参包括所述摄像头坐标系与所述世界坐标系之间的关系；
所述更新单元，具体用于：根据所述M个摄像头的位姿改变量，计算所述M个摄像头各自对应的相机调整参数；基于所述M个摄像头对应的相机调整参数，调整对应摄像头的相机内参和相机外参中的一个或多个。


14.根据权利要求9-13...

【专利技术属性】
技术研发人员：王笑悦，张峻豪，黄为，徐文康，陈晓丽，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44