System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 图像处理方法、装置、设备及存储介质制造方法及图纸_技高网

图像处理方法、装置、设备及存储介质制造方法及图纸

技术编号:41595505 阅读:18 留言:0更新日期:2024-06-07 00:05
本申请提供一种图像处理方法、装置、设备及存储介质,涉及自动驾驶技术领域,该方法包括:获取多个目标图像,多个目标图像为安装在车辆周围能覆盖车辆周边视野范围的多个摄像头采集的;根据预设BEV视野范围内的三维目标点与摄像头采集的图像中的像素点的对应关系,从目标图像中获取纹理坐标对应的像素坐标处的像素值,对应关系包含三维目标点对应的顶点坐标、纹理坐标以及像素坐标之间的关系,其中,顶点坐标与纹理坐标一一对应;根据像素值,通过着色器对纹理坐标对应的顶点坐标处的顶点进行渲染着色,得到多个目标图像对应的目标BEV图像。本申请具有更好的通用性和可移植性。

【技术实现步骤摘要】

本申请涉及自动驾驶,尤其涉及一种图像处理方法、装置、设备及存储介质


技术介绍

1、随着自动驾驶技术的不断发展,车辆的智能化程度越来越高,对于感知、决策和控制等方面的计算需求急剧增加,而高算力域控制器的出现,能够较好地满足大数据量、高复杂度和高实时性的计算任务,加速了整个车辆行业的智能化发展,使得车辆具备多种辅助驾驶功能。其中,辅助驾驶功能比如包括360环视和自动泊车等,而鸟瞰图(bird's eyeview,bev)拼接是上述功能实现的基础。

2、目前,通常基于计算机统一设备架构(compute unified device architecture,cuda)开发框架,采用bev拼接算法进行图像拼接,得到拼接好的bev图像。但cuda开发框架是针对bev拼接算法的部署媒介进行定制化开发的,导致通用性较差。


技术实现思路

1、本申请提供一种图像处理方法、装置、设备及存储介质,以解决通过目前方式获得拼接好的bev图像存在的通用性较差的问题。

2、第一方面,本申请提供一种图像处理方法,包括:

3、获取多个目标图像,多个目标图像为安装在车辆周围能覆盖车辆周边视野范围的多个摄像头采集的;

4、根据预设bev视野范围内的三维目标点与摄像头采集的图像中的像素点的对应关系,从目标图像中获取纹理坐标对应的像素坐标处的像素值,对应关系包含三维目标点对应的顶点坐标、纹理坐标以及像素坐标之间的关系,其中,顶点坐标与纹理坐标一一对应;

5、根据像素值,通过着色器对纹理坐标对应的顶点坐标处的顶点进行渲染着色,得到多个目标图像对应的目标bev图像。

6、可选的,对应关系是通过以下方式获得的:确定三维目标点在车身坐标系下的三维坐标;对三维坐标进行归一化处理,得到三维目标点对应的顶点坐标;基于三维目标点对应的摄像头的内参和外参,获取在摄像头坐标系下三维坐标对应的像素坐标;对像素坐标进行归一化处理,得到像素坐标对应的纹理坐标。

7、可选的,确定三维目标点在车身坐标系下的三维坐标,包括:根据预设bev视野范围和目标bev图像的图像尺寸,确定三维目标点对应的分辨率;根据分辨率,确定三维目标点在车身坐标系下的三维坐标。

8、可选的,根据预设bev视野范围内的三维目标点与摄像头采集的图像中的像素点的对应关系,从目标图像中获取纹理坐标对应的像素坐标处的像素值之前,该图像处理方法还包括:获取缓冲区;将对应关系加载至缓冲区中。

9、可选的,获取多个目标图像之前,该图像处理方法还包括以下至少一项:获取配置信息,配置信息包括摄像头的内参和外参、预设bev视野范围以及拼缝参数中的至少一种,拼缝参数用于将三维目标点分配至对应的摄像头视野中;初始化相关资源,相关资源至少包括渲染上下文资源、纹理资源和帧缓存对象fbo资源;基于内存管理器ion的内存映射机制,初始化ion内存,并进行内存映射,得到ion共享内存;获取对应关系。

10、可选的,根据预设bev视野范围内的三维目标点与摄像头采集的图像中的像素点的对应关系,从目标图像中获取纹理坐标对应的像素坐标处的像素值,包括:对目标图像进行适配处理,得到适配处理后的图像,适配处理包括图像分辨率适配处理和/或图像格式适配处理;根据对应关系,从适配处理后的图像中获取纹理坐标对应的像素坐标处的像素值。

11、可选的,对目标图像进行适配处理,得到适配处理后的图像之后,该图像处理方法还包括:将适配处理后的图像存储于ion共享内存中。

12、可选的,该图像处理方法还包括:在出现异常情况时,释放已申请的资源,和/或,在得到目标bev图像后,释放已申请的资源。

13、可选的,三维目标点是在预设bev视野范围内进行采样获得的。

14、第二方面,本申请提供一种图像处理装置,包括:

15、第一获取模块,用于获取多个目标图像,多个目标图像为安装在车辆周围能覆盖车辆周边视野范围的多个摄像头采集的;

16、第二获取模块,用于根据预设bev视野范围内的三维目标点与摄像头采集的图像中的像素点的对应关系,从目标图像中获取纹理坐标对应的像素坐标处的像素值,对应关系包含三维目标点对应的顶点坐标、纹理坐标以及像素坐标之间的关系,其中,顶点坐标与纹理坐标一一对应;

17、处理模块,用于根据像素值,通过着色器对纹理坐标对应的顶点坐标处的顶点进行渲染着色,得到多个目标图像对应的目标bev图像。

18、可选的,第一获取模块还用于:通过以下方式获得对应关系:确定三维目标点在车身坐标系下的三维坐标;对三维坐标进行归一化处理,得到三维目标点对应的顶点坐标;基于三维目标点对应的摄像头的内参和外参,获取在摄像头坐标系下三维坐标对应的像素坐标;对像素坐标进行归一化处理,得到像素坐标对应的纹理坐标。

19、可选的,第一获取模块在用于确定三维目标点在车身坐标系下的三维坐标时,具体用于:根据预设bev视野范围和目标bev图像的图像尺寸,确定三维目标点对应的分辨率;根据分辨率,确定三维目标点在车身坐标系下的三维坐标。

20、可选的,第一获取模块还用于:在第二获取模块根据预设bev视野范围内的三维目标点与摄像头采集的图像中的像素点的对应关系,从目标图像中获取纹理坐标对应的像素坐标处的像素值之前,获取缓冲区;将对应关系加载至缓冲区中。

21、可选的,第一获取模块还用于以下至少一项:在获取多个目标图像之前,获取配置信息,配置信息包括摄像头的内参和外参、预设bev视野范围以及拼缝参数中的至少一种,拼缝参数用于将三维目标点分配至对应的摄像头视野中;初始化相关资源,相关资源至少包括渲染上下文资源、纹理资源和fbo资源;基于ion的内存映射机制,初始化ion内存,并进行内存映射,得到ion共享内存;获取对应关系。

22、可选的,第二获取模块具体用于:对目标图像进行适配处理,得到适配处理后的图像,适配处理包括图像分辨率适配处理和/或图像格式适配处理;根据对应关系,从适配处理后的图像中获取纹理坐标对应的像素坐标处的像素值。

23、可选的,第二获取模块还用于:对目标图像进行适配处理,得到适配处理后的图像之后,将适配处理后的图像存储于ion共享内存中。

24、可选的,处理模块还用于:在出现异常情况时,释放已申请的资源,和/或,在得到目标bev图像后,释放已申请的资源。

25、可选的,三维目标点是在预设bev视野范围内进行采样获得的。

26、第三方面,本申请提供一种电子设备,包括:处理器,以及与处理器通信连接的存储器;

27、存储器存储计算机执行指令;

28、处理器执行存储器存储的计算机执行指令,以实现如本申请第一方面所述的图像处理方法。

29、第四方面,本申请提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序指令,计算机程序指令被执行时,实现如本申请第一方本文档来自技高网...

【技术保护点】

1.一种图像处理方法,其特征在于,包括:

2.根据权利要求1所述的图像处理方法,其特征在于,所述对应关系是通过以下方式获得的:

3.根据权利要求2所述的图像处理方法,其特征在于,所述确定所述三维目标点在车身坐标系下的三维坐标,包括:

4.根据权利要求1所述的图像处理方法,其特征在于,所述根据预设鸟瞰图BEV视野范围内的三维目标点与所述摄像头采集的图像中的像素点的对应关系,从所述目标图像中获取纹理坐标对应的像素坐标处的像素值之前,还包括:

5.根据权利要求1至4中任一项所述的图像处理方法,其特征在于,所述获取多个目标图像之前,还包括以下至少一项:

6.根据权利要求5所述的图像处理方法,其特征在于,所述根据预设鸟瞰图BEV视野范围内的三维目标点与所述摄像头采集的图像中的像素点的对应关系,从所述目标图像中获取纹理坐标对应的像素坐标处的像素值,包括:

7.根据权利要求6所述的图像处理方法,其特征在于,所述对所述目标图像进行适配处理,得到适配处理后的图像之后,还包括:

8.根据权利要求5所述的图像处理方法,其特征在于,还包括:

9.根据权利要求1至4中任一项所述的图像处理方法,其特征在于,所述三维目标点是在预设BEV视野范围内进行采样获得的。

10.一种图像处理装置,其特征在于,包括:

11.一种电子设备,其特征在于,包括:处理器,以及与所述处理器通信连接的存储器;

12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序指令,所述计算机程序指令被执行时,实现如权利要求1至9中任一项所述的图像处理方法。

13.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被执行时实现如权利要求1至9中任一项所述的图像处理方法。

...

【技术特征摘要】

1.一种图像处理方法,其特征在于,包括:

2.根据权利要求1所述的图像处理方法,其特征在于,所述对应关系是通过以下方式获得的:

3.根据权利要求2所述的图像处理方法,其特征在于,所述确定所述三维目标点在车身坐标系下的三维坐标,包括:

4.根据权利要求1所述的图像处理方法,其特征在于,所述根据预设鸟瞰图bev视野范围内的三维目标点与所述摄像头采集的图像中的像素点的对应关系,从所述目标图像中获取纹理坐标对应的像素坐标处的像素值之前,还包括:

5.根据权利要求1至4中任一项所述的图像处理方法,其特征在于,所述获取多个目标图像之前,还包括以下至少一项:

6.根据权利要求5所述的图像处理方法,其特征在于,所述根据预设鸟瞰图bev视野范围内的三维目标点与所述摄像头采集的图像中的像素点的对应关系,从所述目标图像中获取纹理坐标对应的像素坐标处的像素值,...

【专利技术属性】
技术研发人员:陈荔
申请(专利权)人:亿咖通湖北技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1