图像处理方法及系统、装置、电子设备和存储介质制造方法及图纸

本公开提供一种图像处理方法及系统、装置、电子设备以及计算机可读存储介质，涉及增强现实技术领域。该方法包括：确定当前注视点坐标，当前注视点坐标用于指示人眼当前注视位置的坐标；响应于检测到当前注视点坐标对应的位置变化指令，对当前注视点坐标进行坐标转换，得到人眼相对于目标设备的目标注视点坐标；获取增强现实图像，根据目标注视点坐标确定增强现实图像的图像调整参数；基于图像调整参数对增强现实图像进行位置调整处理，以使增强现实图像处于人眼的可视范围。本公开可以根据人眼位置变化自动调整增强现实图像的显示位置，使得增强现实图像始终处于人眼的可视范围，且无需人工手动操作。且无需人工手动操作。且无需人工手动操作。

【技术实现步骤摘要】
图像处理方法及系统、装置、电子设备和存储介质


[0001]本公开涉及增强现实
，具体而言，涉及一种图像处理方法、图像处理系统、图像处理装置、电子设备以及计算机可读存储介质。

技术介绍

[0002]增强现实抬头显示(Augmented Reality
‑
Head Up Display，AR
‑
HUD)是一种增强现实技术、抬头显示技术以及多信息融合技术集成在一起的车载交互系统。AR
‑
HUD相较于传统的HUD还是将挡风玻璃作为显示屏，但是可以提供更加远距离的虚拟图像，并与实景相结合进行图像呈现。
[0003]HUD的持续发展，不仅仅是因为驾驶的安全性和显示的便利性，更加重要的原因是AR技术的拓展，使得HUD的使用场景有个更多的可能。然而，由于AR
‑
HUD的视场角较小、驾驶员坐姿的改变等原因，很容易发生虚像面显示不全的问题，此时需要用户手动进行操作调整；另外，由于AR
‑
HUD还可能产生虚实不对应的问题，造成虚像和实景目标的偏差，给驾驶过程带来不安全的因素。
[0004]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0005]本公开的目的在于提供一种图像处理方法、图像处理装置、电子设备以及计算机可读存储介质，进而至少在一定程度上克服现有的抬头显示实现方案的操作费时费力，且用户操作难以将显示图像调整到合适的可视范围的问题。
[0006]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本专利技术的实践而习得。
[0007]根据本公开的第一方面，提供一种图像处理方法，包括：确定当前注视点坐标，该当前注视点坐标用于指示人眼当前注视位置的坐标；响应于检测到所述当前注视点坐标对应的位置变化指令，对所述当前注视点坐标进行坐标转换，得到所述人眼相对于目标设备的目标注视点坐标；获取增强现实图像，根据所述目标注视点坐标确定所述增强现实图像的图像调整参数；基于所述图像调整参数对所述增强现实图像进行位置调整处理，以使所述增强现实图像处于所述人眼的可视范围。
[0008]在本公开的一种示例性实施方案中，所述确定当前注视点坐标，包括：通过图像采集设备获取所述脸部图像；获取预先训练的脸部特征提取模型，所述脸部特征提取模型由脸部图像训练集训练得到；通过所述脸部特征提取模型对所述脸部图像进行特征提取，得到脸部图像对应的人眼信息，所述人眼信息包括所述当前注视点坐标。
[0009]在本公开的一种示例性实施方案中，获取预先存储的人眼参考位置对应的参考注视点坐标；将所述当前注视点坐标与所述参考注视点坐标进行对比，得到所述当前注视点坐标对应的坐标变化差值；如果所述坐标变化差值大于或等于预先配置的坐标变化阈值，
则生成所述位置变化指令。
[0010]在本公开的一种示例性实施方案中，所述当前注视点坐标包括注视点像素坐标，所述对所述当前注视点坐标进行坐标转换，得到所述人眼相对于目标设备的目标注视点坐标，包括：对所述注视点像素坐标进行物理坐标转换，得到所述注视点像素坐标对应的注视点物理坐标；对所述注视点物理坐标进行三维坐标转换，得到所述注视点物理坐标对应的初始三维注视点坐标；对所述初始三维注视点坐标进行设备映射坐标转换，得到所述目标注视点坐标。
[0011]在本公开的一种示例性实施方案中，所述注视点像素坐标包括左眼像素坐标与右眼像素坐标；所述对所述注视点像素坐标进行物理坐标转换，得到所述注视点像素坐标对应的注视点物理坐标，包括：根据所述左眼像素坐标与所述右眼像素坐标，确定所述人眼对应的中心点像素坐标；对所述中心点像素坐标进行所述物理坐标转换，得到所述注视点物理坐标。
[0012]在本公开的一种示例性实施方案中，所述对所述注视点物理坐标进行三维坐标转换，得到所述注视点物理坐标对应的初始三维注视点坐标，包括：获取图像采集设备对应的图像设备坐标系；确定与所述图像设备坐标系匹配的第一转换矩阵；基于所述第一转换矩阵对所述注视点物理坐标进行三维坐标转换，得到所述初始三维注视点坐标。
[0013]在本公开的一种示例性实施方案中，所述目标设备包括驾驶设备；所述对所述初始三维注视点坐标进行设备映射坐标转换，得到所述目标注视点坐标，包括：获取所述驾驶设备对应的驾驶设备坐标系；确定与所述驾驶设备坐标系对应的第二转换矩阵，所述第二转换矩阵基于所述驾驶设备的物理尺寸信息与所述图像采集设备的设备标定信息确定；基于所述第二转换矩阵对所述初始三维注视点坐标进行设备映射坐标转换，得到所述目标注视点坐标。
[0014]在本公开的一种示例性实施方案中，所述图像调整参数包括平移矩阵与旋转矩阵，所述基于所述图像调整参数对所述增强现实图像进行位置调整处理，包括：获取所述增强现实图像的图像显示参数，所述图像显示参数包括当前显示坐标与当前旋转角度；基于所述平移矩阵对所述增强现实图像的当前显示坐标进行平移处理，及基于所述旋转矩阵对所述增强现实图像的当前旋转角度进行调整处理，以调整所述增强现实图像的显示位置。
[0015]在本公开的一种示例性实施方案中，所述图像调整参数包括平移矩阵与旋转矩阵，所述基于所述图像调整参数对所述增强现实图像进行位置调整处理，包括：获取图像反射镜的反射镜参数，所述图像反射镜用于反射显示所述增强现实图像；根据所述平移矩阵与所述旋转矩阵对所述反射镜参数进行调整，以对所述图像反射镜进行位置调整处理；基于经过所述位置调整处理后的图像反射镜显示所述增强现实图像，以调整所述增强现实图像的显示位置。
[0016]根据本公开的第二方面，提供一种图像处理系统，包括：图像采集设备，用于获取脸部图像，基于所述脸部图像确定人眼对应的当前注视点坐标；坐标转换模块，用于对所述当前注视点坐标进行坐标转换处理，得到所述人眼相对于目标设备的目标注视点坐标；传输模块，用于将所述目标注视点坐标传输至图像位置调整模块；所述图像位置调整模块，用于基于所述目标注视点坐标确定所述增强现实图像的图像调整参数；基于所述图像调整参数对所述增强现实图像进行位置调整处理，以使所述增强现实图像处于所述人眼的可视范
围。
[0017]根据本公开的第三方面，提供一种图像处理装置，包括：当前坐标确定模块，用于确定当前注视点坐标，所述当前注视点坐标用于指示人眼当前注视位置的坐标；目标坐标确定模块，用于响应于检测到所述当前注视点坐标对应的位置变化指令，对所述当前注视点坐标进行坐标转换，得到所述人眼相对于目标设备的目标注视点坐标；调整参数确定模块，用于获取增强现实图像，根据所述目标注视点坐标确定所述增强现实图像的图像调整参数；图像调整模块，用于基于所述图像调整参数对所述增强现实图像进行位置调整处理，以使所述增强现实图像处于所述人眼的可视范围。
[0018]在本公开的一种示例性实施方案中，所述目标坐标确定模块包括目标坐标确定单元，用于：通过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：确定当前注视点坐标，所述当前注视点坐标用于指示人眼当前注视位置的坐标；响应于检测到所述当前注视点坐标对应的位置变化指令，对所述当前注视点坐标进行坐标转换，得到所述人眼相对于目标设备的目标注视点坐标；获取增强现实图像，根据所述目标注视点坐标确定所述增强现实图像的图像调整参数；基于所述图像调整参数对所述增强现实图像进行位置调整处理，以使所述增强现实图像处于所述人眼的可视范围。2.根据权利要求1所述的方法，其特征在于，所述确定当前注视点坐标，包括：通过图像采集设备获取脸部图像；获取预先训练的脸部特征提取模型，所述脸部特征提取模型由脸部图像训练集训练得到；通过所述脸部特征提取模型对所述脸部图像进行特征提取，得到脸部图像对应的人眼信息，所述人眼信息包括所述当前注视点坐标。3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：获取预先存储的人眼参考位置对应的参考注视点坐标；将所述当前注视点坐标与所述参考注视点坐标进行对比，得到所述当前注视点坐标对应的坐标变化差值；如果所述坐标变化差值大于或等于预先配置的坐标变化阈值，则生成所述位置变化指令。4.根据权利要求1所述的方法，其特征在于，所述当前注视点坐标包括注视点像素坐标，所述对所述当前注视点坐标进行坐标转换，得到所述人眼相对于目标设备的目标注视点坐标，包括：对所述注视点像素坐标进行物理坐标转换，得到所述注视点像素坐标对应的注视点物理坐标；对所述注视点物理坐标进行三维坐标转换，得到所述注视点物理坐标对应的初始三维注视点坐标；对所述初始三维注视点坐标进行设备映射坐标转换，得到所述目标注视点坐标。5.根据权利要求4所述的方法，其特征在于，所述注视点像素坐标包括左眼像素坐标与右眼像素坐标；所述对所述注视点像素坐标进行物理坐标转换，得到所述注视点像素坐标对应的注视点物理坐标，包括：根据所述左眼像素坐标与所述右眼像素坐标，确定所述人眼对应的中心点像素坐标；对所述中心点像素坐标进行所述物理坐标转换，得到所述注视点物理坐标。6.根据权利要求4所述的方法，其特征在于，所述对所述注视点物理坐标进行三维坐标转换，得到所述注视点物理坐标对应的初始三维注视点坐标，包括：获取图像采集设备对应的图像设备坐标系；确定与所述图像设备坐标系匹配的第一转换矩阵；基于所述第一转换矩阵对所述注视点物理坐标进行三维坐标转换，得到所述初始三维注视点坐标。
7.根据权利要求4所述的方法，其特征在于，所述目标设备包括驾驶设备；所述对所述初始三维注视点坐标进行设备映射坐标转换，得到所述目标注视点坐标，包括：获取所述驾驶设备对应的驾驶设备坐标系；确定与所述驾驶设备坐标系对应的第二转换矩阵，...

【专利技术属性】
技术研发人员：向阳，张波，吕涛，
申请(专利权)人：泽景西安汽车电子有限责任公司，
类型：发明
国别省市：